Download Informationstheorie und Codierung by Otto Mildenberger PDF

By Otto Mildenberger

Die Infonnationstheorie gehOrt zu den Grundlagen fUr alle Wissenschaftsgebiete, die sich mit der Obertragung von Nachrichten und der" Verarbeitung von Infonnationen befassen. Ihre Geburtsstunde wird auf das Jahr 1948 dadiert, in dem C. E. Shannon seine grundlegenden Untersuchungen fiber das Wesen von Nachrichten veroffentlichte. In diesem Buch werden die auf den Gedanken von Shannon basierenden Grundla gen der Infonnationstheorie dargestellt und zusatzlich wichtige Teile der Codierungs theorie. Einige Codierungsmethoden, z.B. Verfahren zur Quellencodierung (Ab schnitt five) sind ohne Kenntnisse aus der Infonnationstheorie fiberhaupt nicht zu ver stehen. Andere Teile der Codierungstheorie, z.B. Konstruktionsverfahren fiir fehler erkennende Codes (Abschnitt 6) sind weniger stark mit der Infonnationstheorie ver zahnt und konnen weitgehend eigenstandig behandelt werden. Bei dem vorliegenden Buch wird versucht mit moglichst geringen mathematischen Hilfsmitteln auszukommen. Vorausgesetzt werden neben Kenntnissen der hOheren Mathematik einige Grundlagen der Wahrscheinliehkeitsrechnung. Auf eine strenge mathematische Beweisfiihrung wird haufig zugunsten von Plausibilitatserklarungen verzichtet. Viele Erklarungen und voll durchgerechnete Beispiele sollen zum Ver standnis des Stoffes beitragen. Das Buch ist als Begleitbuch zu Vorlesungen, beson ders aber auch fUr das Selbststudium konzipiert. Nach einem ganz kurzen einfiihrenden Abschnitt befaBt sich der Abschnitt 2 mit der Beschreibung diskreter Infonnationsquellen. Hier wird zunachst der Begriff des Entscheidungsgehaltes und des mittleren Infonnationsgehaltes (Entropie) eingefiihrt. Zum AbschluB des Abschnittes wird der InfonnationsfluB diskreter Infonnations quellen behandelt.

Show description

Read Online or Download Informationstheorie und Codierung PDF

Best german_5 books

Additional resources for Informationstheorie und Codierung

Sample text

4 Verbundquellen und der InformationsfluB H(X) «s I N Id WeN) . 52) In dieser Beziehung kann ld WeN) als Entropie einer (Verbund-) QueUe interpretiert werden, die die W gleichwahrscheinlichen typischen Worter der Lange N aussendet. 6 Der InformationsfluB Bine stationiire QueUe mit dem Wahrscheinlichkeitsfeld sendet eine Folge von N Zeichen. Es wird angenommen, daB TI die "Sendezeit" fur das Zeichen xl ist, T2 die fur x2 usw.. , so betragt die Sendezeit rur das Wort T = Nl Tl + N2T2 + ... + Nn Tn mit NI + N2 + ...

Betrachtet man die Rauschmatrix des Kanals nach Gl. 27, so erkennt man, daB P(y=blx=a)=l ist. Das Zeichen x=a wird mit Sicherheit in das Zeichen y=b umgewandelt. Da P(y=blx=b)=O und auch P(y=blx=c)=O sind, kann y=b niemals durch fehlerhafte Ubertragung von x = b bzw. x = c entstehen. Dies bedeutet im Grunde eine fehlerfreie Ubertragung des Senderzeichens a, das lediglich in das Zeichen bander Senke ''umcodiert'' wird. Eine groBere Transinformation ist zu erwarten, wenn die Quelle wenig gestorte Zeichen haufiger sendet.

Diese Vermutung wiirde zu einer hOheren Transinformation als nach 01. 15 fiihren, wenn P(x2»P(xl) und damit H(X) < 1 bit ist. Um dies zu untersuchen, setzen wir in der Matrix V der Verbundwahrscheinlichkeiten nach 01. 12 P2 = 0 und erhalten V = ( (I-PI) P(xI) o PI P(Xl») P(x2)' Die Spaltensummen ergeben P(Yl) = (I-PI) P(xI)' P(Y2) = PI P(xl) + P(~). 16) Zur Ermittlung des Maximalwertes von H(X;Y) bilden wir die Ableitung d H(X; Y) ( ) ( ) d P(xl) = -ld P(xl) + (I-PI) ld 1-(I-P l)P(xl) + Pl ld PI P(xl) = O.

Download PDF sample

Rated 4.26 of 5 – based on 35 votes