Informationstheorie und Codierung

Die Infonnationstheorie gehOrt zu den Grundlagen fUr alle Wissenschaftsgebiete, die sich mit der Obertragung von Nachrichten und der" Verarbeitung von Infonnationen befassen. Ihre Geburtsstunde wird auf das Jahr 1948 dadiert, in dem C. E. Shannon seine grundlegenden Untersuchungen fiber das Wesen von Nachrichten veroffentlichte. In diesem Buch werden die auf den Gedanken von Shannon basierenden Grundla- gen der Infonnationstheorie dargestellt und zusatzlich wichtige Teile der Codierungs- theorie. Einige Codierungsmethoden, z.B. Verfahren zur Quellencodierung (Ab- schnitt 5) sind ohne Kenntnisse aus der Infonnationstheorie fiberhaupt nicht zu ver- stehen. Andere Teile der Codierungstheorie, z.B. Konstruktionsverfahren fiir fehler- erkennende Codes (Abschnitt 6) sind weniger stark mit der Infonnationstheorie ver- zahnt und konnen weitgehend eigenstandig behandelt werden. Bei dem vorliegenden Buch wird versucht mit moglichst geringen mathematischen Hilfsmitteln auszukommen. Vorausgesetzt werden neben Kenntnissen der hOheren Mathematik einige Grundlagen der Wahrscheinliehkeitsrechnung. Auf eine strenge mathematische Beweisfiihrung wird haufig zugunsten von Plausibilitatserklarungen verzichtet. Viele Erklarungen und voll durchgerechnete Beispiele sollen zum Ver- standnis des Stoffes beitragen. Das Buch ist als Begleitbuch zu Vorlesungen, beson- ders aber auch fUr das Selbststudium konzipiert. Nach einem ganz kurzen einfiihrenden Abschnitt befaBt sich der Abschnitt 2 mit der Beschreibung diskreter Infonnationsquellen. Hier wird zunachst der Begriff des Entscheidungsgehaltes und des mittleren Infonnationsgehaltes (Entropie) eingefiihrt. Zum AbschluB des Abschnittes wird der InfonnationsfluB diskreter Infonnations- quellen behandelt.