In diesem Kapitel lernen Sie präfixfreie Codes und Konzepte wie erwartete Codelänge kennen. Wir werden lernen, wie man für eine Wahrscheinlichkeitsverteilung $P$ einen optimalen Code berechnet, also mit minimaler erwarteter Codelänge. Wir werden sehen, wie diese im Zusammenhang steht zur Shannon-Entropie $H(P)$ der Verteilung $P$. Zentrale Punkte dieses Kapitels sind Shannons Source Coding Theorem und der Huffman-Algorithmus.

Als eher randständiges Thema beschäftigen wir uns mit der Frage, ob denn die erwartete Länge eines optimalen nicht präfixfreien Codes kleiner werden kann als die Entropie und um wieviel.