Teoria informacji

Teoria informacji - dział matematyki na pograniczu statystyki i informatyki, mający również olbrzymie znaczenie w współczesnej telekomunikacji, dotyczący przetwarzania informacji oraz jej transmisji, kompresji, kryptografii itd.

Spis treści

[edytuj] Historia i charakterystyka teorii informacji

Za ojca teorii informacji uważa się Claude'a E. Shannona, który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku, w swojej pracy zatytułowanej "A Mathematical Theory of Cryptography". Natomiast w 1948 roku, w kolejnej pracy pt. "A Mathematical Theory of Communication" przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku książce Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona - wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.

Ważne pojęcia teorii informacji:

bit: najmniejsza jednostka informacji potrzebna do zakodowania, które z dwóch możliwych zdarzeń zaszło.

Zobacz wyższe jednostki informacji.

entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach.

Wzór na entropię to:

$H(x)=-\sum_{i=1}^np(i)\log_2 p(i)\,\!$

gdzie p(i) to prawdopodobieństwo zajścia zdarzenia i.

Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.

[edytuj] Model statystyczny rzędu N

Jest to model rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków:

model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków
model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak
model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki
model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.

[edytuj] Literatura

Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.
Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.
David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
Ming Li, Paul Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997.
Marian Mazur, Jakościowa teoria informacji. WNT, Warszawa 1970, ss. 223.