Ентропия на Шанън

от Уикипедия, свободната енциклопедия
Направо към: навигация, търсене

В рамките на теорията на информацията, централен обект на изследване е функцията ентропия на Шанън или липса на информация, която ще обозначаваме с S.

Нека обозначим вероятностите за различните събития от дадено вероятностно пространство с P_i. Ентропията на Шанън, която понякога се нарича и „липса на информация“, в статистическата механика е еквивалентна на ентропията. Функцията е дефинирана по следния начин:

S = -C\sum_i^N P_i \ln P_i = C \langle \ln P_i \rangle, където C е константа, чийто смисъл ще стане ясен по-късно, а N е броят на възможните резултати (в статистическата механика - броят на възможните микросъстояния)

Нека например разгледаме ситуацията залагане на зарове. Притежателят на зара е измамник, който е обработил зара така, че да пада на определено число. Познаването на това число намалява стойността на функцията липса на информация, която понякога, за по-кратко се нарича и ентропия.

Минимум и максимум на ентропията (липсата на информация)[редактиране | edit source]

Ако зарът винаги пада на една страна, да кажем 4, то тогава вероятността P_4 е равна на 1, а всички други вероятности са 0. В този случай, функцията липса на информация става равна на:

S = -C\sum_i^N P_i \ln P_i = -C(P_1 \ln P_1 + P_2 \ln P_2 + P_3 \ln P_3 + P_4 \ln P_4 + P_5 \ln P_5 + P_6 \ln P_6)
S = -C(0 \ln P_1 + 0 \ln P_2 + 0 \ln P_3 + 1 \ln 1 + 0 \ln P_5 + 0 \ln P_6)

и тъй като всички членове на това уравнение са равни на нула (заб. \lim_{x\rightarrow 0} x\ln x = 0), имаме:

S = 0.

Тоест, липсата на информация е нулева, когато със сигурност знаем изхода от даден опит, което, както виждаме, може да се изрази математически с така дефинираната функция липса на информация. Обратно, функцията липса на информация има максимум, когато отделните вероятности са равни. За да докажем това твърдение ще използваме метода с множителите на Лагранж:

От условието за нормировка следва: \sum_i P_i = 1 (сборът на всички вероятности е единица). Следователно, прибавянето на тази сума към ентропията и изваждането на единица не променя нищо:

S = S + \lambda(\sum_i^N P_i - 1)

Търсим точките, в частната производна по P_i се анулира:

 {\part S \over \part P_i} = -C(\ln P_i - 1) + \lambda P_i = 0

или

P_i = e^{-C + \lambda \over \lambda}

тоест, виждаме, че стойността на кое да е P_i зависи само от константи, т.е. самото то е константа, която може да обозначим, например, с \mu. Следователно, от условието за нормировка следва:

\sum_i^N P_i = \sum_i^N \mu = \mu N = 1

или

\mu = P_i = {1 \over N} \,\,\,\, \forall i

Видяхме, че когато липсата на информация е в максимум, вероятностите за различните изходи са равни помежду си. В рамките на статистическата механика това се интерпретира по следния начин: когато системата е в равновесие, ентропията е в максимум. След повторно изкарване от равновесие, съгласно втория принцип на термодинамиката, ентропията ще нарастне, докато отново не достигне максимум.

Връзка с ентропията[редактиране | edit source]

Както видяхме, когато ентропията (липса на информация) е максимална, всички P_i-та са равни на \frac{1}{N}. Тогава:

S = -C \sum_i^N {1 \over N} \ln {1 \over N}
S = C {1 \over N} \ln N \sum_i^N = C \ln N

Ако заместим C с kB получаваме формулата на Болцман за ентропията, която показва връзката между ентропията и липсата на информация и оправдава наименованието „ентропия на Шанън“ за функцията „липса на информация“.

Смисъл на константата C[редактиране | edit source]

Този път измамникът играе не на зарове, а на ези-тура. Ако нямаме информация за системата, вероятността монетата на падне на ези е равна на вероятността монетата да падне на тура, P_{heads} = P_{tails} = \frac{1}{2}. Ако знаем на коя страна ще падне монетата, липсата на информация е нулева. В теорията на информацията, Константата С е дефинирана така, че разликата в информацията за тези два случая да е 1, т.е.:

1 = -C(\frac{1}{2}\ln\frac{1}{2} + \frac{1}{2}\ln\frac{1}{2}) = C \times 2\ln 2
C = \frac{1}{2\ln 2}

Виждаме, че C играе ролята на „бит информация“, т.е. в теорията на информацията един бит е \frac{1}{2\ln 2}. Както видяхме, в статистическата механика, ролята на С се играе от k_B, така че един „бит ентропия“ в статистическата механика е константата на Болцман, k_B

Концепцията е представена за пръв път от Клод Шанън през 1948 г. в неговата статия „Математическа теория на комуникациите“ (en: A Mathematical Theory of Communication).

Източници[редактиране | edit source]

  • Mouhanna, D; Sator, N., Cours et TDs de Mécanique statistique, Université Pierre et Marie Curie, 2008

Външни препратки[редактиране | edit source]