Ентропия на Шанън: Разлика между версии
м →Минимум и максимум на ентропията (липсата на информация): replaced: нарастн → нарасн редактирано с AWB |
Vodnokon4e (беседа | приноси) форматиране: 3x нов ред, 2x тире, интервал (ползвайки Advisor) |
||
Ред 2: | Ред 2: | ||
Нека обозначим вероятностите за различните събития от дадено [[вероятностно пространство]] с <math>P_i</math>. Ентропията на Шанън, която понякога се нарича и „липса на информация“, в [[Статистическа механика|статистическата механика]] е еквивалентна на [[ентропия]]та. Функцията е дефинирана по следния начин: |
Нека обозначим вероятностите за различните събития от дадено [[вероятностно пространство]] с <math>P_i</math>. Ентропията на Шанън, която понякога се нарича и „липса на информация“, в [[Статистическа механика|статистическата механика]] е еквивалентна на [[ентропия]]та. Функцията е дефинирана по следния начин: |
||
:<math>S = -C\sum_i^N P_i \ln P_i = C \langle \ln P_i \rangle</math>, където C е константа, чийто смисъл ще стане ясен по-късно, а N е броят на възможните резултати (в статистическата механика |
:<math>S = -C\sum_i^N P_i \ln P_i = C \langle \ln P_i \rangle</math>, където C е константа, чийто смисъл ще стане ясен по-късно, а N е броят на възможните резултати (в статистическата механика – броят на възможните [[микросъстояние|микросъстояния]]) |
||
Нека например разгледаме ситуацията залагане на зарове. Притежателят на зара е измамник, който е обработил зара така, че да пада на определено число. Познаването на това число намалява стойността на функцията липса на информация, която понякога, за по-кратко се нарича и ентропия. |
Нека например разгледаме ситуацията залагане на зарове. Притежателят на зара е измамник, който е обработил зара така, че да пада на определено число. Познаването на това число намалява стойността на функцията липса на информация, която понякога, за по-кратко се нарича и ентропия. |
||
== Минимум и максимум на ентропията (липсата на информация) == |
== Минимум и максимум на ентропията (липсата на информация) == |
||
Ако зарът ''винаги'' пада на една страна, да кажем 4, то тогава вероятността <math>P_4</math> е равна на 1, а всички други вероятности са 0. В този случай, функцията липса на информация става равна на: |
Ако зарът ''винаги'' пада на една страна, да кажем 4, то тогава вероятността <math>P_4</math> е равна на 1, а всички други вероятности са 0. В този случай, функцията липса на информация става равна на: |
||
:<math>S = -C\sum_i^N P_i \ln P_i = -C(P_1 \ln P_1 + P_2 \ln P_2 + P_3 \ln P_3 + P_4 \ln P_4 + P_5 \ln P_5 + P_6 \ln P_6)</math> |
:<math>S = -C\sum_i^N P_i \ln P_i = -C(P_1 \ln P_1 + P_2 \ln P_2 + P_3 \ln P_3 + P_4 \ln P_4 + P_5 \ln P_5 + P_6 \ln P_6)</math> |
||
Ред 29: | Ред 28: | ||
== Връзка с ентропията == |
== Връзка с ентропията == |
||
Както видяхме, когато ентропията (липса на информация) е максимална, всички <math>P_i</math>-та са равни на <math>\frac{1}{N}</math>. Тогава: |
Както видяхме, когато ентропията (липса на информация) е максимална, всички <math>P_i</math>-та са равни на <math>\frac{1}{N}</math>. Тогава: |
||
:<math>S = -C \sum_i^N {1 \over N} \ln {1 \over N} </math> |
:<math>S = -C \sum_i^N {1 \over N} \ln {1 \over N} </math> |
||
Ред 36: | Ред 34: | ||
== Смисъл на константата C == |
== Смисъл на константата C == |
||
Този път измамникът играе не на зарове, а на ези-тура. Ако нямаме информация за системата, вероятността монетата на падне на ези е равна на вероятността монетата да падне на тура, <math>P_{heads} = P_{tails} = \frac{1}{2}</math>. Ако знаем на коя страна ще падне монетата, липсата на информация е нулева. В теорията на информацията, Константата С е дефинирана така, че разликата в информацията за тези два случая да е 1, т.е.: |
Този път измамникът играе не на зарове, а на ези-тура. Ако нямаме информация за системата, вероятността монетата на падне на ези е равна на вероятността монетата да падне на тура, <math>P_{heads} = P_{tails} = \frac{1}{2}</math>. Ако знаем на коя страна ще падне монетата, липсата на информация е нулева. В теорията на информацията, Константата С е дефинирана така, че разликата в информацията за тези два случая да е 1, т.е.: |
||
: <math>1 = -C(\frac{1}{2}\ln\frac{1}{2} + \frac{1}{2}\ln\frac{1}{2}) = C \times 2\ln 2</math> |
: <math>1 = -C(\frac{1}{2}\ln\frac{1}{2} + \frac{1}{2}\ln\frac{1}{2}) = C \times 2\ln 2</math> |
||
Ред 42: | Ред 39: | ||
Виждаме, че C играе ролята на „бит информация“, т.е. в теорията на информацията един бит е <math>\frac{1}{2\ln 2}</math>. Както видяхме, в статистическата механика, ролята на С се играе от <math>k_B</math>, така че един „бит ентропия“ в статистическата механика е [[константа на Болцман|константата на Болцман]], <math>k_B</math> |
Виждаме, че C играе ролята на „бит информация“, т.е. в теорията на информацията един бит е <math>\frac{1}{2\ln 2}</math>. Както видяхме, в статистическата механика, ролята на С се играе от <math>k_B</math>, така че един „бит ентропия“ в статистическата механика е [[константа на Болцман|константата на Болцман]], <math>k_B</math> |
||
Концепцията е представена за пръв път от [[Клод Шанън]] през [[1948]] г. в неговата статия „Математическа теория на комуникациите“ |
Концепцията е представена за пръв път от [[Клод Шанън]] през [[1948]] г. в неговата статия „Математическа теория на комуникациите“. |
||
== Източници == |
== Източници == |
||
Ред 48: | Ред 45: | ||
== Външни препратки == |
== Външни препратки == |
||
* {{икона|en}} ''[http://www.essrl.wustl.edu/~jao/itrg/shannon.pdf Математическа теория на комуникациите]'' |
* {{икона|en}} ''[http://www.essrl.wustl.edu/~jao/itrg/shannon.pdf Математическа теория на комуникациите]'' – оригиналната публикация на Шанън от [[1948]] г. Посетена на 31 юли 2008. |
||
[[Категория:Дискретна математика]] |
[[Категория:Дискретна математика]] |
Версия от 01:08, 2 август 2018
В рамките на теорията на информацията, централен обект на изследване е функцията ентропия на Шанън или липса на информация, която ще обозначаваме с .
Нека обозначим вероятностите за различните събития от дадено вероятностно пространство с . Ентропията на Шанън, която понякога се нарича и „липса на информация“, в статистическата механика е еквивалентна на ентропията. Функцията е дефинирана по следния начин:
- , където C е константа, чийто смисъл ще стане ясен по-късно, а N е броят на възможните резултати (в статистическата механика – броят на възможните микросъстояния)
Нека например разгледаме ситуацията залагане на зарове. Притежателят на зара е измамник, който е обработил зара така, че да пада на определено число. Познаването на това число намалява стойността на функцията липса на информация, която понякога, за по-кратко се нарича и ентропия.
Минимум и максимум на ентропията (липсата на информация)
Ако зарът винаги пада на една страна, да кажем 4, то тогава вероятността е равна на 1, а всички други вероятности са 0. В този случай, функцията липса на информация става равна на:
и тъй като всички членове на това уравнение са равни на нула (заб. ), имаме:
- .
Тоест, липсата на информация е нулева, когато със сигурност знаем изхода от даден опит, което, както виждаме, може да се изрази математически с така дефинираната функция липса на информация. Обратно, функцията липса на информация има максимум, когато отделните вероятности са равни. За да докажем това твърдение ще използваме метода с множителите на Лагранж:
От условието за нормировка следва: (сборът на всички вероятности е единица). Следователно, прибавянето на тази сума към ентропията и изваждането на единица не променя нищо:
Търсим точките, в частната производна по се анулира:
или
тоест, виждаме, че стойността на кое да е зависи само от константи, т.е. самото то е константа, която може да обозначим, например, с . Следователно, от условието за нормировка следва:
или
Видяхме, че когато липсата на информация е в максимум, вероятностите за различните изходи са равни помежду си. В рамките на статистическата механика това се интерпретира по следния начин: когато системата е в равновесие, ентропията е в максимум. След повторно изкарване от равновесие, съгласно втория принцип на термодинамиката, ентропията ще нарасне, докато отново не достигне максимум.
Връзка с ентропията
Както видяхме, когато ентропията (липса на информация) е максимална, всички -та са равни на . Тогава:
Ако заместим C с kB получаваме формулата на Болцман за ентропията, която показва връзката между ентропията и липсата на информация и оправдава наименованието „ентропия на Шанън“ за функцията „липса на информация“.
Смисъл на константата C
Този път измамникът играе не на зарове, а на ези-тура. Ако нямаме информация за системата, вероятността монетата на падне на ези е равна на вероятността монетата да падне на тура, . Ако знаем на коя страна ще падне монетата, липсата на информация е нулева. В теорията на информацията, Константата С е дефинирана така, че разликата в информацията за тези два случая да е 1, т.е.:
Виждаме, че C играе ролята на „бит информация“, т.е. в теорията на информацията един бит е . Както видяхме, в статистическата механика, ролята на С се играе от , така че един „бит ентропия“ в статистическата механика е константата на Болцман,
Концепцията е представена за пръв път от Клод Шанън през 1948 г. в неговата статия „Математическа теория на комуникациите“.
Източници
- Mouhanna, D; Sator, N., Cours et TDs de Mécanique statistique, Université Pierre et Marie Curie, 2008
Външни препратки
- ((en)) Математическа теория на комуникациите – оригиналната публикация на Шанън от 1948 г. Посетена на 31 юли 2008.