Gesamentlike entropie

Inligtingsteorie
Entropie Differensiële entropie Voorwaardelike entropie Gesamentlike entropie Wedersydse inligting Voorwaardelike wedersydse inligting Relatiewe entropie Entropie koers Beperking van digtheid van diskrete punte
Asimptotiese ekwipartisie-eienskap Tempo-vervorming teorie
Shannon se bronkoderingstelling Kanaal kapasiteit Ruiserige-kanaal kodering stelling Shannon–Hartley stelling

'n Misleidende Venn diagram wat optel- en aftrekkingsverwantskappe toon tussen verskeie inligtingsmaatstawwe wat met gekorreleerde veranderlikes X en Y geassosieer word. Die area wat deur beide sirkels vervat is, is die gesamentlike entropie H(X,Y). Die sirkel aan die linkerkant (rooi en violet) is die individuele entropie H(X), waar die rooi die voorwaardelike entropie H(X|Y) is. Die sirkel aan die regterkant (blou en violet) is H(Y), waar blou H(Y|X) is. Die violet is die wedersydse inligting I(X;Y).

In Inligtingsteorie, is Gesamentlike entropie 'n maatstaf van die onsekerheid wat verband hou met 'n stel van ewekansige veranderlike.

Definisie

Die gesamentlike Shannon entropie (in bisse) van twee diskrete ewekansige veranderlike $X$ en $Y$ met beelde ${\mathcal {X}}$ en ${\mathcal {Y}}$ word gedefinieer as

$\mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]$

waar $x$ en $y$ is besondere waardes van $X$ en $Y$, onderskeidelik, $P(x,y)$ is die gesamentlike waarskynlikheid van hierdie waardes wat saam voorkom, en $P(x,y)\log _{2}[P(x,y)]$ word gedefinieer as 0 as $P(x,y)=0$.

Vir meer as twee ewekansige veranderlikes $X_{1},...,X_{n}$ brei die uit na

$\mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ 

waar $x_{1},...,x_{n}$ is besondere waardes van $X_{1},...,X_{n}$, onderskeidelik, $P(x_{1},...,x_{n})$ is die waarskynlikheid dat hierdie waardes saam voorkom, en $P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ word gedefinieer as 0 as $P(x_{1},...,x_{n})=0$.