Entropie (Inligtingsteorie)

in Wikipedia, die vrye ensiklopedie
Jump to navigation Jump to search

In Inligtingsteorie, is die entropie van 'n ewekansige veranderlike die gemiddelde vlak van "inligting", "verrassing" of "onsekerheid" ingebore aan die veranderlike se moontlike uitkomste. Gegewe 'n diskrete ewekansige veranderlike , met moontlike uitkomste , wat met waarskynlikheid plaasvind, die entropie van word formeel gedefinieer as:

waar dui die som bo die veranderlike se moontlike waardes aan. Die keuse van basis vir , die logaritme, verskil vir verskillende toepassings. Basis 2 gee die eenheid van bis (of "shannons"), terwyl basis e gee "natuurlike eenhede" nat, en basis 10 gee eenhede van "dits", "bans", of "hartleys". 'n Ekwivalente definisie van entropie is die verwagte waarde van die selfinligting van 'n veranderlike.[1]

Twee bisse entropie: In die geval van twee billike muntgooie, die inligtingsentropie in bisse is die basis-2-logaritme van die aantal moontlike uitkomste; met twee munte is daar vier moontlike uitkomste, en twee bisse van entropie.In die algemeen is inligtingsentropie die gemiddelde hoeveelheid inligting wat deur 'n gebeurtenis oorgedra word, wanneer alle moontlike uitkomste in ag geneem word.

Die konsep van inligtingsentropie is deur Claude Shannon bekendgestel in sy 1948-artikel "A Mathematical Theory of Communication",[2][3] en word ook na verwys as Shannon-entropie.

Sien ook[wysig | wysig bron]

Verwysings[wysig | wysig bron]

  1. Pathria, R. K.; Beale, Paul (2011). Statistical Mechanics (Third uitg.). Academic Press. p. 51. ISBN 978-0123821881.
  2. Shannon, Claude E. (Julie 1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (3): 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. hdl:10338.dmlcz/101429. (PDF, archived from here)
  3. Shannon, Claude E. (Oktober 1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (4): 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. hdl:11858/00-001M-0000-002C-4317-B. (PDF, archived from here)