Entropia e Informazione
Connessione tra meccanica statistica e teoria dell'informazione
Entropia di Shannon
In teoria dell'informazione, l'entropia misura l'incertezza associata a una distribuzione di probabilità:
Entropia di Shannon
misurata in bit (usando ).
Connessione con la Meccanica Statistica
L'entropia di Gibbs è:
La differenza è solo nel fattore e nella base del logaritmo:
Equivalenza Concettuale
L'entropia termodinamica misura la nostra ignoranza sul microstato del sistema, dato il macrostato. È la quantità di informazione che manca per specificare completamente lo stato microscopico.
Principio di Massima Entropia
Jaynes (1957) propose di derivare la meccanica statistica dal principio di massima entropia:
Inferenza di Jaynes
Data l'informazione disponibile (vincoli), la distribuzione di probabilità che meglio rappresenta la nostra conoscenza è quella che massimizza l'entropiasoggetta ai vincoli.
Ensemble Microcanonico
Vincolo: energia fissa . Massimizzando :
Ensemble Canonico
Vincolo: energia media . Risultato:
Informazione e Misura
Una misura che riduce l'incertezza su un sistema riduce l'entropia:
Questo è il legame con il demone di Maxwell: l'informazione ha un costo termodinamico.
Principio di Landauer
Limite di Landauer
La cancellazione di un bit di informazione richiede almeno:
di calore dissipato nell'ambiente.
Questo risolve il paradosso del demone di Maxwell: il demone deve cancellare informazione, producendo entropia.
Entropia Relativa
La distanza tra due distribuzioni:
È sempre non-negativa (disuguaglianza di Gibbs) e nulla solo se .
Riepilogo
Punti Chiave
- Shannon:
- Gibbs:
- Entropia = misura dell'ignoranza
- MaxEnt → distribuzioni di equilibrio
- Landauer: cancellare 1 bit costa
- Risoluzione del demone di Maxwell