Petite série de vidéo sur la physique statistique, de la définition de la température à l’entropie en passant par le facteur de Boltzmann et la loi de Planck :
L’entropie est une notion passionnante qui ramifie dans différents champs.
En théorie de l’information, Claude Shannon a appelé entropie la mesure de la quantité d’information contenu dans un message. Ramenée à la physique, l’entropie de Shannon mesure le nombre de questions binaires (dont la réponse est oui ou non) auxquelles il faudrait répondre pour spécifier le microétat du système pour un macroétat donné.
Cherchant une réponse au paradoxe de Maxwell, Leó Szilárd a formulé en 1929 une équivalence entre l’énergie et l’information grâce à une version simplifiée du démon de Maxwell. Il en a déduit l’énergie nécessaire au démon pour faire varier l’information d’un bit. Landauer en a fait un principe (en 1961) qui stipule que l’énergie dissipée lors de l’effacement d’un bit d’information vaut au minimum $k_BT \ln(2)$.
Lien entre l’entropie de Shannon et l’entropie thermodynamique dans le cas d’un gaz parfait à l’équilibre (composé de $N$ particules) dans une enceinte de volume $V$ à la température $T$ :
L’information sur une particule consiste à connaître sa position et sa vitesse. L’additivité de l’entropie permet de distinguer ces deux contributions.
Appelons $H_p(V)$ l’entropie de Shannon liée la position d’une particule du gaz.
Après avoir doublé le volume de l’enceinte, on peut revenir à la situtation de départ (en terme d’information) en posant à la particule la question binaire “es-tu dans l’enceinte de gauche ou celle de droite ?”.
On a par conséquent $H_p(2V) = H_p(V) + 1$ (il faut 1 bit d’information en plus). La seule fonction ayant cette propriété est le logarithme en base deux : $\log_2$. D’où $H_p(V) = \log_2(V)+cste$.
À l’équilibre thermique, l’énergie cinétique pour chacun des degrés de liberté possibles (3 pour une particule monatomique, et 5 ou 7 pour une particule diatomique en ajoutant les rotations et vibrations) est proportionnelle à la température. Mais notre information porte sur la vitesse. La vitesse pour chaque réservoir d’énergie cinétique est donc proportionnelle à la racine carrée de la température. En quadruplant la température, on double donc la vitesse dans chacun des réservoirs. Il faudra alors autant de questions binaires que de réservoirs (3 pour une particule monoatomique) pour revenir à la situation informationnelle de départ.
En appelant $H_v(T)$ l’entropie de Shannon liée à la vitesse d’une particule, on a : $H_v(4T) = H_v(T)+3$. La fonction ayant cette propriété est $3\log_4$ ou $\frac{3}{2}\log_2$.
D’où $\displaystyle H_v(T)=\frac{3}{2}\log_2(T) + cste$.
L’entropie de Shannon totale de la particule vaut donc $\displaystyle H(V,T)=H_v(V)+H_p(T) = \frac{3}{2}\log_2(T)+\log_2(V)+cste$
Et pour $N$ particules ? Si les particules sont supposées indiscernables, multiplier $H$ par $N$ nous ferait tomber dans le paradoxe de Gibbs. Comme toutes les permutations de particules amènent à la même quantité d’infomation, il faut retirer $\log_2(N!)$ à l’entropie obtenue : $\displaystyle H_{gaz}(V,T) = N H(V,T) - \log_2(N!) \approx \frac{3N}{2}\log_2(T) + N\log_2(V) + Ncste - N\log_2(N) + N$.
En utilisant le principe de Landauer, on peut convertir ces bits en énergie par unité de température en multipliant par $k_B \ln_2$. On passe alors de $H$ à $S$, l’entropie thermodynamique :
$\displaystyle S(V,T) = \frac{3Nk_B}{2}\ln(T) + Nk_B\ln(V) - Nk_B\ln(N)+CNk_B$ (où $C$ est une constante).
Source : vidéo de Lê Nguyên Hoang sur l’entropie
On observe une convergence de la recherche en informatique et en physique théorique sur les questions de l’entropie et de la complexité.
John Wheeler est un des premiers à militer pour qu’on s’oriente vers une explication de l’univers basée sur son contenu en information, le bit élémentaire, ce qu’il résume par la formule “it from bit”.
Le fait qu’un trou noir ait une entropie proportionnelle à son aire et non à sa masse, comme l’ont montré Stephen Hawking et Jacob Bekenstein, semble donner corps à cette idée que le bit est l’atome de notre compréhension de l’univers. Tout horizon se présenterait en effet comme une sorte d’écran sur lequel s’écrit l’information qu’il contient. C’est le principe holographique.