Re: [HS] Informatique et entropie disponible
steve a écrit :
Bonjour,
Et désolé pour ce HS caractérisé, j'espère qu'il intéressera d'autres
personnes sur cette liste.
J'ai installé munin afin de surveiller une machine et un des modules est
"l'entropie disponible", mesurée en bytes. Je sais ce que l'entropie
signifie en physique, mais pas en informatique. Le graphique de munin
montre une valeur d'environ 3000 bytes plus ou moins constante sur la
durée avec quelques pics tant au-dessous qu'en-dessus de cette valeur
moyenne.
L'entropie est la quantité d'information d'une source:
Soit S=(Src,P) une source d'information, avec Src = (s1,...,sn) un alphabet
et P=(p1,....pn) la probilité d' aparaître (dans un msg aprexemple)
associée
à chacun des éléments de l'alphabet.
Ex: Src = {0;1}
P = {0.5;0.5} (cette distribution est uniforme)
Il existe les sources sans mémoire où les sorties de bits sont
indépendantes et que P reste stable, et les sources markovienne qui
dépendent des bits générés précédemment.
l'entropie donne une notion du degré d'ordre et de redondance.
Sur un ordinateur, l'entropie d'une source est la somme des
pi*log2(1/pi) soit H(S) = sigma(i=0,n)(pi*log(1/pi))
On definit alors par extension l'entropie d'un message appartenant a S+
comme l'entropie de la source induite par ce message.
Il existe aussi les entropies conditionnelles, conjointe ou les k-ième
extensions utiles pour ne pas se baser que sur un bit à la fois.
Elle sert en informatique à générer des valeurs aléatoires (très utile
pour la cryptographie par exemple)
Il vaut donc mieux qu'elle soit haute.
Généralement, sur les ordinateurs, l'entropie est généré à partir du
matériel (cycles CPU ou autres..)
Cela est utile pour les applications ayant besoin de valeurs aléatoires
(génération de clés gpg par exemple)
Pour la faire augmenter, un bon find /
En espérant avoir été clair.
mathieu
Reply to: