OEF Entropie --- Introduction ---

Ce module regroupe pour l'instant 21 exercices sur l'entropie dans la théorie d'information.

Décimaux-3

Calculez l'entropie binaire de la distribution de 3 probabilités suivantes :
{ , , }

Décimaux-4

Calculez l'entropie binaire de la distribution de 4 probabilités suivantes :
{ , , , }

Décimaux-5

Calculez l'entropie binaire de la distribution de 5 probabilités suivantes :
{ , , , , }

Entropie donnée - 2

Trouvez une distribution de probabilités sur un système à deux éléments {A,B}, pour que l'entropie binaire du système soit égale à .

Les deux probabilités P(A), P(B) doivent être positives et leur somme doit être égale à 1.

Entropie donnée - 3

Trouvez une distribution de probabilités sur un système à trois éléments {A,B,C}, pour que l'entropie binaire du système soit égale à .

Les trois probabilités P(A), P(B), P(C) doivent être positives et leur somme doit être égale à 1.

Entropie donnée - 4

Trouvez une distribution de probabilités sur un système à quatre éléments {A,B,C,D}, pour que l'entropie binaire du système soit égale à .

Les quatre probabilités P(A), P(B), P(C), P(D) doivent être positives et leur somme doit être égale à 1.

Existence d'entropie - 3

Existe-t-il un système à 3 éléments dont l'entropie binaire est égale à  ?

Existence d'entropie

Existe-t-il un système à éléments dont l'entropie binaire est égale à  ?

Fichier informatique

Un fichier informatique pèse octets. Le contenu du fichier fait apparaître seulement 4 valeurs d'octets, comme le montre le tableau suivant.
Valeur décimale
Valeur binaire
Nombre d'octets
Calculez l'entropie binaire du fichier, selon les nombres de bits et selon ceux d'octets.

Fichier informatique II

Un fichier informatique pèse octets. Le contenu du fichier fait apparaitre seulement 6 valeurs d'octet, comme montre le tableau suivant.
Valeur d'Octet
Nombre
L'entropie binaire du fichier est selon les nombres d'octets.

En recodant les octets du fichier par un code binaire optimal de longueur variable, on peut réduire la taille du fichier à octets (sans compter les éventuels en-têtes).

Image couleur

Une image couleur de × pixels est composée de 5 couleurs : noir, blanc, rouge, vert, bleu. Voici le nombre de pixels de chaque couleur dans l'image.
Couleur Noir Blanc Rouge Vert Bleu
Pixels
Calculez l'entropie binaire de l'image calculée selon les nombres des pixels.

Max d'entropie - 3

Nous avons un système de distribution de probabilités sur 3 éléments {A,B,C}. Sachant que la probabilité P(A) = , quel est le maximum et le minimum de l'entropie binaire du système ?

Max d'entropie II - 3

Nous avons un système de distribution de probabilités sur 3 éléments {A,B,C}. Sachant que la probabilité P() = et que
P(A) ge P(B) ge P(C) ,
quel est le maximum et le minimum de l'entropie binaire du système ?

Rationnels-3

Calculez l'entropie binaire de la distribution de 3 probabilités suivantes :
{ }

Rationnels-4

Calculez l'entropie binaire de la distribution de 4 probabilités suivantes :
{ }

Rationnels-5

Calculez l'entropie binaire de la distribution de 5 probabilités suivantes :
{ }

Rationnels-6

Calculez l'entropie binaire de la distribution de 6 probabilités suivantes :
{ }

Existence conditionnelle - 3

Est-ce qu'il existe un système à 3 éléments {A,B,C}, tel que P(A) = , et que l'entropie binaire du système est égale à  ?

Existence conditionnelle - 4

Existe-t-il un système à 4 éléments {A,B,C,D} tel que
P(A) = , P(B) = ,
et tel que l'entropie binaire du système est égale à  ?

Texte

Nous avons un texte avec mots. Le tableau suivant montre les mots qui apparaissent dans le texte, ainsi que leurs fréquences respectives.
Mot
Fréquence

Calculez l'entropie binaire du texte, selon les nombres de lettres alphabétiques (sans les accents) et selon ceux de mots.

Attention. En calculant l'entropie selon les nombres de lettres, il ne faut pas oublier les espaces qui séparent les mots !

Texte II

Nous avons un texte avec mots. Le tableau suivant montre les mots qui apparaissent dans le texte, ainsi que leurs fréquences respectives.
Mot
Fréquence

L'entropie binaire du texte est selon les nombres de mots.

En codant les mots du texte par un code binaire optimal de longueur variable, on peut compresser le texte en octets (sans compter les éventuels en-têtes). The most recent version
Cette page n'est pas dans son apparence habituelle parce que WIMS n'a pas pu reconnaître votre navigateur web.
Afin de tester le navigateur que vous utilisez, veuillez taper le mot wims ici : puis appuyez sur ``Entrer''.

Veuillez noter que les pages WIMS sont générées interactivement; elles ne sont pas des fichiers HTML ordinaires. Elles doivent être utilisées interactivement EN LIGNE. Il est inutile pour vous de les ramasser par un programme robot.