A.3 : Théorie de l'information

On prend un peu de recul sur la notion de codage en étudiant ce qu’on peut en dire en général. On se concentre sur la notion de compression sans perte : codage RLE, codage de Huffman, impossibilité d’une compression absolue et générale sans perte d’information. Ceci nous mène à la notion probabiliste de quantité d’information : l’entropie de Shannon.

On aborde également la notion calculatoire, avec la complexité de Kolmogorov, avec un aperçu de la théorie de la calculabilité : thèse de Church et machines universelles.

Documents

Transparents de L. Vaux pour le cours A.3
Transparents de E. Beffara pour le cours A.3
Une implémentation du codage de Huffman en Python

Séances

  • à Aix (Luynes) : le 11 avril 2012 après-midi (Lionel Vaux)
  • à Manosque : le 18 avril 2012 après-midi (Emmanuel Beffara)
  • à Marseille : le 17 avril 2012 après-midi (Lionel Vaux)
  • à Vitrolles : le 7 mai 2012 après-midi (Emmanuel Beffara)