La théorie de l’information est la version mathématisée de la théorie de la communication, formalisée par Claude Shannon dans les années 1940. Si elle ne s’intéresse pas à la signification, elle fournit des modèles puissants pour restituer le plus justement possible un message émis par une source.

TRANSMETTRE UNE INFORMATION

D’une manière générale, la théorie de la communication étudie les moyens de transmettre une information depuis la source (comme un signal électromagnétique) jusqu’à un utilisateur à travers un canal (comme une ligne téléphonique). La théorie de l’information, dans son acception moderne, est la théorie de la communication mathématisée par Shannon dans un article de 1948. C’est donc une théorie mathématique qui décrit les aspects les plus fondamentaux des communications et qui étudie des modèles pour la source et le canal en utilisant des outils tels que les probabilités et les automates finis. Cette théorie fournit également des modèles pour le stockage d’informations. On peut définir une information comme un élément de connaissance qui peut être conservé (mis en mémoire), traité ou encore transmis. Attention, la théorie de l’information ne s’intéresse pas à la signification du message, elle n’est pas une théorie sémantique. Elle s’intéresse à la quantité d’information transmise.

CODAGE SOURCE ET CODAGE CANAL

Shannon a établi un schéma qui résume les étapes d’un transfert de communication (la transmission pouvant s’effectuer dans le temps ou dans l’espace). On considère ici le traitement sans perte d’information. La source émet une information. Cette information passe dans deux types de codeurs très différents : d’une part ce que l’on appelle le « codage source » (élimination des redondances, compression, etc. et représentation de la sortie de la source sous forme de séquence binaire), et d’autre part le « codage canal » (protection contre les erreurs – le bruit – qui est assurée en ajoutant de la redondance, des correcteurs d’erreurs). Ainsi, d’un côté
on supprime des redondances, de l’autre on en ajoute.
L’information passe alors par le canal. Ensuite, elle passe de nouveau par deux types de décodeur, un décodeur source et un décodeur canal, les deux ayant pour objet de restituer de façon acceptable la séquence binaire, puis l’information fournie par la source à partir de la sortie du canal. QUANTITÉ

D’INFORMATION ET PROBABILITÉ D’APPARITION

La théorie de l’information repose sur la notion de probabilités. Dans ce modèle probabiliste, fournir une information à un utilisateur consiste à choisir un événement parmi plusieurs possibles. Qualitativement, fournir une information consiste donc à lever une incertitude sur l’issue d’une expérience aléatoire. La difficulté rencontrée pour définir une quantité d’information relative à un événement est liée au caractère subjectif de l’information effectivement apportée par la réalisation de cet événement. A priori, l’incertitude d’un événement est d’autant plus grande que l’on ne s’attend pas à ce qu’il se réalise. La définition de la quantité d’information tente de rendre compte de l’idée précédente. On considère un événement E avec une probabilité d’apparition P(E). La quantité d’information I(E) vaut alors l’opposé du logarithme de P(E). On voit bien que la quantité d’information (positive, car P(E) est plus petite que 1) est d’autant plus grande que la probabilité d’apparition est petite.

EN RÉSUMÉ

La théorie de l’information est la formalisation mathématique de la théorie de la communication. Elle étudie la transmission depuis une source vers un utilisateur à travers un canal. Le codage du canal « nettoie » le signal, alors que le codage du canal cherche à atténuer les effets du bruit. Les sources peuvent être discrètes ou continues, comme les canaux. Cette théorie cherche à mesurer la quantité d’information en s’appuyant sur les probabilités, et notamment sur le concept d’« entropie ».