Discussion:Théorie de l'information

Non, je suis navre je ne peux pas être d accord avec la premiere phrase, la fonction premiere de l'ordinateur a été le calcul.
D'autre part l'article est cense parle de theorie de l'information, et cela n'apparait nul part, work in progress oblige certes, mais tout de meme.

Dtcube

Je me demande si il ne faut pas expliquer en quoi l'entropie est une mesure de l'information.
Je ne suis pas vraiment sûr que ce soit clair pour tout le monde.
Pour ce qui est de la théorie de l'information, il faut préciser jusqu'où on veut aller.

Gus2

27-Nov-04 Gus2 Attention je vais craquer, je vais traduire la page anglaise. En fait j'hésite. je sais pas trop.

Je pense qu'on peut expliquer en quoi l'entropie est une mesure de l'information. Sinon, la formule avec les log paraît bien mystérieuse. Je pourrai m'en charger dans les jours qui viennent. J'ai aussi déplacé un paragraphe afin de mieux structurer (à mon avis) l'article Theon 9 déc 2004 à 13:38 (CET)

Attention à ne pas confondre

Affirmer de but en blanc "l faut moins de bits pour écrire chien que mammifère" est quelque peu déroutant pour le lecteur. L'explication jointe est bienvenue. Celle qui suit est complètement insuffisante.

Paradoxe du compresseur

C'est quoi. Le lien renvoie sur rien de pertinent.--Maurege 3 mar 2005 à 15:38 (CET)

Je crois qu'il s'agit de la démonstration montrant que l'on ne peut créer un compresseur de données universel. En effet, pour compresser tous les messages de moins de n bits, il faut 2^n messages de moins de n bits, alors qu'il n'y a en que 2^(n-1). Si cela dont-il s'agit, alors, ce n'est pas un paradoxe. C'est peut-être aussi pour cela que le paradoxe a été supprimé de la page sur les Paradoxes. Je propose donc de créer un article à part sur ce 'paradoxe'.Julien2512 3 mars 2005 à 15:51

Je viens de créer l'article et de mettre à jour le lien. Julien2512 3 mars 2005 à 15:01

Fusion de Théorie de l'information et théorie de l'Information

Le « i » d'information n'a pas de raison pour être en majuscule. Il serait plus facile d'extraire l'info non présente dans Théorie de l'Information et l'ajouter à Théorie de l'information. Gene.arboit 28 octobre 2005 à 21:51 (CEST)

Fait. Gene.arboit 8 novembre 2005 à 01:16 (CET)

Un peu plus de précision serait bienvenue

Bonjour,

Etant tout à fait ignorant en théorie de l'information, j'ai trouvé cet article relativement intéressant, et assez accessible. Cependant, je n'ai pas bien vu le rapport entre le chapitre 2.3 "Information imparfaite" et la notion de quantité d'information. Je pense que cette partie pourrait être développée un poil...

D'autre part le lien externe Un cours de théorie de l'information B3 renvoie tout simplement sur la page d'accueil du CNAM...

Merci aux contributeurs !!

Explication difficile à comprendre

Je pense qu'il serait plus facile à comprendre si on expliquait la quantité d'information de la même façon que celle que j'ai apprise aux cours: la quantité d'information est fonction de la probabilité que l'événement ne se produise pas.

Par exemple, dire: "Le Pape se marie" apporte beaucoup d'information car la probabilité que le Pape se marie est faible, du moins jusqu'à aujourd'hui :-).

Par contre dire: "Demain le soleil se couchera" n'apporte pas grand chose comme information. En effet, la probabilité que le soleil se couche tous les jours (pour un habitant de la Terre) est proche de 100% - je ne néglige pas qu'une météorite frappe la Terre et nous anéantisse tous ;-).

Juste mes 2 euro cents. Qu'en pensez-vous?

V. Cadet

Précision

La mesure de l'information repose sur un constat empirique : la quantité d'information apportée par un événement est inversement proportionnelle a la probabilité de réalisation de cet événement.

Un événement certain n'apporte aucune information et plus un événement est rare plus il apporte d'information.

Exemple trivial : dans une gare si on apprend que le train est arrivé a l'heure (probabilité quasi certaine :) ... ca n'apporte aucune information, en revanche si le train déraille (probabilité très faible, en France :) c'est une "grosse" information !

C'est pourquoi on prend  I = 1/p

Si on fait un tableau on voit bien que ca marche.

si p = 1 (événement certain) I = 1

si p = 1/2 (événement équiprobable) I = 2

si p = 1/3 (événement moins fréquent) I = 3

(...)

si p = 1/100 (événement rare) I = 100

si p = 0 (événement impossible) I = infini

Bien sur en prenant I = - log 1/p on obtient le même résultat puisque la fonction log est croissante sur l'intervalle [1 .. infini]

Et dans le cas p = 1 (événement certain) alors I = log 1 = 0 (la quantité d'information est nulle) etc.

NB. Le passage au log est nécessaire pour remplir ensuite les "bonnes" conditions que l'on exige de la fonction entropie de Shannon, mais ca ne change rien a la définition de l'information puisque :

log(1/p) = log 1 - log p = 0 - log p = - log p

Seul le signe change, ce qui explique l'entropie "negativisée" H = - Somme (pi x log pi) pour retrouver une valeur positive.

En passant je signale qu'une démonstration mathématique tres simple montre que log est la seule fonction possible remplissant toutes les conditions exigées pour définir l'entropie.

TD 8 février 2008 à 10:45 (CET)

PS. En prenant I = - log p et un système fini d'événements, l'entropie peut se voir comme la quantité d'information moyenne du système. TD 14 février 2008 à 22:35 (CET)

Passage pas à sa place

Je trouve hors contexte le passage dans la partie historique sur Les sciences de l'information, jusqu'à l'information psychologique. Je ne suis pas sûr à quoi cela se réfère, mais cela ne devrait pas être dans l'article sur la théorie de l'information. Peut être dans un article sur l'application (plus ou moins inspirée...) des concepts de la théorie de l'info au domaine psychologique/communication. Mais ici, ça brouille complètement le propos. Des avis ? Sylenius (d) 11 novembre 2008 à 21:19 (CET)

Enoncé litigieux

Dans la partie Quantité d'information : cas élémentaire :

Je cite : "...l'individu A auxquelles celui-ci doit répondre sans mentir par OUI ou NON."

Suivi de : "On demande si la boîte porte le no 1 ou 2. La réponse permet alors d'éliminer deux des boîtes et il suffit d'une dernière question pour trouver quelle est la bonne boîte parmi les deux restantes."

Ce n'est pas très clair, si A ne peut repondre que par oui ou par non, B ne peut demander que "Est ce que c'est la boite n°1 qui contient l'objet" Ca ne donnera pas d'information sur la deuxieme boite puisque il reste encore 3 boite ou l'objet peut se trouver. (on se rapproche du problème de Monty Hall)

Peut être en demandant "Entre la boite 1 et la boite 2, c'est la n°1 qui contient l'objet" ...?

--DadouBordeaux (discuter) 30 janvier 2017 à 20:44 (CET)

Merci !

Information imparfaite

Ce passage sous le sous-titre Information imparfaite, dénué de source, confond information avec sème, et inférence bayésienne avec psychologie, et contredit la section Limites.

« Soit un réalisateur dont j'aime deux films sur trois. Un critique que je connais bien éreinte son dernier film et je sais que je partage en moyenne les analyses de ce critique quatre fois sur cinq. Cette critique me dissuadera-t-elle d'aller voir le film ? C'est là la question centrale de l'inférence bayésienne, qui se quantifie aussi en bits. »

Quand il s'agit d'humains, la théorie de l'information ne s'applique par : elle suppose un émetteur et un récepteur dotés du même code, qui permet de reconstituer exactement le message. Entre humains, cette situation n'existe pas. La reproduction exacte du message est une exception rare ; en ce qui concerne les opinions et les décisions, elle n'existe pas. Sperber (La contagion des idées, 1996) résume le processus. Une représentation mentale (privée) provoque l'émission d'une représentation publique (matérielle, dont la transmission par des moyens techniques est le sujet de la théorie de l'information). Le ou les récepteurs interprètent cette représentation publique en l'agglomérant à des éléments cognitifs pour consituer une nouvelle représentation privée. Quand la transmission est réussie, la représentation mentale ressemble à celle de l'émetteur, mais n'est pas identique (ce qui permet la science, par le débat et les éclaircissements requis), et, autre différence avec la théorie de l'information, le message ne contient jamais tout le code nécessaire à l'interprétation. La mémoire du récepteur et le contexte de réception jouent.

L'inférence bayesienne concerne les déductions que l'on peut tirer sur les causes, connaissant les conséquences. Il faudrait au moins deux sources qui la relient à l'énoncé, la première qui défende le raisonnement d'ensemble, et la seconde qui affirme que l'inférence bayesienne se quantifie en bits. Elle aboutit à un niveau d'« évidence » souvent log(P/(1-P)).

Je le supprime. Merci de fournir des sources, si il y en a. PolBr (discuter) 19 juillet 2021 à 21:42 (CEST)