Algorithme de cotes

En théorie de la décision, l'algorithme de cotes (ou algorithme de Bruss) est une méthode de recherche mathématique des stratégies optimales dans le domaine des problèmes d'arrêt optimal. Les solutions découlent de la stratégie des cotes, et son importance réside dans son caractère optimal.

L'algorithme des probabilités est appliqué à une catégorie de problèmes appelés problèmes du dernier succès. Formellement, ces problèmes visent à maximiser la probabilité d'identifier, dans une séquence d'événements indépendants observés séquentiellement, le dernier événement satisfaisant un critère spécifique (un "événement spécifique"). Cette identification doit se faire au moment de l'observation, sans possibilité de révision des observations précédentes. Généralement, un événement spécifique est défini par le décideur comme un événement présentant un véritable intérêt dans la perspective de "s'arrêter" pour entreprendre une action bien définie. Ces types de problèmes se rencontrent dans diverses situations.

Exemples

Deux situations distinctes mettent en lumière l'importance de maximiser la probabilité de s'arrêter sur un dernier événement spécifique.

1. Supposons qu'une voiture soit mise en vente au plus offrant (meilleure « offre »). Laissons n acheteurs potentiels répondre et demander à voir la voiture. Chacun insiste pour que le vendeur décide immédiatement d'accepter ou non l'offre. Définissons une offre comme intéressante, et codée 1 si elle est meilleure que toutes les offres précédentes, et codée 0 sinon. Les enchères forment une séquence aléatoire de 0 et de 1. Seuls les 1 intéressent le vendeur, qui peut craindre que chaque 1 successif ne soit le dernier. Il résulte de la définition que le tout dernier 1 est l'offre la plus élevée. Maximiser la probabilité de vendre sur le dernier signifie donc maximiser la probabilité de vendre au mieux.
2. Un médecin, utilisant un traitement particulier, peut attribuer le code 1 à un traitement réussi, 0 sinon. Le médecin traite une séquence de n patients de la même manière, cherchant à minimiser toute souffrance et à traiter chaque patient réactif dans la séquence. S'arrêter sur le dernier 1 dans une séquence aussi aléatoire de 0 et de 1 permettrait d'atteindre cet objectif. Puisque le médecin n'est pas un prophète, l'objectif est de maximiser la probabilité d'arrêter sur le dernier (voir utilisation compassionnelle)

Définitions

Considérons une séquence de n événements indépendants. Associons une autre séquence d'événements indépendants $I_{1},\,I_{2},\,\dots ,\,I_{n}$avec les valeurs 1 ou 0. Ici, $\,I_{k}=1$succès, représente l'événement où la k-ième observation est intéressante (selon le décideur), et$\,I_{k}=0$pour non intéressant. Ces variables $I_{1},\,I_{2},\,\dots ,\,I_{n}$ sont observées séquentiellement, le but étant de sélectionner correctement le dernier succès lorsqu'il se produit.

Soit $\,p_{k}=P(\,I_{k}\,=1)$ la probabilité que le k-ième événement soit intéressant. Définissons également$\,q_{k}=\,1-p_{k}$ et $\,r_{k}=p_{k}/q_{k}$.$\,r_{k}$ représente les chances que le k-ième événement soit intéressant, expliquant ainsi le nom de l'algorithme des cotes.

Procédure algorithmique

L'algorithme des cotes résume les cotes dans l'ordre inverse

$r_{n}+r_{n-1}+r_{n-2}\,+\cdots ,\,$

jusqu'à ce que la somme dépasse 1 pour la première fois, enregistrant l'indice s et la somme correspondante.

$R_{s}=\,r_{n}+r_{n-1}+r_{n-2}+\cdots +r_{s}.\,$

Si la somme des cotes n'atteint pas 1, il définit s=1. En même temps, il calcule

$Q_{s}=q_{n}q_{n-1}\cdots q_{s}.\,$

La sortie est

1. $\,s$, le seuil d'arrêt
2. $\,w=Q_{s}R_{s}$, la probabilité de gagner.

Stratégie de cotes

La stratégie des cotes consiste à observer les événements successivement et à s'arrêter au premier événement intéressant à partir de l'indice s, le cas échéant, où s est le seuil d'arrêt de la sortie.

L'importance de la stratégie des cotes et de son algorithme associé réside dans le théorème des cotes suivant.

Théorème des probabilités

Le théorème des probabilités stipule que

1. La stratégie des cotes est optimale, c'est-à-dire qu'elle maximise la probabilité de s'arrêter sur le dernier 1.
2. La probabilité de gain de la stratégie des cotes est égale à $w=Q_{s}R_{s}$
3. Si $R_{s}\geq 1$, la probabilité de gagner $w$ est toujours au moins 1/e = 0.367879... , et cette limite inférieure est la meilleure possible.

Caractéristiques

L'algorithme des cotes calcule simultanément la stratégie optimale et la probabilité de gain optimale, avec un nombre d'opérations (sous)linéaire en n. Cela en fait un choix optimal comme algorithme, car aucun algorithme plus rapide ne peut exister pour toutes les séquences.

Sources

Bruss 2000 a créé et nommé l'algorithme des cotes, également connu sous le nom d'algorithme de Bruss. Des implémentations gratuites sont disponibles en ligne.

Applications

Les applications incluent les essais cliniques médicaux, les problèmes de secrétaire, de vente, de sélection de portefeuille, de recherche unidirectionnelle, de trajectoire et de stationnement, de maintenance en ligne, et d'autres encore.

Le théorème des cotes s'applique aux processus d'arrivée en temps continu à incréments indépendants tels que le processus de Poisson ( Bruss 2000 ). En l'absence de cotes préalables, l'application directe de l'algorithme des cotes peut être impossible. Dans de tels cas, des estimations séquentielles des probabilités peuvent être utilisées, notamment lorsque le nombre de paramètres inconnus n'est pas important par rapport au nombre d'observations n. La question de l'optimalité devient plus complexe et nécessite des études supplémentaires. Les généralisations de l'algorithme des cotes autorisent différentes récompenses en cas d'échec ou d'arrêt incorrect, et peuvent remplacer les hypothèses d'indépendance par des hypothèses plus faibles (Ferguson 2008).

Variantes

Bruss et Paindaveine 2000 ont traité du problème de sélection des derniers k succès.

Tamaki 2010 a démontré un théorème des cotes multiplicatives pour un problème d'arrêt aux derniers \(\ell\) succès, et Matsui et Ano 2014. ont obtenu une borne inférieure serrée de la probabilité de gain.

Matsui et Ano 2017 ont traité du problème de sélection de $k$ parmi les derniers $\ell$ succès, obtenant une borne inférieure serrée de la probabilité de gain. Lorsque $\ell =k=1,$le problème est équivalent au problème des cotes de Bruss. Si le problème est similaire à celui discuté dans Bruss et Paindaveine 2000. Un problème traité par Tamaki 2010 est également obtenu.

Problème à choix multiples

Un joueur a $r$ choix et gagne si l'un d'entre eux est le dernier succès. Gilbert et Mosteller 1966 ont discuté des cas $r=2,3,4$ pour le problème classique du secrétaire. Le problème des chances avec $r=2,3$ est discuté par Ano, Kakinuma et Miyoshi 2010. Pour d'autres cas de problèmes de cotes, voir Matsui et Ano 2016.

Une stratégie optimale pour ce problème utilise un ensemble de nombres seuils $(a_{1},a_{2},...,a_{r})$, où$a_{1}>a_{2}>\cdots >a_{r}$.

Imaginez avoir $r$ lettres d'acceptation étiquetées de 1 à $r$. Vous avez $r$ agents responsables des demandes, chacun détenant une lettre. Vous interviewez les candidats et les classez sur un tableau visible par chaque responsable des candidatures. L'agent $i$ enverra sa lettre d'acceptation au premier candidat meilleur que tous les candidats de 1 à $a_{i}$. (Les lettres d'acceptation non envoyées vont par défaut aux derniers candidats, comme dans le problème standard du secrétaire.)

Pour $r=2$, Ano, Kakinuma et Miyoshi 2010 ont montré que la limite inférieure étroite de la probabilité de victoire est $e^{-1}+e^{-{\frac {3}{2}}}.$. Pour $r$ entier positif général, Matsui et Ano 2016 ont prouvé que la limite inférieure étroite de la probabilité de victoire est celle de la variante du problème de secrétaire où les k meilleurs candidats sont choisis en utilisant seulement k tentatives.

Pour $r=3,4,5$, les limites inférieures serrées des probabilités de victoire sont respectivement$e^{-1}+e^{-{\frac {3}{2}}}+e^{-{\frac {47}{24}}}$, $e^{-1}+e^{-{\frac {3}{2}}}+e^{-{\frac {47}{24}}}+e^{-{\frac {2761}{1152}}}$ et $e^{-1}+e^{-{\frac {3}{2}}}+e^{-{\frac {47}{24}}}+e^{-{\frac {2761}{1152}}}+e^{-{\frac {4162637}{1474560}}}.$

Pour d'autres valeurs de $r$ (de 6 à 10) et un algorithme général, consultez Matsui et Ano 2016.

Bibliographie

• Ano, Kakinuma et Miyoshi, « Odds theorem with multiple selection chances », Journal of Applied Probability, vol. 47, n^o 4,‎ 2010, p. 1093–1104 (DOI 10.1239/jap/1294170522, S2CID 17598431)
• Bruss, « Sum the odds to one and stop », The Annals of Probability, Institute of Mathematical Statistics, vol. 28, n^o 3,‎ 2000, p. 1384–1391 (ISSN 0091-1798, DOI 10.1214/aop/1019160340)
• —: "A note on Bounds for the Odds Theorem of Optimal Stopping", Annals of Probability Vol. 31, 1859–1862, (2003).
• —: "The art of a right decision", Newsletter of the European Mathematical Society, Issue 62, 14–20, (2005).
• Bruss et Paindaveine, « Selecting a sequence of last successes in independent trials », Journal of Applied Probability, vol. 37, n^o 2,‎ 2000, p. 389–399 (DOI 10.1239/jap/1014842544, lire en ligne)
• Gilbert et Mosteller, « Recognizing the Maximum of a Sequence », Journal of the American Statistical Association, vol. 61, n^o 313,‎ 1966, p. 35–73 (DOI 10.2307/2283044, JSTOR 2283044)
• Matsui et Ano, « A note on a lower bound for the multiplicative odds theorem of optimal stopping », Journal of Applied Probability, vol. 51, n^o 3,‎ 2014, p. 885–889 (DOI 10.1239/jap/1409932681)
• Matsui et Ano, « Lower bounds for Bruss' odds problem with multiple stoppings », Mathematics of Operations Research, vol. 41, n^o 2,‎ 2016, p. 700–714 (DOI 10.1287/moor.2015.0748, arXiv 1204.5537, S2CID 31778896)
• Matsui et Ano, « Compare the ratio of symmetric polynomials of odds to one and stop », Journal of Applied Probability, vol. 54,‎ 2017, p. 12–22 (DOI 10.1017/jpr.2016.83, S2CID 41639968, lire en ligne)
• Shoo-Ren Hsiao and Jiing-Ru. Yang: "Selecting the Last Success in Markov-Dependent Trials", Journal of Applied Probability, Vol. 93, 271–281, (2002).
• Tamaki, « Sum the multiplicative odds to one and stop », Journal of Applied Probability, vol. 47, n^o 3,‎ 2010, p. 761–777 (DOI 10.1239/jap/1285335408, S2CID 32236265)
• Mitsushi Tamaki: "Optimal Stopping on Trajectories and the Ballot Problem", Journal of Applied Probability Vol. 38, 946–959 (2001).
• E. Thomas, E. Levrat, B. Iung: "L'algorithme de Bruss comme contribution à une maintenance préventive", Sciences et Technologies de l'automation, Vol. 4, 13-18 (2007).

Liens externes

• Algorithme de Bruss

Articles connexes

• Cote (probabilités)
• Essai clinique
• Problème du secrétaire