"Aucune chance que le Texas No Limit soit résolu", explique un créateur de poker Bot
Il y a quelques semaines sur PokerNews.com, un article faisait état de Baby Tartanian 8, un bot vainqueur de la Annual Computer Poker Competition, et expliquait que les chercheurs pensaient pouvoir créer le Bot parfait d'ici deux à trois ans.
Noam Brown, le papa de Baby Tartanian 8 raconte à PokerNews la naissance de son Bot et comment il le verrait évoluer dans les sphères du poker online. Comme vous le verrez plus bas, sa réponse est plutôt inquiétante...
Le créateur de Baby Tartanian 8 revient sur la complexité des robots mis au point pour le poker et la Annual Computer Poker Competition mise en place en 2006. "Nous avons introduit le No Limit dans la compétition aux alentours de 2008-2009, à cette époque les Bots ne faisaient que payer ou folder. Ils faisaient des mises de la taille du pot ou allaient à tapis sans finesse", explique Brown.
Homme vs Machine : Claudico largement battu par les pros
"Si vous réfléchissez en termes de combinaisons possibles, vous les isolez en tant que groupe et vous traitez de nombreuses mains de manière identique pour que le programme garde une taille raisonnable. A l'époque il y avait 2000 fois moins de groupes compilant les mains possibles", ajoute-t-il en parlant de la complexité galopante des Bots poker.
L'écriture du code pour le Bot gagnant a pris environ un mois. Les concepteurs ont ensuite fait tourner le logiciel durant un mois supplémentaire sur le San Diego Super Computer, une cyber infrastructure de 3700 unités centrales de 18 terabytes qui procure donc des ressources massives aux chercheurs qui doivent manipuler des datas gigantesques. Il est d'ailleurs à noter qu'un programme efficace ne nécessite pas forcément un investissement si important puisque les deux Bots qui sont montés sur le podium du concours étaient des projets de passionnés.
"Les deux autres équipes ne venaient pas d'une université ou d'un groupe de recherche, ils étaient là par leur propre volonté. [...] Un joueur de poker professionnel qui est aussi un ingénieur logiciel a mis en place son programme et fait le podium, l'autre équipe c'était un ancien de google amateur de poker... Ces deux équipes ont réalisé des robots géniaux pour des budgets inférieurs à 10 000$", poursuit Noam Brownn.
Il n'y a aucune chance que le No Limit soit résolu de notre vivant, s'il est jamais résolu
"Faire des ordinateurs devient de moins en moins cher, les couts se réduisent dramatiquement, particulièrement ces dernières années. Les deux autres équipes ont réussi à se servir du service Cloud d'Amazon pour entraîner leur Bot donc ce n'est pas impossible de faire un bot compétitif pour des gens ordinaires. Après il faut un certain savoir pour faire un Bot comme celui là, c'est compliqué", ajoute le chercheur avant de se pencher sur la résolution du poker No Limit par l'intelligence artificielle.
"Le Limit et le No Limit sont des jeux très différents. En Limit il n'y a que trois options - call, fold et miser - alors qu'elles sont illimitées par définition en No Limit, vous pouvez par exemple décider du montant des mises. Il faut savoir que chaque mise différente est traitée par l'ordinateur comme une option possible et une action différente. Si vous voulez résoudre le NL Texas hold'em l'échelle est inimaginable. Si on parle d'une compétition comme la notre avec un tapis de départ de 20 000 jetons, nous parlons d'un jeu avec des ramifications de l'ordre de 10^163 (un 10 suivit par 163 zéros possibilités). Il n'y a aucune chance que le No Limit soit résolu de notre vivant, s'il est jamais résolu", explique Brown avant de tempérer son propos.
Les Bots ont encore du mal avec les tailles des mises et les bluffs
"Ceci dit, il y a des moyens d'obtenir de bonnes solutions approximatives donc je pense que dans les années à venir nous verrons un Bot capable de dominer les meilleurs professionnels... mais il y a une grande différence entre cela et dire qu'un jeu est résolu", ajoute Brown qui confirme que les meilleurs Bots sont capables de bluffer.
"Ce n'est pas une surprise que les Bots bluffent car les ordinateurs calculent et simulent des trillions et des trillions de mains de poker. Le Bot n'envisage pas le bluff comme un humain [...] un ordinateur se retrouve dans la même situation à plusieurs reprises, la reconnaît et se rend compte que même si sa main n'est pas très forte, il peut faire de l'argent en misant", assure-t-il avant de révéler les faiblesses de l'intelligence artificielle.
Les Bots de la compétition ont été configuré pour du Head's Up, plus vous faites entrer de joueurs sur la table, plus il y a de paramètres à calculer... mais Brown a confié à PokerNews que la plupart des discussions des chercheurs portaient sur l'opportunité de faire une compétition de Bots dans un environnement en 6-Handed. Pour lui, la Annual Computer Poker Competition devrait être disputée sous ce format dès 2017. Les efforts de développement à mettre en oeuvre seraient tout de même bien plus conséquents pour les chercheurs.
Exploiter les exploiteurs
Une des faiblesses du Bot repose sur sa capacité d'amélioration après avoir jouer des millions de mains contre un adversaire. Pour créer la stratégie optimale conforme à la théorie du jeu, un Bot doit compiler des trillions de mains qu'il n'atteindra jamais contre un adversaire humain. PokerNews a donc demandé à Brown si les Bots pouvaient exploiter les faiblesses adverses.
"C'est une bonne question. Quand nous simulons ces trillions de mains c'est du jeu Bot contre Bot et il est aussi prouvé que si le Bot se joue lui même il va converger vers l'équilibrium de Nash et va développer une théorie des jeux optimum, une stratégie impossible à battre. Après il y a la composante de l'exploitation de l'adversaire qui est spécifique au poker. Ce n'est pas parceque vous avez une stratégie GTO que vous allez prendre un maximum d'argent à vos adversaires. Les professionnels humains sont très bons dans cette partie du jeu, maximiser l'exploitation de l'adversaire quand on sent de la faiblesse. Si vous essayez d'exploiter vos adversaires et leurs faiblesses, vous ouvrez vous même la porte à vous faire exploiter en ne jouant plus une stratégie GTO... mais cela vaut le coup dans de nombreuses situations", confie Brown.
"Il y a eu beaucoup de recherches pour tenter que le Bot exploite ce genre de faiblesse en s'écartant du GTO pour réaliser un profit immédiat plus important mais ce n'est pas vraiment un succès jusque là. Les techniques que nous utilisons, faire jouer des trillions de mains et apprendre à jouer contre un adversaire spécifique ou ce qui marche et ce qui ne marche pas, cela marcherait contre des pros humains mais nous avons donc un problème, il faudrait jouer toujours plus de mains pour savoir ce qui marche contre eux et ce qui ne marche pas", poursuit-il avant d'ajouter que "les techniques que nous utilisons en ce moment ne peuvent permettre d'obtenir la bonne réponse stratégique aux faiblesses adverses en un petit nombre de mains".
Les rooms de poker ne sont pas prises d'assaut par des Bots
"C'est une aire de recherche très active, comment exploiter un adversaire grâce à un petit éventail de mains jouées. Nous ne savons pas pourquoi les joueurs humains sont très bons dans ce domaine et c'est probablement la clé des Bots et leur faiblesse ultime", termine-t-il avant de se monter confiant sur les capacités de Baby Tartanian 8 s'il était déployé sur les tables online. Le bébé de Brown nettoierait-il les tables ?
"Définitivement. Si nous parlons de head's up, oui, il gagnerait très probablement. Notre Bot précédent, Claudico, a joué contre 4 des meilleurs joueurs de HU et même s'il n'a pas terminé en tête, il était très compétitif à un très haut niveau. Il a beaucoup progressé depuis et je pense que très peu de gens sont à même de le battre".
Ceci dit, Brown termine sur une note positive allant à l'encontre des nombreuses déclarations parlant de poker online truqué et infesté de robots trop forts pour êtres battus : "Je suis certain que les Bots spécialisés dans le head's up seront plus fort que les joueurs humains mais je ne pense pas qu'ils seront déployés en nombre comme des personnes semblent le croire. Les salles de poker en ligne savent très bien les détecter et les effacer", finit-il.
En savoir plus sur Noam Brown et ses recherches sur www.noambrown.com.
