Un programme bat le champion d'Europe du jeu de go, 5-0

[Dash]

Le rapport avec le Go, AlphaGo/Zero, l'IA, les échecs ?

I.

À ce point de l'échange, plus grand-chose j'en conviens.

Désolé Invité. Case closed for me (ou l'on ouvre un autre thread les mecs ).

[Lulu Cypher]

@Dash suis d'accord pour envoyer mon dernier post sur ce fil pour éviter de trop polluer le présent sujet

[Invité]

Dix parties du match Stockfish-AlphaZero ont été publiées:

http://www.chessgames.com/perl/chessplayer?pid=160016

On December 4th, 2017, Google Headquarters in London applied their DeepMind AI project to the game of chess. The event was more of an experiment than a chess exhibition, and the results are groundbreaking in both the fields of computing and chess.

Rather than relying on the classic "alpha-beta algorithm" common to conventional chess software, AlphaZero uses a deep neural network and is trained solely by reinforcement learning from games of self-play. It scans only 80,000 positions per second compared to Stockfish's 70 million. AlphaZero played Stockfish 100 games, winning 28 and drawing the rest.(1) A subset of the match, 10 games that AlphaZero won, was released to the public.

En passant voici deux traductions.
1) deepL et
2) Google Translate

Le 4 décembre 2017, le siège social de Google à Londres a appliqué son projet DeepMind AI au jeu d'échecs. L'événement était plus une expérience qu'une exposition d'échecs, et les résultats sont révolutionnaires dans les domaines de l'informatique et des échecs.

Plutôt que de s'appuyer sur le classique "algorithme alpha-bêta" commun aux logiciels d'échecs conventionnels, AlphaZero utilise un réseau de neurones profonds et est entraîné uniquement par le renforcement de l'apprentissage à partir de jeux d'auto-jeu. Il n'analyse que 80 000 positions par seconde contre 70 millions pour Stockfish. AlphaZero a joué à Stockfish 100 parties, remportant 28 victoires et tirant au sort le reste (1) Un sous-ensemble du match, soit 10 parties gagnées par AlphaZero, a été rendu public.

Traduit avec www.DeepL.com/Translator

Le 4 décembre 2017, Google Headquarters à Londres a appliqué son projet DeepMind AI au jeu d'échecs. L'événement était plus une expérience qu'une exposition d'échecs, et les résultats sont révolutionnaires dans les deux domaines de l'informatique et des échecs.

Plutôt que de s'appuyer sur l'algorithme alpha-bêta classique commun aux logiciels d'échecs conventionnels, AlphaZero utilise un réseau neuronal profond et est entraîné uniquement par l'apprentissage par renforcement à partir de jeux de self-play. Il ne scanne que 80 000 positions par seconde par rapport aux 70 millions de Stockfish. AlphaZero a joué à Stockfish 100 jeux, en remportant 28 et en tirant le reste. (1) Un sous-ensemble du match, 10 jeux qu'Alphazero a remporté, a été publié au public.

I.

[Jean-Francois]

Dix parties du match Stockfish-AlphaZero ont été publiées

Je vais relire D. Simmons pour savoir quoi faire contre l'infosphère

Jean-François

[Vathar]

Je vais relire D. Simmons pour savoir quoi faire contre l'infosphère

Huhu, dans ce cas la, ne laisse pas un intervenant quelconque de ce forum te refiler un crucifix.

[thewild]

Je trouve que c'est un bon début.
Mais qu'en 1 v 1 c'est presque limité de parler de stratégie.
C'est mensonger de dire qu'une IA sait jouer à Dota pour le moment.

Et maintenant ?

[Vathar]

Je trouve que c'est un bon début.
Mais qu'en 1 v 1 c'est presque limité de parler de stratégie.
C'est mensonger de dire qu'une IA sait jouer à Dota pour le moment.

Et maintenant ?

Au vu de l'article, il y a encore un peu de chemin à faire (l'article mentionne un pool de champion restreint de 18 champions sur 107 et des limitations non spécifiques sur les objets), mais ce n'est probablement pas insurmontable.

Ceci dit, il est intéressant de considérer qu'ils peuvent produire 150 ans d’entraînement par jour mais n'ont pas encore intégré la complexité totale du jeu. J'imagine que la complexité d'apprentissage ne croit pas linéairement avec les variables supplémentaires (plus de combinaisons d'objets et de héros veut probablement dire une croissance exponentielle)

Je serais aussi curieux de savoir :
- Sur quelles phases de jeu les IA créaient le plus gros avantage. Les phases de "teamfight" me paraissent les plus effrayantes car la ou de humais sont forcés de communiquer verbalement (souvent avec un capitaine d'équipe pour coordonner la chose), les IA n'ont pas ce souci, et ce n'est pas la réduction du temps de réaction à 200ms (un poil rapide mais pas trop déterminant pour ce genre de jeu) qui changera ceci.
- Ce que des joueurs humains peuvent apprendre de leur jeu contre des IA. Je ne me prononcerai pas sur DotA, mais les autres MOBA au niveau professionnel se jouent en attendant la faute de l'adversaire. J'imagine que les AI ne commettent pas les mêmes fautes que les humains.

[Invité]

Une analyse avec l'assistance d'Alphazero des premières parties du Championnat du Monde entre Carlsen et Caruana.

https://chess24.com/en/read/news/alphaz ... -games-1-8

I.

[Vathar]

Une analyse avec l'assistance d'Alphazero des premières parties du Championnat du Monde entre Carlsen et Caruana.

Des choses intéressantes à retirer de cet article? Je n'ai pas touché un échiquier depuis plusieurs décennies et déchiffrer la notation standard représente déjà un challenge pour moi.

[Invité]

Des choses intéressantes à retirer de cet article? Je n'ai pas touché un échiquier depuis plusieurs décennies et déchiffrer la notation standard représente déjà un challenge pour moi.

La suggestion de 14.a4 par Alphazero dans la partie 1 me semble mieux que ce qui a été joué par Carana. Mais fallait voir loin (ce qui est une force incontestable d'Alphazero, mais pas juste en terme de calcul brut mais pour l'évolution potentielle de la position). a4 aurait permis (en cas de grand roque des Noirs), une poussée intéressante des Blancs à l'aile dame

I.

[Invité]

Les détails internes de l'algorithme d'Alphazero ont été publié récemment.

Article du NYT: https://www.nytimes.com/2018/12/26/scie ... gence.html

Le pdf: https://deepmind.com/documents/260/alph ... eprint.pdf

I.

[thewild]

Merci invité, je vais y jeter un oeil dès que j'ai le temps !

[thewild]

Encre une nouvelle étape franchie : AlphaStar gagne 10-1 contre 2 joueurs professionnels de StarCarft II
Aucune restriction dans le jeu, simplement un choix de race imposé.
Il est très intéressant de remarquer que l'IA ne gagne pas son avantage là où on l'attend le plus, à savoir sur la vitesse d'exécution et le temps de réaction.
En moyenne, l'IA exécute moins d'actions par minute (APM) que les humains :

On pourra tout de même remarque qu'AlphaStar disposait d'un avantage en ayant en permanence l'ensemble de la carte en visuel, alors que les joueurs n'ont qu'une vue partielle et doivent déplacer la caméra.
Ils ont cependant développé une version "camera interface" de leur agent qui semble aussi très forte, mais qui est celle qui a perdu contre un des joueurs.

[Vathar]

Il est très intéressant de remarquer que l'IA ne gagne pas son avantage là où on l'attend le plus, à savoir sur la vitesse d'exécution et le temps de réaction.
En moyenne, l'IA exécute moins d'actions par minute (APM) que les humains :

Pas vraiment surprenant en fait, car je parierais que l'IA a le clic précis. Les valeurs d'APM les plus tordues qu'on voit même à très haut niveau incluent beaucoup de gâchis, et certaines actions répétitives font aussi exploser le compteur sans pour autant rendre compte d'une maîtrise absolue.

Pour ce qui est de la restriction de race, ce n'est pas vraiment une restriction tant que les joueurs humains sont autorisés à jouer leur race favorite (il n'y a que trois races dans SC2 et les joueurs pro se spécialisent toujours dans une race)

[Vathar]

J'ai regardé quelques matches d'Alphazero sur SC2, et il y a encore un peu de chemin à faire pour considérer l'étape franchie.

- L'IA n'était apparemment entraînée que sur une seule carte de jeu SC2 en propose au bas mot des dizaines (pour la compétition), voire des centaines pour le jeu non compétitif.
- L'IA ne semblait effectivement jouer qu'un seul matchup (toujours la même race affrontant la même race) et ils ont donc du trouver des joueurs Protoss à lui faire affronter.

Ça peut paraître banal mais techniquement, AlphaZero n'est optimal que dans un scénario très précis (une carte et un matchup) alors qu'il en existe des dizaines à connaître et maîtriser. Dans la mesure ou la seule victoire de Mana s'est faite contre une IA entrainée pendant 20 ans et non 200, et limitée à une vision d'écran (et non globale), c'est significatif. J'attends avec impatience de voir l'IA qui pourra s'adapter à des nouvelles cartes sans passer par un entraînement exclusif sur un set de conditions précises.

Au niveau du jeu lui même, et quoi qu'en dise l'article, AlphaZero gagne en partie grâce a un micromanagement supérieur aux capacités d'un humain. Ça se traduit par des actions en jeu que je n'ai pas vu même sur des tournois mondiaux (gestion quasi parfaite de trois armées en simultané). Les APM ne sont pas extrêmement élevées sur la moyenne d'une partie, mais supérieures aux capacités humaines dans une phase de combat intenses.

En terme de stratégie, les parties que j'ai vues reposaient sur des stratégies plutôt basiques et peu innovantes, dopées par une exécution parfaite. C'est relativement logique car ces stratégies font appel à une unité de base, le stalker/traqueur dont l'impact est intimement limité aux capacités de micromanagement du joueur*

L'impact est double car d'un coté, l'IA peut "spammer" des unités relativement peu coûteuses et et gagner un avantage économique. D'un autre, la microgestion supérieure chamboule un peu l'équilibre de jeu car elle permet à l'IA d'affronter des compositions prévues pour contrer la sienne avec succès**

L'IA se dispense aussi de précautions élémentaires, telles que la défense de l’accès à sa base, pour des raisons qui m'échappent un peu. C'est peut être une conséquence du matchup forcé (match miroir contre la même race) qui rend la défense contre les attaques de début de jeu moins indispensable (les autres races sont capables d'une agression prématurée contre laquelle il faut se défendre).

Au final, pas la plus impressionnante des victoires d'AlphaZero pour moi, même si cela reste intéressant.

*Certaines unités sont relativement passives et feront leur boulot sans intervention manuelle du joueur une fois déployées, d'autres demandent d’être babysittées en permanence par le joueur pour servir, le traqueur appartient à la seconde catégorie.

** Imaginez jouer à pierre-feuille-ciseau, sauf que les ciseaux de l'IA battent votre pierre tellement l'IA est balaise pour écarter l'index et le majeur!

[yquemener]

Joueur amateur de SC2 et programmeur bossant dans le deep learning ici. J'ai suivi les compétitions d'IA de Starcraft 1 pendant un bon moment. Il faut comprendre le saut qu'il y a eu avec AlphaStar. Pour donner une idée, le match "bonus" contre Mana avec 20 années d’entraînement, c'est déjà bien au delà du niveau des IAs qu'il y avait à ce jour.

Oui, un micro-management parfait, c'est admis qu'une IA aura ça et même comme ça, elles sont incapables de gérer un humain qui a un minimum de stratégie. Hésiter entre attaquer et défendre, pas comprendre les stratégies de "bait" ou de contournement, c'est là qu'on était.

Je pense sincèrement que l'équipe de Deepmind avait un gros doute sur le résultat de la compétition: soit c'était 5-0, soit c'était 0-5. Alors ils ont pas tenté le diable, pas mis des limites d'APM trop violentes, mis un seul match-up et une seule carte.

Après avoir vu ce que j'ai vu dans ces matches, je n'ai réellement aucun doute que leur soft saura transposer ce savoir à d'autres cartes et d'autres match-ups même avec des limites d'APM énormes.

L'IA se dispense aussi de précautions élémentaires, telles que la défense de l’accès à sa base, pour des raisons qui m'échappent un peu

Ça et le fait de sur-saturer ses minéraux, c'est très intriguant, car elle a commencé à apprendre en regardant des joueurs humains, donc bloquer sa rampe est un comportement qu'elle a du désapprendre.

Elle s'est entraîné contre des IAs ayant ses capacités en terme d'APM, il se peut tout à fait que dans ce cas elle ait décidé que la défense était plus facile quand on a la place de manœuvrer près de la rampe.

La sur-saturation lui permet de ne pas trop s'embêter à gérer des harass et lui dispense de faire du scouting, ça lui permet de s'étendre également beaucoup plus vite. Je peux comprendre l'intérêt même si c'est pas typique des joueurs humains. Je serais pas surpris si des joueurs pro se mettaient à essayer.

[Vathar]

Oui, un micro-management parfait, c'est admis qu'une IA aura ça et même comme ça, elles sont incapables de gérer un humain qui a un minimum de stratégie. Hésiter entre attaquer et défendre, pas comprendre les stratégies de "bait" ou de contournement, c'est là qu'on était.

C'est ce qui rend l'évaluation des réelles capacités d'une IA sur SC2 complexe. Pas facile de trouver un handicap bien équilibré pour éviter que la victoire ne se joue que sur les réactions surhumaines.

Après avoir vu ce que j'ai vu dans ces matches, je n'ai réellement aucun doute que leur soft saura transposer ce savoir à d'autres cartes et d'autres match-ups même avec des limites d'APM énormes.

C'est a ce niveau que je me pose des questions. On a le même phénomène 3 posts plus haut avec l'IA de Dota 2 qui est limité à un pool de champion restreint et sans objets magiques. Dans SC2 apprendre plus de maps et de matchups est une progression linéaire. Dans Dota, intégrer plus de champions et d'objets magiques au modèle me semble plus exponentiel.

La sur-saturation lui permet de ne pas trop s'embêter à gérer des harass et lui dispense de faire du scouting, ça lui permet de s'étendre également beaucoup plus vite. Je peux comprendre l'intérêt même si c'est pas typique des joueurs humains. Je serais pas surpris si des joueurs pro se mettaient à essayer.

Ca m'a intrigué aussi et je suis aussi curieux de voir si c'est un comportement qui sera reproduit par des humains. Mine de rien les récolteurs ça coûte des sous, et AlphaZero compense par une armée relativement low cost bien micro. A voir

[yquemener]

Dans le deep learning, une des choses qu'on essaye de faire c'est de généraliser et transposer les savoirs. Là ils vont donner une autre carte à Alpha* et elle va apprendre de nouvelles stratégies mais en réutilisant en partie des choses déjà apprises. Le but est de deviner quelles connaissances restent universelles, lesquelles sont spécifiques à une carte et in fine comment s'adapter à une nouvelle carte.

Il ne faut pas croire que cet algo fonctionne en testant toutes les combinaisons connues parce qu'il a joué l'équivalent de 200 ans de jeu, sa force est de généraliser, même si à ce stade il lui faut plus de données que des humains pour le faire. Qu'il sache gérer une bataille à n'importe quel endroit de la carte, dans n'importe quel combinaison d'armée est une bonne indication qu'on n'est pas juste dans le brute-force combinatorial.

Et il y a un match également où alpha* nous gratifie d'un "cheese" qui montre adaptation et improvisation. Non je pense vraiment que même avec des limitations de visibilité et d'APM, les champions humains seront battus cette année.

[switch]

je pense que la limitation viens aussi du fait de retranscrire dans l'IA les règles du jeux. En ajoutant toutes les cartes et toutes les races, ça devait devenir trop gros pour juste tester le concept.

Mais je pense aussi que ces limitations peuvent être facilement levée (si l'équipe en a le temps et la volonté)

[yquemener]

Alors non, les règles n'ont pas été entrées à la main du tout. L'IA joue sur un serveur fourni par Blizzard. Il est un peu modifié et ne rend pas les éléments graphiques, ce qui lui permet de jouer des parties 1000 fois plus vite. À ma connaissance c'est une modification de la binaire officielle donc il est possible d'y jouer toutes les races. Il parait (j'ai pas trouvé confirmation) qu'ils ont choisi les protoss car l'API pour envoyer les ordres (l'équivalent du clavier de la souris pour l'IA) était un peu buggée dans les autres races.

L'IA a appris en regardant des jeux, en tentant des stratégies, en essayant de donner des ordres, en voyant ce qui marche. Si demain ils relancent l’entraînement pour faire la même chose en zerg, ils n'auront besoin d'aucun changement dans leur programme.

[Vathar]

Il parait (j'ai pas trouvé confirmation) qu'ils ont choisi les protoss car l'API pour envoyer les ordres (l'équivalent du clavier de la souris pour l'IA) était un peu buggée dans les autres races.

Un peu bizarre que l'API marche sur une race et pas les autres, mais pas non plus complètement extraordinaire. On a vu des bugs plus étranges

Dans le deep learning, une des choses qu'on essaye de faire c'est de généraliser et transposer les savoirs. Là ils vont donner une autre carte à Alpha* et elle va apprendre de nouvelles stratégies mais en réutilisant en partie des choses déjà apprises. Le but est de deviner quelles connaissances restent universelles, lesquelles sont spécifiques à une carte et in fine comment s'adapter à une nouvelle carte.

Je fais pas dans le deep, mais j'utilise des modeles supervisés au quotidien, et j'avoue que je suis parfois surpris de voir jusqu’où on peut les transposer. Dans les cas d'urgence, on a déjà utilisé un modele entraîné sur un produit pour le balancer sur un autre avec un pool de données minimal pour le ré-entraîner, et les résultats restent corrects.

Et il y a un match également où alpha* nous gratifie d'un "cheese" qui montre adaptation et improvisation. Non je pense vraiment que même avec des limitations de visibilité et d'APM, les champions humains seront battus cette année.

J'ai pas vu toute les parties, quel genre de cheese? Le plus couillu que j'ai vu était un 4*Gate Expand (pour les autres lecteurs, désolé pour le jargon, mais ca gagne du temps et j'ai pas envie de dérailler le topic outre mesure)

[switch]

Alors non, les règles n'ont pas été entrées à la main du tout

heuu je crois pas avoir dit ça