Open Sage das Spielen von Backgames beibringen

Jeder Benchmark hier folgt demselben Rezept wie unser Rollout-PR-Benchmark für das unbegrenzte Spiel: eine Menge echter Entscheidungen, jede mit einer Referenzbewertung in Rollout-Qualität, gegen die eine Engine als Performance Rating bewertet wird — ihr mittlerer Equity-Fehler pro Entscheidung, multipliziert mit 500, die Konvention, die XG verwendet. Eine PR von 2 bedeutet, dass die Engine im Schnitt 0,004 Punkte pro Entscheidung verschenkt; eine PR von 60 bedeutet 0,12 pro Entscheidung, also Anfängerniveau.

Was sich unterscheidet, ist die Herkunft der Entscheidungen. Jeder Backgame-Benchmark geht von einer kleinen Menge von Ausgangsstellungen aus, die seine Familie definieren — die in den Karussells unten gezeigten Referenzstellungen. Die Engine spielt aus diesen Ausgangsstellungen unbegrenzte Partien gegen sich selbst, mit Cube, Jacoby und Beaver, auf 3 Ply, und jede Entscheidung, die entsteht, solange die Stellung noch zur Familie gehört, wird aufgezeichnet: Ein Zugspiel zählt, wenn es mindestens zwei legale Züge und einen nennenswerten Equity-Abstand zwischen ihnen gibt, und eine Cube-Stellung zählt, wenn die Entscheidung des Doppelnden nicht trivial offensichtlich ist oder tatsächlich ein Doppel angeboten wird. Die Ausgangsstellungen werden in einem gemischten Zyklus verwendet, wer zuerst zieht, entscheidet ein Münzwurf, und alles ist eine reine Funktion eines einzigen Zufallssamens, sodass sich jeder Benchmark identisch regenerieren lässt.

Jede aufgezeichnete Entscheidung wird dann per Rollout mit ihrer Referenz versehen: 5.184 Pfade pro Stellung, bis zum Ende gespielt, mit 3-Ply-Zug- und Cube-Entscheidungen in den ersten drei Halbzügen und 2 Ply danach, Varianzreduktion an, verteilt über eine Flotte von Cloud-Workern. Die Referenz einer Zugentscheidung trägt die ausgerollte Equity jedes Kandidaten, den der Filter des Referenzspielers behalten hat; die einer Cube-Entscheidung trägt die Equities für Nicht-Doppeln, Doppeln/Annehmen und Doppeln/Aufgeben. Eine Feinheit ist beim Vergleich von Engines wichtig: Ein Kandidat außerhalb der Filtermenge des Referenzspielers wird nur mit Filtergenauigkeit bewertet, was eine Engine, deren Züge von denen des Referenzspielers abweichen, zu stark belastet. Wir haben deshalb Läufe zur Kandidatenvervollständigung durchgeführt — jeden Zug, den Stage 9 oder Stage 11 auf 1, 2 oder 3 Ply tatsächlich gewählt hat, unter derselben Konvention ausgerollt —, sodass jede Bewertung unten gegen einen Kandidaten in Rollout-Qualität erfolgt.

Ein Backgame wird nach den beiden Punkten benannt, die sein Besitzer im gegnerischen Heimfeld hält: Das 2‑1-Backgame hält den gegnerischen 2- und 1-Punkt, das 5‑4 hält den 5- und 4-Punkt, und so weiter. Zehn Typen decken die brauchbaren Kombinationen ab. Die Ausgangsstellungen jedes Ordners sind von Hand ausgewählte Stellungen aus XG-Referenzdateien, und sein Benchmark enthält rund 1.000 Entscheidungen — nur aufgezeichnet, solange die beiden genannten Anker noch gehalten werden und ihr Besitzer im Rennen zurückliegt — insgesamt 10.021 Entscheidungen. Die Ausgangsstellungen jedes Ordners sind ebenfalls Benchmark-Stellungen, als Cube-Entscheidungen. Wählen Sie einen Typ, um seine Ausgangsstellungen durchzublättern; jede Karte zeigt neben dem Brett die ausgerollte Cube-Analyse der Stellung.

Ein Containment-Spiel wird durch den Flüchtenden definiert, nicht durch den Einschließenden: Eine Seite hat eine Reihe von Steinen ausgewürfelt und hat ein bis drei Steine, die geschlagen wurden und das ganze Brett nach Hause laufen müssen, während die andere Seite mit verlorenem Rennen alles, was ihr geblieben ist — Anker, Blots, einen gebrochenen Prime —, so anordnet, dass sie weiter schlagen kann, um das Gammon zu retten oder gelegentlich zu gewinnen. An die Struktur des Einschließenden wird nichts verlangt. Die 201 Ausgangsstellungen des Benchmarks stammen aus Stellungen, denen die Engine bereits begegnet war (Entscheidungen der Benchmarks für das unbegrenzte Spiel und Paskogammon mitsamt Cube sowie Zeilen der Backgame-Trainingsdaten), durch diese Regel gefiltert, und seine 3.197 Stellungen — darunter die Cube-Entscheidungen der Ausgangsstellungen selbst — werden aufgezeichnet, solange der Flüchtende noch gefangene Steine hat. Eine zweite Referenz für eine Stichprobe von 300 Stellungen wurde mit Stage 11 statt Stage 9 als Spieler der Probepartien ausgerollt, um zu prüfen, dass die Wahl des Probespielers den Vergleich nicht entscheidet.

Ein massives Backgame hält drei oder mehr Anker im gegnerischen Heimfeld oder zwei Anker mit sieben oder mehr Steinen hinten: die tiefen, vom Timing bestimmten Stellungen, in denen der Backgame-Spieler den Großteil seiner Armee gebunden hat. Die 200 Ausgangsstellungen stammen aus denselben Quellen wie die Containment-Ausgangsstellungen, durch diese Regel gefiltert und disjunkt zur Containment- und zur Snake-Familie gehalten; der Benchmark enthält 2.199 Stellungen.

Die Snake ist ein Prime auf der gegnerischen Bretthälfte, der einen einzelnen Nachzügler festhält: eine Folge von vier oder mehr aufeinanderfolgenden Punkten, jeder mit zwei oder mehr Steinen belegt, vollständig auf der gegnerischen Bretthälfte, die einen Stein auf der Bar oder im Heimfeld des Prime-Besitzers gefangen hält, während die übrigen zehn oder mehr gegnerischen Steine bereits zu Hause zusammengeschoben sind. Es ist eher ein Prime-Spiel als ein Backgame und eine der schwierigsten Formen im Backgammon überhaupt: Der Besitzer muss den Prime nach Hause rollen, ohne den Nachzügler freizugeben, und der Zeitpunkt der Freigabe entscheidet die Partie. Weil die Stellung im Spiel selten ist, enthalten die 74 Ausgangsstellungen synthetische Varianten der klassischen Form (Länge und Lage des Primes, Position des Nachzüglers, Aufteilung der zusammengeschobenen Steine) neben den wenigen aus vorhandenen Daten; der Benchmark enthält 1.073 Stellungen.

Drei Benchmarks messen ganze Partien statt einer Stellungsfamilie und dienen dem Nachweis, dass nichts verloren ging: die Rollout-PR im unbegrenzten Spiel (500 Partien, 17.535 Entscheidungen), die Rollout-PR im 5-Punkte-Match (130 Matches, 18.292 Entscheidungen, wobei der Matchstand in jede Cube-Entscheidung eingeht) und die Rollout-PR im Paskogammon (2.556 Entscheidungen, gespielt aus der verstreuten Ausgangsstellung des Paskogammon, die weit mehr Backgames und Containment-Spiele hervorbringt als Standard-Backgammon). Alle drei bauen ihre Referenzen adaptiv auf — 3 Ply für klare Entscheidungen, verkürzte Rollouts für engere, volle Rollouts mit 1.296 Pfaden für die engsten —, wie in der Studie zur Bot-Leistung beschrieben.

Auch XG wurde auf diesen Benchmarks bewertet. Es bietet keine programmatische Schnittstelle, daher wird jede Benchmark-Entscheidung als Partie mit einer einzigen Entscheidung geschrieben und über seine Funktion Batch Analysis nachgespielt, ein Durchlauf je Auswertungsstufe, genau wie bei den Benchmarks für unbegrenzte Partien und Matches. Diese Ergebnisse stehen auf der Seite Bot-Leistung, die die Engine mit XG vergleicht; die Tabellen hier vergleichen Stage 11 mit dem Stage 9, das es ablöst.

Jedes neue Netz wurde so trainiert wie die Backgame-Netze von Stage 9: überwachtes Lernen auf der GPU gegen ausgerollte Zielwerte — die fünf Wahrscheinlichkeiten, die ein vollständiger Rollout einer Stellung zuweist —, warm gestartet von einem bestehenden Netz, wobei der Checkpoint behalten wird, der auf einem zurückgehaltenen Zehntel der Daten am besten abschneidet. Was sich je Netz unterscheidet, ist die Herkunft seiner Stellungen, und jede Antwort hat uns etwas gelehrt.

Stage 9 und Stage 10 hatten bereits ausgerollte Backgame-Stellungen angesammelt — Standardpartien und Paskogammon-Partien, insgesamt rund 640.000 Zeilen. Nach Kategorie aufgeteilt ergab das 245.000 tiefe, 167.000 mittlere und 94.000 Doppelanker-Trainingszeilen, mit zurückgehaltenen Benchmark-Zeilen, die gegen sie dedupliziert wurden. Allein darauf trainiert war das Trio innerhalb seiner Region besser als Stage 9 und an ihrem Rand schlechter: Ein Netz, das nur Stellungen mit beiden gehaltenen Ankern gesehen hat, hat keine Vorstellung davon, was die Stellung wert ist, sobald ein Anker aufgegeben wird, und da es jeden Kandidaten einer Backgame-Entscheidung bewertet, riet es — rund 0,3 Punkte zu optimistisch, was mehr als die Hälfte seines Fehlers auf den tiefen Benchmarks ausmachte. Die Abhilfe war das Ernten von Ausstiegsnachfolgern: für jede Trainingsstellung die legalen Züge, die die Kategorie verlassen, ausgerollt in der Orientierung, in der die Zuordnung sie bewertet. Vierzigtausend je Kategorie, dem Trainingssatz hinzugefügt, beseitigten diesen Fehlermodus. Der Warmstart vom Backgame-Netz von Stage 9 selbst schlug sowohl einen Zufallsstart als auch einen Temporal-Difference-Bootstrap.

Die Analyse, wo der verbleibende Fehler des Trios lag, zeigte, dass er von der Phase der Partie getrieben war und nicht davon, welche Anker gehalten wurden: Er stieg, während der Läufer einwürfelte, und war unmittelbar nach einem Treffer des Besitzers am schlimmsten. Phasenspezialisten, die auf den passenden Ausschnitten derselben Daten trainiert wurden, schlugen das Trio innerhalb seiner Region nicht — aber auf den Containment-Stellungen, die das Planpaar-Gatter ablehnt (der verbliebene Block des Läufers wird als Prime gelesen, sodass Stage 9 die Stellung einem Standardnetz übergibt), senkte ein Spezialist für frühes Containment die 1-Ply-PR von 4,90 auf 3,69 und halbierte die Patzer. Er ist vom tiefen Netz ausgehend auf den Zeilen für frühes Containment aus den Daten des Trios trainiert und wird nur dort verwendet.

Die Containment-Regel ist neu, sodass ihre Region fast keine ausgerollten Daten hatte: rund 1 % der vorhandenen Datenstapel. Wir spielten 3.000 Partien aus den Containment-Ausgangsstellungen mit Stage 11 selbst, schlossen jede Benchmark-Stellung und jeden Kandidaten in beiden Orientierungen aus und behielten die Stellungen, die die Regel erfüllten — 35.266 neue Bretter plus 9.734 bereits ausgerollte Zeilen —, und rollten sie mit 1.296 Pfaden und 3-Ply-Spiel aus. Ein auf diesen 45.000 Zeilen trainiertes Netz war auf dem Containment-Benchmark ausgezeichnet und schlechter als Stage 9 auf den 237 Stellungen des unbegrenzten Spiels, die die Regel ihm zuweist: Das sind Containment-Stellungen gewöhnlicher Partien (ein später Treffer beim Auswürfeln, ein Closeout), die in den Familiendaten nie vorkamen. Das Hinzufügen der 291.000 Zeilen des allgemeinen Trainingskorpus, die dieselbe Regel erfüllen, mit vierfach gewichteten Familienzeilen, brachte den Ausschnitt des unbegrenzten Spiels auf das Niveau von Stage 9 zurück und machte das Netz auch auf dem Familien-Benchmark besser. Das ist die allgemeine Lehre dieser Arbeit: Ein Spezialistennetz muss auf seiner gesamten Region trainiert werden, nie auf der Ecke davon, die der Benchmark besetzt.

Die Snake hatte nirgends Daten — hundert Zeilen in einem Korpus von 1,8 Millionen — und ließ sich nicht aus dem Selbstspiel ernten: Das Modell spielte diese Stellungen so schlecht, dass es den Prime innerhalb von ein oder zwei Zügen brach oder loslief, und 900 Partien lieferten kaum zwei Snake-Entscheidungen pro Partie. Also wurde die Region direkt abgetastet. Fünftausend synthetische Snakes (Länge und Lage des Primes, Reservesteine von der gegnerischen Hälfte bis nach Hause verteilt, ein zusammengeschobener Gegner mit bis zu fünf ausgewürfelten Steinen und ein bis drei Nachzüglern) dienten als Ausgangsstellungen kurzer 2-Ply-Partien, in denen der Besitzer strukturerhaltende Züge bevorzugte, und jede Entscheidung steuerte ihre Stellung, ihre fünf besten Kandidaten und bis zu drei Freigabe-Kandidaten bei — die Züge, die das Netz richtig bewerten muss, um zu wissen, wann es loslassen soll. Das ergab 98.000 verschiedene Bretter, von denen 22.000 mit 648 Pfaden und 3-Ply-Spiel ausgerollt wurden; Snake-Partien sind so lang, dass ein Rollout das Sechsfache eines Containment-Rollouts kostet. Das Netz trainiert auf diesem Satz in Minuten, und es ist das erste Open-Sage-Netz mit irgendeiner Kompetenz in der Region: Sein 1-Ply-Fehler gegenüber den Trainingszielen fiel von 0,30 auf 0,054 Punkte.

Die Engine, die Benchmarks, die Ausgangsstellungen, die Referenzen und jedes Trainingsskript liegen im quelloffenen Repository bgsage (MPL-2.0). Die Backgame-Benchmarks liegen unter backgame_ref_positions/benchmark/ — eine Datei starting.txt mit Ausgangsstellungen, eine Datei benchmark.txt mit Entscheidungen und eine Referenz rollout.jsonl je Ordner — und werden erzeugt von scripts/backgame_benchmark.py, die Ausgangsstellungen der drei Familien stammen von scripts/build_family_seeds.py, und bewertet werden sie von scripts/score_backgame_pr.py, das die PR zusammen mit dem Anteil der Züge in Rollout-Qualität ausgibt. Die Zuordnungsregeln stehen in cpp/src/neural_net.cpp mit Python-Referenzimplementierungen in scripts/containment_rule.py und scripts/snake_rule.py, und das Modell selbst ist der Eintrag stage11s der Gewichtsregistry. Die Skripte für die Trainingsdaten sind in der Tabelle oben nach ihrer Quelle benannt; die Rollouts, die sie benötigen, werden von Orchestratoren verteilt, die nicht Teil des öffentlichen Repositorys sind, aber jede Stellungsdatei und jeder ausgerollte Zielwert ist es.