Open Sage'e backgame oynamayı öğretmek

Buradaki her benchmark, sınırsız oyun rollout PR benchmark'ımızla aynı tarifi izliyor: her biri rollout kalitesinde bir referans değerlendirmesi taşıyan gerçek kararlar kümesi; motor buna karşı Performance Rating olarak puanlanıyor — karar başına ortalama equity hatasının 500 ile çarpımı, XG'nin kullandığı gelenek. PR 2, motorun karar başına ortalama 0,004 puan verdiği anlamına gelir; PR 60 ise karar başına 0,12, yani yeni başlayan seviyesi.

Farklı olan, kararların nereden geldiği. Her backgame benchmark'ı, ailesini tanımlayan küçük bir tohum pozisyon kümesinden başlar — aşağıdaki kaydırıcılarda gösterilen referans pozisyonları. Motor daha sonra bu tohumlardan kendine karşı sınırsız oyunlar oynar; küplü, Jacoby ve Beaver açık, 3 ply'de; ve pozisyon hâlâ aileye aitken ortaya çıkan her karar kaydedilir: bir pul oyunu, en az iki yasal hamle ve aralarında anlamlı bir equity farkı olduğunda sayılır; bir küp pozisyonu ise katlayanın kararı bariz olmadığında ya da gerçekten bir katlama teklif edildiğinde sayılır. Tohumlar karıştırılmış bir döngüde kullanılır, ilk kimin oynayacağı yazı tura ile belirlenir ve her şey tek bir rastgele tohumun saf fonksiyonudur; böylece her benchmark birebir yeniden üretilir.

Kaydedilen her karar daha sonra referansını üretmek için rollout'a sokulur: pozisyon başına sona kadar oynanan 5.184 yol, ilk üç yarım hamlede 3 ply pul ve küp kararlarıyla, sonrasında 2 ply ile, varyans azaltma açık, bir bulut işçi filosuna dağıtılmış olarak. Bir pul kararının referansı, referans oyuncunun filtresinin tuttuğu her adayın rollout equity'sini taşır; bir küp kararınınki katlamama, katla/al ve katla/pas equity'lerini taşır. Motorları karşılaştırırken bir incelik önemlidir: referans oyuncunun filtre kümesi dışındaki bir aday yalnızca filtre hassasiyetinde değerlenir; bu da seçimleri referans oyuncununkinden farklı olan bir motoru fazla cezalandırır. Bu yüzden aday tamamlama geçişleri yaptık — Stage 9'un ya da Stage 11'in 1, 2 ya da 3 ply'de fiilen seçtiği her hamleyi aynı gelenekle rollout'a sokarak — böylece aşağıdaki her puan rollout kalitesinde bir adaya karşı hesaplanıyor.

Bir backgame, sahibinin rakip ev tahtasında tuttuğu iki noktayla adlandırılır: 2‑1 backgame rakibin 2 ve 1 noktalarını tutar, 5‑4 ise 5 ve 4 noktalarını, ve böyle devam eder. On tür, işe yarar kombinasyonları kapsar. Her klasörün tohumları XG referans dosyalarından elle seçilmiş pozisyonlardır ve benchmark'ı yaklaşık 1.000 karar içerir — yalnızca adı geçen iki çapa hâlâ tutulurken ve tutan taraf yarışta gerideyken kaydedilir — toplamda 10.021 karar. Her klasörün tohum pozisyonları da küp kararı olarak benchmark pozisyonlarıdır. Tohum pozisyonlarında gezinmek için bir tür seçin; her kart tahtanın yanında pozisyonun rollout'lu küp analizini gösterir.

Bir hapsetme oyununu hapseden değil, kaçan tanımlar: bir taraf birkaç pul toplamıştır ve vurulmuş, tüm tahtayı geçip eve dönmesi gereken bir ila üç pulu vardır; yarışı kaybetmiş diğer taraf ise elinde ne kaldıysa — çapalar, açık pullar, kırık bir prime — onları vurmaya devam etmek için düzenler, gammon'u kurtarmak ya da ara sıra kazanmak için oynar. Hapsedenin yapısından hiçbir şey beklenmez. Benchmark'ın 201 tohumu, motorun daha önce karşılaştığı pozisyonlardan gelir (sınırsız oyun ve Paskogammon benchmark'larının küpleriyle birlikte kararları ve backgame eğitim yığınlarının satırları), bu kuralla süzülmüştür; 3.197 pozisyonu — tohumların kendi küp kararları dâhil — kaçan tarafın hâlâ hapsedilmiş pulu varken kaydedilir. 300 pozisyonluk bir örneklem için ikinci bir referans, denemeleri Stage 9 yerine Stage 11 oynayarak rollout'a sokuldu; deneme oyuncusu seçiminin karşılaştırmayı belirlemediğini doğrulamak için.

Masif bir backgame, rakip ev tahtasında üç ya da daha fazla çapa, ya da geride yedi ya da daha fazla pulla iki çapa tutar: backgame oyuncusunun ordusunun çoğunu bağladığı derin, timing'e dayalı pozisyonlar. 200 tohum, hapsetme tohumlarıyla aynı kaynaklardan alınmış, bu kuralla süzülmüş ve hapsetme ile snake ailelerinden ayrık tutulmuştur; benchmark 2.199 pozisyon içerir.

Snake, tek bir geride kalmış pulu tutan bir uzak taraf prime'ıdır: her biri iki ya da daha fazla pulla yapılmış, tamamen tahtanın rakip yarısında yer alan dört ya da daha fazla ardışık nokta; rakibin diğer on ya da daha fazla pulu çoktan evde yığılmışken bar'daki ya da prime sahibinin ev tahtasındaki bir pulu hapseder. Bir backgame'den çok bir prime oyunudur ve tavlada oynanması en zor şekillerden biridir: sahip, geride kalanı bırakmadan prime'ı eve doğru yuvarlamak zorundadır ve bırakma zamanlaması oyunu belirler. Pozisyon oyunda nadir olduğundan, 74 tohum, mevcut verilerde bulunan birkaç örneğin yanında klasik şeklin sentetik varyantlarını (prime uzunluğu ve yeri, geride kalanın konumu, yığılma dağılımı) içerir; benchmark 1.073 pozisyon içerir.

Üç benchmark, bir pozisyon ailesi yerine tam oyunları ölçer ve hiçbir şeyin kaybedilmediğini kanıtlamak için vardır: sınırsız oyun rollout PR'ı (500 oyun, 17.535 karar), 5 puanlık maç rollout PR'ı (130 maç, 18.292 karar, maç skoru her küp kararına işlenmiş olarak) ve Paskogammon rollout PR'ı (2.556 karar, Paskogammon'un dağınık açılış pozisyonundan oynanmış; bu pozisyon standart tavladan çok daha fazla backgame ve hapsetme oyunu üretir). Üçü de referanslarını uyarlamalı olarak kurar — net kararlar için 3 ply, daha yakın olanlar için kesilmiş rollout'lar, en yakınlar için 1.296 yollu tam rollout'lar — bot performansı çalışmasında anlatıldığı gibi.

XG de bu benchmark'larda puanlandı. Programatik bir arayüz sunmadığı için her benchmark kararı tek kararlık bir oyun olarak yazılır ve Batch Analysis özelliği üzerinden, her değerlendirme seviyesi için bir geçiş olacak şekilde yeniden oynatılır — tıpkı sınırsız oyun ve maç benchmark'larında olduğu gibi. Bu sonuçlar, motoru XG ile karşılaştıran bot performansı sayfasındadır; buradaki tablolar ise Stage 11'i, yerini aldığı Stage 9 ile karşılaştırır.

Her yeni ağ, Stage 9'un backgame ağları gibi eğitildi: GPU üzerinde rollout hedeflerine — tam bir rollout'un bir pozisyona atadığı beş olasılık — karşı gözetimli öğrenme, mevcut bir ağdan sıcak başlangıçla, verinin ayrılmış onda birinde en iyi puanı alan kontrol noktası saklanarak. Ağdan ağa değişen, pozisyonlarının nereden geldiğidir ve her cevap bize bir şey öğretti.

Stage 9 ve Stage 10 zaten rollout'lu backgame pozisyonları biriktirmişti — standart oyunlar ve Paskogammon oyunları, toplam yaklaşık 640.000 satır. Bunları kategoriye göre bölmek 245.000 derin, 167.000 orta ve 94.000 çift çapa eğitim satırı verdi; benchmark satırları ayrılarak bunlara karşı tekilleştirildi. Yalnızca bunlarla eğitilen üçlü, bölgesinin içinde Stage 9'dan iyi, kenarında ise kötüydü: yalnızca iki çapanın da tutulduğu pozisyonları görmüş bir ağ, bir çapa bırakıldığında pozisyonun ne ettiğine dair hiçbir fikre sahip değildir ve bir backgame kararının her adayını değerlendirdiğinden tahmin yürütüyordu — yaklaşık 0,3 puan fazla iyimser; bu da derin benchmark'lardaki hatasının yarısından fazlasını açıklıyordu. Çözüm, çıkış torunlarını toplamak oldu: her eğitim pozisyonu için kategoriyi terk eden yasal hamleler, yönlendiricinin onları değerlendirdiği yönelimde rollout'a sokuldu. Kategori başına kırk bin, eğitim kümesine eklenince bu hata kipini ortadan kaldırdı. Stage 9'un kendi backgame ağından sıcak başlangıç, hem rastgele başlangıcı hem de temporal-difference önyüklemesini geride bıraktı.

Üçlünün kalan hatasının nerede olduğunu analiz etmek, bunun hangi çapaların tutulduğundan çok oyunun evresi tarafından belirlendiğini gösterdi: koşan taraf eve girdikçe artıyor ve sahibin bir vuruş yapmasından hemen sonra en kötüsüne ulaşıyordu. Aynı verinin ilgili dilimleriyle eğitilen evre uzmanları bölgenin içinde üçlüyü geçemedi — ama plan çifti kapısının reddettiği hapsetme pozisyonlarında (koşanın kalan bloğu prime gibi okunduğundan Stage 9 pozisyonu standart bir ağa verir), bir erken hapsetme uzmanı 1 ply PR'ı 4,90'dan 3,69'a düşürdü ve blunder'ları yarıladı. Derin ağdan başlayarak üçlünün verisindeki erken hapsetme satırlarıyla eğitilir ve yalnızca orada kullanılır.

Hapsetme kuralı yeni olduğundan bölgesinde neredeyse hiç rollout verisi yoktu: mevcut yığınların yaklaşık %1'i. Hapsetme tohumlarından Stage 11'in kendisiyle 3.000 oyun oynadık; her benchmark pozisyonunu ve adayını iki yönelimde de dışlayarak kurala uyan pozisyonları tuttuk — 35.266 yeni tahta artı zaten rollout'lu 9.734 satır — ve bunları 1.296 yolla, 3 ply oyunla rollout'a soktuk. Bu 45.000 satırla eğitilen bir ağ hapsetme benchmark'ında mükemmeldi ve kuralın ona yönlendirdiği 237 sınırsız oyun pozisyonunda Stage 9'dan kötüydü: bunlar aile verisinde hiç görünmeyen sıradan oyun hapsetme pozisyonlarıdır (toplama sırasında geç bir vuruş, bir kapatma). Aynı kurala uyan genel eğitim derleminin 291.000 satırını, aile satırlarını dört kat ağırlıklandırarak eklemek, sınırsız oyun dilimini Stage 9 seviyesine geri getirdi ve ağı aile benchmark'ında da daha iyi hâle getirdi. Bu çalışmanın genel dersi şudur: uzman bir ağ, bölgesinin benchmark'ın kapladığı köşesiyle değil, bölgesinin tamamıyla eğitilmelidir.

Snake'in hiçbir yerde verisi yoktu — 1,8 milyonluk bir derlemde yüz satır — ve kendine karşı oyundan toplanamıyordu: model bu pozisyonları o kadar kötü oynuyordu ki bir iki hamle içinde prime'ı kırıyor ya da koşuyordu ve 900 oyun, oyun başına ancak iki snake kararı verdi. Bu yüzden bölge doğrudan örneklendi. Beş bin sentetik snake (prime uzunluğu ve yeri, uzak taraftan eve yayılmış yedek pullar, en fazla beş pul toplamış ve bir ila üç geride kalmış pulu olan yığılmış bir rakip), sahibin yapıyı koruyan hamleleri tercih ettiği kısa 2 ply oyunlara tohumluk etti; her karar, pozisyonunu, en iyi beş adayını ve en fazla üç bırakma adayını — ağın ne zaman bırakacağını bilmek için doğru değerlendirmesi gereken hamleler — kattı. Bu, 98.000 farklı tahta üretti; bunların 22.000'i 648 yolla, 3 ply oyunla rollout'a sokuldu; snake oyunları öyle uzundur ki bir rollout, hapsetme rollout'unun altı katına mal olur. Ağ bu kümede dakikalar içinde eğitilir ve bölgede herhangi bir yetkinliği olan ilk Open Sage ağıdır: eğitim hedeflerine karşı 1 ply hatası 0,30'dan 0,054 puana düştü.

Motor, benchmark'lar, tohum pozisyonları, referanslar ve her eğitim betiği açık kaynaklı bgsage deposundadır (MPL-2.0). Backgame benchmark'ları şurada yaşar: backgame_ref_positions/benchmark/ — klasör başına bir starting.txt tohum dosyası, bir benchmark.txt karar dosyası ve bir rollout.jsonl referans — ve şununla üretilir: scripts/backgame_benchmark.py; üç ailenin tohumlarını şu üretir: scripts/build_family_seeds.py; puanlamayı ise şu yapar: scripts/score_backgame_pr.py; bu betik PR'ı, rollout kalitesindeki seçimlerin payıyla birlikte raporlar. Yönlendirme kuralları şuradadır: cpp/src/neural_net.cpp Python referans uygulamaları şuradadır: scripts/containment_rule.py ve scripts/snake_rule.py; modelin kendisi ise ağırlık kayıt defterindeki stage11s girdisidir. Eğitim verisi betikleri yukarıdaki tabloda kaynaklarıyla adlandırılmıştır; ihtiyaç duydukları rollout'lar, herkese açık deponun parçası olmayan orkestratörlerce dağıtılır, ama her pozisyon dosyası ve her rollout hedefi depodadır.