Open Sage'in eXtreme Gammon ile Kıyaslanması

eXtreme Gammon (XG), bilgisayarla tavla analizinde standart bir referanstır ve değerlendirme motoru mevcut en güçlü motorlardan biri olarak kabul edilir. Ciddiye alınmak isteyen her yeni motorun basit bir soruyu yanıtlaması gerekir: XG ile karşılaştırıldığında nerede duruyor? Bu çalışma, Backgammon Sage Pro'nun arkasındaki sinir ağı motoru Open Sage için bu soruyu nicel olarak yanıtlamayı amaçlıyor.

Amacımız, Open Sage'in değerlendirmelerini XG'ninkilerle benzer çaba seviyelerinde karşılaştırmaktı. En doğal deney — motorları milyonlarca oyunda karşı karşıya getirip sonucu saymak — pratik değil: XG masaüstü uygulaması programatik bir arayüz sunmuyor, bu yüzden pozisyonları ve hamleleri iki motor arasında taşımak elle, tıklaya tıklaya yürütülen bir süreç. İki güçlü motor arasındaki küçük farkları ayırt edecek büyüklükte bir örnekleme ulaşmak çok uzun sürerdi.

Bunun yerine, yüzlerce kayda geçirilmiş oyunu tek bir gözetimsiz geçişte puanlayabilen XG'nin Toplu Analiz (Batch Analysis) özelliğini kullanıyoruz. Open Sage çok sayıda oyunda iki tarafı da oynuyor; her oyun XG'nin içe aktarabildiği standart bir metin biçiminde dışa aktarılıyor; XG hepsini analiz ediyor; biz de kararlarını geri ayrıştırıyoruz. Bu ortak temelin üzerine, Bölüm 3 ve Bölüm 4'te anlatılan iki ayrı yöntem uyguluyoruz.

Üçüncü bir çalışma (Bölüm 5) simülasyonları tamamen bir kenara bırakıp XG'de analiz edilmiş gerçek turnuva maçlarından yola çıkıyor. Amacı farklı: hangi motorun daha güçlü olduğunu sormak yerine, bir maçı Sage'de analiz eden bir oyuncunun XG'nin vereceği Performance Rating'in aynısını alıp almadığını soruyor — böylece XG'de bir PR'ın ne anlama geldiğine dair yıllar içinde oluşmuş sezgi doğrudan Sage'e taşınabiliyor.

İlk yöntem, her motoru “gerçek” en iyi oyununu olabildiğince doğru biçimde belirlediğimiz sabit bir karar kümesine göre puanlar. XG'yi bir dizi başka botla karşılaştıran, iyi bilinen 2012 XG çalışmasında kullanılan yaklaşımın aynısını izler.

Sage 3P'nin kendi kendine oynadığı 500 sınırsız oyun simüle ederek başladık. 3P gibi orta-güçlü bir seviye her oyun planında — yarış, saldırı, blok, çıpa — gerçekçi bir pozisyon dağılımı üretir; test etmek istediğimiz çeşitlilik tam da budur. Ardından tüm çalışmayı, tahtadaki skorun her kararın değerini değiştirdiği 130 beş puanlık maç için ikinci kez yürüttük; her iki kümenin sonuçları aşağıdadır.

Elde katmanlı bir güvenilir değerlendirme kümesi olunca herhangi bir motoru puanlamak basittir: her kıyaslama kararını motora sunar, seçtiği hamlenin ya da küp aksiyonunun gerçeğe göre equity hatasını kaydeder ve ortalama hata × 500 değerini PR olarak raporlarız. Aynı toplam, pul oyunu ve küp PR'larına, ayrıca oyun planına göre ayrıştırılır.

XG'yi puanlamak, girişte anlatılan ek adımı gerektirdi. XG'nin API'si olmadığından, Toplu Analizini 500 sınırsız oyun ve 130 maç transkripti üzerinde özel bir seviyeyle — 3-ply kararlar, anlaşmazlık olan her yerde test edilen seviyeye yükseltme — çalıştırdık ve XG'nin her pozisyon için tercih ettiği kararı, ürettiği .xg dosyalarından ayrıştırıp aynı referans equity'lere göre puanladık.

Yukarıdaki her sayı motorları Sage'in kademeli referansına göre notlar. Akla gelen ilk itiraz ev sahibi avantajıdır — Sage kendi rollout'larına göre ölçülüyor. Bu yüzden tam ayna görüntüsünü kurduk: aynı 500 oyun ve aynı kararlar, ama her kademede gerçek olarak XG'nin kendi analizi. 3P kademesindeki kararları XG 3-ply, 3T kademesindekileri XG Roller++, rollout yapılan kararları ise XG'nin kendi tam rollout'u karara bağlar — Sage referansının kademe kademe XG karşılığı. Ardından her motor buna göre yeniden puanlanır.

Motorun kendi kendine oynadığı sıradan oyunlar nadiren derin bir geri oyun, bir hapsetme oyunu ya da tek bir geride kalmış pulu tutan bir uzak taraf bloğu üretir; bu yüzden sınırsız oyun ve maç kümeleri bir motorun bunları nasıl oynadığı hakkında pek az şey söyler — oysa bunlar motorların tarihsel olarak en zayıf olduğu pozisyonlardır. On üç pozisyon ailesi kıyaslama kümesi bunları doğrudan ölçer; her biri sınırsız oyun kıyaslama kümesi gibi kurulmuştur — her biri rollout kalitesinde bir referans taşıyan gerçek kararlar — ama kararlar ailenin içinden alınır:

• On klasik geri oyun; geri oyunu oynayan tarafın rakibin evinde tuttuğu iki kapıyla adlandırılır — 2‑1 geri oyunu rakibin 2 ve 1 kapılarını, 5‑4 ise 5 ve 4 kapılarını tutar ve böyle devam eder. Her biri yaklaşık 1.000 karar içerir; bunlar yalnızca iki çıpa da hâlâ tutulurken ve tutan taraf yarışta gerideyken kaydedilmiştir.
• Hapsetme oyunları; bunları kaçan taraf tanımlar: bir taraf birkaç pul toplamıştır ve kırılmış, tüm tahtayı geçip eve dönmesi gereken bir ila üç pulu vardır; yarışı kaybetmiş diğer taraf ise elinde ne kaldıysa onları kırmaya devam edecek biçimde düzenler.
• Masif geri oyunlar — rakibin evinde üç ya da daha fazla çıpa, ya da geride yedi ya da daha fazla pulla iki çıpa.
• Snake — tahtanın rakip yarısında art arda dört ya da daha fazla alınmış kapıdan oluşan, rakibin diğer pulları evde yığılmışken tek bir geride kalmış pulu hapseden bir dizi. Bir geri oyundan çok bir blok oyunudur ve tavlada oynanması en zor şekillerden biridir.

Her aile küçük bir tohum pozisyon kümesinden başlar. Sage bu tohumlardan kendine karşı 3-ply'da sınırsız oyunlar oynar, pozisyon hâlâ aileye aitken ortaya çıkan her karar kaydedilir ve kaydedilen her karar için referansını üretmek üzere rollout yapılır — sonuna kadar oynanan 5.184 yol, ilk üç yarım hamlede 3-ply pul ve küp kararlarıyla, sonrasında 2-ply, varyans azaltma açık. Aday tamamlama geçişleri, test edilen bir motorun fiilen seçtiği her hamle için rollout yaptı; böylece aşağıdaki her puan rollout kalitesinde bir adaya göredir. Küpün rakibe ait olduğu bir küp pozisyonu sıradaki oyuncu için bir karar değildir ve puanlanmaz.

İlk iki yöntem hangi motorun daha güçlü olduğunu sorar. Kendi oyununu incelemek için motor kullanan herkes için üçüncü bir soru da bir o kadar önemlidir: gerçek bir maçı XG'de analiz edip performans derecenizi not ettikten sonra aynı maçı Sage'de analiz ederseniz — iki derece birbirine ne kadar yakın çıkar? XG'de belirli bir PR'ın ne anlama geldiğine dair yıllarca sezgi geliştirmiş bir oyuncu, Sage'den de esasen aynı sayıyı almalıdır.

Bunu doğrudan sınamak için XG'de zaten analiz edilmiş geniş bir gerçek turnuva maçı koleksiyonu aldık, her birini Sage'de sıfırdan yeniden analiz ettik ve iki motorun her oyuncuya verdiği performans derecesini karşılaştırdık.