Open Sage にバックゲームを教える

ここにあるベンチマークはすべて、無制限ゲームのロールアウト PR ベンチマークと同じ手法に従います。実際の判断の集合があり、それぞれにロールアウト品質の参照評価が付き、エンジンはそれに対して Performance Rating で採点されます — 1 判断あたりの平均エクイティ誤差に 500 を掛けた、XG の慣例です。PR 2 は 1 判断あたり平均 0.004 ポイントを失うことを意味し、PR 60 は 1 判断あたり 0.12 で、初心者の領域です。

違うのは判断の出どころです。各バックゲームベンチマークは、その群を定義する少数のシードポジション — 下のカルーセルに示す参照ポジション — から始まります。エンジンはそのシードから自己対局で無制限ゲームをプレイします。キューブあり、ジャコビーとビーバーあり、3 プライで、ポジションがまだその群に属している間に生じたすべての判断を記録します。チェッカープレイは合法手が 2 つ以上あり、それらの間に意味のあるエクイティ差があるときに数え、キューブのポジションはダブルする側の判断が自明でないとき、または実際にダブルが提示されたときに数えます。シードはシャッフルした順で巡回して使い、先手はコイン投げで決め、すべてが 1 つの乱数シードの純粋な関数なので、どのベンチマークも同一に再生成できます。

記録された各判断はロールアウトして参照を作ります。1 ポジションあたり5,184 パスを最後までプレイし、最初の 3 ハーフムーブはチェッカーとキューブの判断を 3 プライ、以降は 2 プライで行い、分散低減を有効にして、クラウドのワーカー群に分散します。チェッカー判断の参照には、参照プレイヤーのフィルターが残した各候補手のロールアウト済みエクイティが入り、キューブ判断の参照にはノーダブル、ダブル／テイク、ダブル／パスのエクイティが入ります。エンジンを比較するうえで重要な点が 1 つあります。参照プレイヤーのフィルター集合の外にある候補手はフィルター精度でしか評価されないため、参照プレイヤーと選択が異なるエンジンには過大な誤差が課されます。そこで候補手の補完パスを実行しました — Stage 9 または Stage 11 が 1、2、3 プライで実際に選んだすべての手を、同じ条件でロールアウトしたのです — これにより、以下のすべてのスコアはロールアウト品質の候補手に対して計算されています。

バックゲームは、相手のインナーボードで保持する 2 つのポイントで名付けられます。2‑1 バックゲームは相手の 2 ポイントと 1 ポイントを、5‑4 は 5 ポイントと 4 ポイントを保持する、といった具合です。10 種で有用な組み合わせを網羅します。各フォルダーのシードは XG の参照ファイルから手作業で選んだポジションで、ベンチマークには約 1,000 の判断 — 指定の 2 つのアンカーがまだ保持され、その側がレースで遅れている間だけ記録 — が含まれ、合計 10,021 判断になります。各フォルダーのシードポジションも、キューブ判断としてベンチマークのポジションに含まれます。種類を選ぶとシードポジションを順に見られます。各カードには、ボードの横にそのポジションのロールアウト済みキューブ分析が表示されます。

コンテインメントゲームを定義するのは、封じ込める側ではなく逃げる側です。片方はすでに何個かのチェッカーをベアオフしており、ヒットされてボード全体を走って帰らなければならないチェッカーを 1〜3 個抱えています。レースで負けているもう片方は、残っているもの — アンカー、ブロット、崩れたプライム — を並べ替えてそれらをヒットし続け、ギャモンを防ぐか、時には勝つためにプレイします。封じ込める側の構造には何も要求されません。ベンチマークの 201 のシードは、エンジンがすでに出会ったポジション（無制限ゲームと Paskogammon のベンチマークの判断とそのキューブ、およびバックゲーム学習データの行）からこのルールで抽出したもので、3,197 のポジション — シード自身のキューブ判断を含む — が、逃げる側にまだ捕らえられたチェッカーがある間、記録されます。300 ポジションのサンプルについては、試行を Stage 9 ではなく Stage 11 にプレイさせた第二の参照もロールアウトし、試行プレイヤーの選択が比較を左右しないことを確認しました。

大規模バックゲームは、相手のインナーボードに 3 つ以上のアンカーを持つか、2 つのアンカーに加えて 7 個以上のチェッカーを後方に残しているものです。バックゲーム側が兵力の大半を投入した、深くタイミングに支配されるポジションです。200 のシードはコンテインメントのシードと同じ出典からこのルールで抽出し、コンテインメント群およびスネーク群と重ならないようにしており、ベンチマークには 2,199 のポジションが含まれます。

スネークは、取り残された 1 個のチェッカーを捕らえる遠い側のプライムです。それぞれ 2 個以上のチェッカーで作られた 4 つ以上の連続したポイントが、ボードの相手側半分に丸ごと並び、バー上またはプライムを持つ側のインナーボードにあるチェッカーを捕らえ、相手の残り 10 個以上のチェッカーはすでにホームに押し込められています。バックゲームというよりプライムの戦いであり、バックギャモンで最もプレイの難しい形の一つです。プライムを持つ側は取り残されたチェッカーを解放せずにプライムをホームへ転がしていかなければならず、解放のタイミングがゲームを決めます。実戦では稀なポジションなので、74 のシードには既存データで見つかった少数のものに加え、古典的な形の合成バリエーション（プライムの長さと位置、取り残されたチェッカーの位置、押し込まれた配置）が含まれ、ベンチマークには 1,073 のポジションがあります。

3 つのベンチマークは、ポジション群ではなくゲーム全体を測るもので、何も失われていないことを示すために存在します。無制限ゲームのロールアウト PR（500 ゲーム、17,535 判断）、5 ポイントマッチのロールアウト PR（130 マッチ、18,292 判断、マッチスコアがすべてのキューブ判断に反映）、そして Paskogammon のロールアウト PR（2,556 判断。Paskogammon の散らばった開始配置からプレイされ、標準のバックギャモンよりはるかに多くのバックゲームとコンテインメントゲームが生じます）。3 つとも参照を適応的に構築します — 明確な判断は 3 プライ、接戦は打ち切りロールアウト、最も接戦のものは 1,296 パスの完全ロールアウト — 詳細はボット性能の研究に記載しています。

XG もこれらのベンチマークで採点しています。XG はプログラム用のインターフェースを持たないため、ベンチマークの各判断を 1 判断だけのゲームとして書き出し、Batch Analysis 機能で評価レベルごとに 1 パスずつ再現します。無制限ゲームおよびマッチのベンチマークとまったく同じ方法です。その結果はエンジンと XG を比較するボット性能のページにあります。ここの表は Stage 11 と、それが置き換える Stage 9 を比較します。

新しいネットワークはすべて Stage 9 のバックゲームネットワークと同じ方法で学習しました。GPU 上でロールアウト済み目標値 — 完全ロールアウトがポジションに割り当てる 5 つの確率 — に対する教師あり学習で、既存のネットワークからウォームスタートし、データの 1 割を保留してそこで最良のスコアを出したチェックポイントを採用します。ネットワークごとに違うのはポジションの出どころで、その答えの一つ一つが教訓になりました。

Stage 9 と Stage 10 は、ロールアウト済みのバックゲームポジション — 標準ゲームと Paskogammon のゲーム、合計約 640,000 行 — をすでに蓄積していました。これをカテゴリーで分けると、ディープ 245,000 行、ミドル 167,000 行、ダブルアンカー 94,000 行の学習行になり、ベンチマーク行は保留してそれらと重複排除しました。それだけで学習した 3 ネットワークは、領域の内側では Stage 9 より良く、縁では悪くなりました。両方のアンカーが保たれたポジションしか見たことのないネットワークは、アンカーを一つ手放したあとのポジションの価値がわからず、しかもバックゲーム判断のすべての候補手を評価するため、推測で答えていたのです — 約 0.3 ポイント楽観的すぎ、ディープのベンチマークでの誤差の半分以上がこれでした。解決策は離脱後の子ポジションの収集でした。各学習ポジションについて、カテゴリーを離れる合法手を、振り分けが評価する向きでロールアウトします。カテゴリーごとに 4 万行を学習データに加えたことで、この種の誤りは消えました。Stage 9 自身のバックゲームネットワークからのウォームスタートは、ランダム初期化も TD ブートストラップも上回りました。

3 ネットワークに残る誤差の所在を分析すると、それはどのアンカーを保持しているかではなく、ゲームのフェーズに左右されていました。レース側がベアインするにつれて上昇し、バックゲーム側がショットをヒットした直後に最悪になります。同じデータの対応する部分で学習したフェーズ特化ネットワークは、領域の内側では 3 ネットワークに勝てませんでした — しかし、プラン組のゲートが除外するコンテインメントのポジション（レース側の残りのブロックがプライムと読まれ、Stage 9 が標準ネットワークに渡してしまうもの）では、早期コンテインメント特化ネットワークが 1 プライの PR を 4.90 から 3.69 に下げ、ブランダーを半減させました。ディープネットワークを起点に、3 ネットワークのデータのうち早期コンテインメントの行で学習し、そこでのみ使います。

コンテインメントルールは新しいため、その領域にはロールアウト済みデータがほとんどありませんでした。既存データの約 1% です。コンテインメントのシードから Stage 11 自身で 3,000 ゲームをプレイし、ベンチマークのポジションと候補手を両方の向きで除外したうえで、ルールを満たすポジション — 35,266 の新しいボードと、ロールアウト済みの 9,734 行 — を残し、1,296 パス・3 プライのプレイでロールアウトしました。この 45,000 行で学習したネットワークは、コンテインメントベンチマークでは優秀でしたが、ルールがそこへ振り分ける無制限ゲームの 237 ポジションでは Stage 9 より劣りました。これらは通常ゲームでのコンテインメントポジション（ベアオフ中の遅いヒット、クローズアウト）で、この群のデータには一度も現れなかったものです。同じルールを満たす一般学習コーパスの 291,000 行を、群の行に 4 倍の重みをつけて加えたところ、無制限ゲームの部分は Stage 9 の水準に戻り、群のベンチマークでもネットワークは改善しました。これがこの取り組みの一般的な教訓です。専門ネットワークはその領域全体で学習しなければならず、ベンチマークが占める片隅だけで学習してはなりません。

スネークにはどこにもデータがなく — 180 万行のコーパスに 100 行程度 — 自己対局から収集することもできませんでした。モデルのプレイがあまりに悪く、1〜2 手でプライムを崩すか走ってしまい、900 ゲームで得られたスネークの判断は 1 ゲームあたり 2 つ程度でした。そこで領域を直接サンプリングしました。5,000 の合成スネーク（プライムの長さと位置、遠い側からホームまで散らした余剰チェッカー、最大 5 個をベアオフし 1〜3 個の取り残しを持つ押し込められた相手）をシードに、プライム保持側が構造を保つ手を優先する短い 2 プライのゲームをプレイし、各判断からポジションと上位 5 つの候補手、そして最大 3 つの解放候補手 — いつ手放すべきかを知るためにネットワークが正しく評価しなければならない手 — を収集しました。これで 98,000 の異なるボードが得られ、そのうち 22,000 を 648 パス・3 プライのプレイでロールアウトしました。スネークのゲームは長く、1 回のロールアウトにコンテインメントの 6 倍のコストがかかります。ネットワークはこのデータで数分で学習でき、この領域で何らかの能力を持つ初の Open Sage ネットワークとなりました。学習目標値に対する 1 プライの誤差は 0.30 から 0.054 ポイントに下がりました。

エンジン、ベンチマーク、シードポジション、参照、そしてすべての学習スクリプトは、オープンソースの bgsage リポジトリ（MPL-2.0）にあります。バックゲームのベンチマークは backgame_ref_positions/benchmark/ 以下にあり — フォルダーごとにシードの starting.txt 、判断の benchmark.txt 、参照の rollout.jsonl が 1 つずつ — 生成は scripts/backgame_benchmark.py、3 つの群のシード作成は scripts/build_family_seeds.py、採点は scripts/score_backgame_pr.pyが行い、この採点スクリプトはロールアウト品質の選択の割合とともに PR を報告します。振り分けルールは cpp/src/neural_net.cpp にあり、Python の参照実装は scripts/containment_rule.py と scripts/snake_rule.pyにあります。モデル自体は重みレジストリの stage11s エントリーです。学習データのスクリプトは上の表に出典として記載しています。それらが必要とするロールアウトは公開リポジトリに含まれないオーケストレーターで分散実行しますが、すべてのポジションファイルとロールアウト済み目標値は含まれています。