floodgateでの対局結果【やねうら王・ふかうら王iOS移植】
やねうら王・ふかうら王のiOS移植ができたので、floodgateで対局させました。
ソフトウェア設定
- やねうら王
- ベースはやねうら王@599378d420fa9a8cdae9b1b816615313d41ccf6e (ほぼV7.63)
- https://github.com/select766/YaneuraOuiOS/commit/29488cedcf87d6c35a4938cbf79697b218415423 https://github.com/select766/YaneuraOuiOSSPM/commit/283fe72b3b06b7320f51bda9c5369f612f5fef54
- 水匠5評価関数(NNUE型)を埋め込むよう変更
- 実行設定
- Threads=6
- FV_SCALE=24
- USI_Hash=512 (iPad9), 2048 (iPhone13Pro)
- ふかうら王
- ベースはやねうら王@599378d420fa9a8cdae9b1b816615313d41ccf6e (ほぼV7.63)
- https://github.com/select766/FukauraOuiOS/commit/7b232da2cc0be771a0c2a6c5186c3dd87f8cb6a0 https://github.com/select766/FukauraOuiOSSPM/commit/03850c5ffe81894a24a7aad103f4ddaff65b3f64
- 10ブロック192チャンネルの評価関数(「強い将棋ソフトの創りかた」サンプルコードを用いて学習したモデル)
- 実行設定
- バッチサイズ8
- Stochastic_Ponder=on
- DNN_Model1を空欄にする(実装上の都合)
- DNNの処理にはNeural Engineが使用される
ハードウェア
floodgateでのレート測定結果
やねうら王
iPad9で3970、iPhone13Proで4003となりました。
NPSは、序盤、思考開始直後でiPad9で160万NPS、iPhone13Proで170万NPS程度でした。機種間の違いはあまり大きくないようです。
ふかうら王
iPad9で3647、iPhone13Proで3735となりました。通信不良が原因と思われる時間切れ等、棋力とは関係ない勝敗も含まれているのであまり測定精度は高くありません。
NPSは、序盤、思考開始直後でiPad9で900NPS、iPhone13Proで3600NPS程度でした。iPhone13Proのほうが4倍近く速いようです。
レート4361(対戦時点の値。2022-10-23時点では4186)のBurningBridges-tsec3_i9-9960X
に勝ったり、レート3300のgikou2_1cに負けたりと、かなり不安定な印象がありました。
CPU・Neural Engineの棋力比較
ふかうら王の評価関数を、CPUで動作させた場合と比べNeural Engineで動作させるとどの程度棋力が向上しているか、水匠5とローカルで対局させることにより見積もりました。
- 基準: 水匠5
- Mac上で実行
- やねうら王v7.5.0
- 125000ノード固定
- ふかうら王
- iPad9上で実行
- 1手1秒(
NetworkDelay:0,NetworkDelay2:0
)
- 対局条件
- 開始局面: たややん互角局面集(36.sfen)
- 対局数: 100
- 引き分け: 256手
ふかうら王をNeural Engineで動作させた場合
FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE vs Suisho5(20211123)-YaneuraOu: 56-38-6 (59.0%) Black vs White: 51-43-6 (54.0%) FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE playing Black: 30-17-3 (63.0%) FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE playing White: 26-21-3 (55.0%) Suisho5(20211123)-YaneuraOu playing Black: 21-26-3 (45.0%) Suisho5(20211123)-YaneuraOu playing White: 17-30-3 (37.0%) Elo difference: 63.2 +/- 67.9, LOS: 96.8 %, DrawRatio: 0.1 %
ふかうら王をCPUのみで動作させた場合
FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE vs Suisho5(20211123)-YaneuraOu: 15-80-5 (17.5%) Black vs White: 43-52-5 (45.5%) FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE playing Black: 6-43-1 (13.0%) FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE playing White: 9-37-4 (22.0%) Suisho5(20211123)-YaneuraOu playing Black: 37-9-4 (78.0%) Suisho5(20211123)-YaneuraOu playing White: 43-6-1 (87.0%) Elo difference: -269.4 +/- 89.9, LOS: 0.0 %, DrawRatio: 0.1 %
これらの比較から、Neural Engineを利用することでレートがおよそ330向上していることがわかりました。
まとめ
やねうら王・ふかうら王をiOSアプリとしてビルドする方法を確立しました。水匠5評価関数では、floodgateレート4000程度の強さであることがわかりました。
iPhoneのCPU/Neural Engineの性能比では、将棋AIの強さはNNUE型評価関数のほうがDeep Learning型評価関数より強いということがわかりました。(強力なGPUを搭載したゲーミングパソコンではない)一般家庭にあるようなパソコンでも同様のバランスであると考えられます。このような環境では、NNUE型評価関数を基本にしつつ、Deep Learning型の大局観を取り入れるような仕組みが強いのではないかと予想されます。
12月の電竜戦には、ふかうら王iPad版で出る可能性が高いです(やねうら王に対してはビルド手段を整備しただけで思考部に手を入れていないので)。