機械学習周りのプログラミング中心。 イベント情報
ポケモンバトルAI本電子書籍通販中

floodgateでの対局結果【やねうら王・ふかうら王iOS移植】

やねうら王・ふかうら王のiOS移植ができたので、floodgateで対局させました。

ソフトウェア設定

ハードウェア

  • iPad (第9世代)
    • CPU: A13 Bionic
  • iPhone 13 Pro
    • CPU: A15 Bionic

floodgateでのレート測定結果

やねうら王

iPad9で3970、iPhone13Proで4003となりました。

やねうら王、iPad9のレート

やねうら王、iPhone13Proのレート

NPSは、序盤、思考開始直後でiPad9で160万NPS、iPhone13Proで170万NPS程度でした。機種間の違いはあまり大きくないようです。

ふかうら王

iPad9で3647、iPhone13Proで3735となりました。通信不良が原因と思われる時間切れ等、棋力とは関係ない勝敗も含まれているのであまり測定精度は高くありません。

ふかうら王、iPad9のレート

ふかうら王、iPhone13Proのレート

NPSは、序盤、思考開始直後でiPad9で900NPS、iPhone13Proで3600NPS程度でした。iPhone13Proのほうが4倍近く速いようです。

レート4361(対戦時点の値。2022-10-23時点では4186)のBurningBridges-tsec3_i9-9960Xに勝ったり、レート3300のgikou2_1cに負けたりと、かなり不安定な印象がありました。

CPU・Neural Engineの棋力比較

ふかうら王の評価関数を、CPUで動作させた場合と比べNeural Engineで動作させるとどの程度棋力が向上しているか、水匠5とローカルで対局させることにより見積もりました。

  • 基準: 水匠5
    • Mac上で実行
    • やねうら王v7.5.0
    • 125000ノード固定
  • ふかうら王
    • iPad9上で実行
    • 1手1秒(NetworkDelay:0,NetworkDelay2:0)
  • 対局条件

ふかうら王をNeural Engineで動作させた場合

FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE vs Suisho5(20211123)-YaneuraOu: 56-38-6 (59.0%)
Black vs White: 51-43-6 (54.0%)
FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE playing Black: 30-17-3 (63.0%)
FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE playing White: 26-21-3 (55.0%)
Suisho5(20211123)-YaneuraOu playing Black: 21-26-3 (45.0%)
Suisho5(20211123)-YaneuraOu playing White: 17-30-3 (37.0%)
Elo difference: 63.2 +/- 67.9, LOS: 96.8 %, DrawRatio: 0.1 %

ふかうら王をCPUのみで動作させた場合

FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE vs Suisho5(20211123)-YaneuraOu: 15-80-5 (17.5%)
Black vs White: 43-52-5 (45.5%)
FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE playing Black: 6-43-1 (13.0%)
FukauraOu CoreML-dlshogi-denryu2021 7.63 64noSSE playing White: 9-37-4 (22.0%)
Suisho5(20211123)-YaneuraOu playing Black: 37-9-4 (78.0%)
Suisho5(20211123)-YaneuraOu playing White: 43-6-1 (87.0%)
Elo difference: -269.4 +/- 89.9, LOS: 0.0 %, DrawRatio: 0.1 %

これらの比較から、Neural Engineを利用することでレートがおよそ330向上していることがわかりました。

まとめ

やねうら王・ふかうら王をiOSアプリとしてビルドする方法を確立しました。水匠5評価関数では、floodgateレート4000程度の強さであることがわかりました。

iPhoneのCPU/Neural Engineの性能比では、将棋AIの強さはNNUE型評価関数のほうがDeep Learning型評価関数より強いということがわかりました。(強力なGPUを搭載したゲーミングパソコンではない)一般家庭にあるようなパソコンでも同様のバランスであると考えられます。このような環境では、NNUE型評価関数を基本にしつつ、Deep Learning型の大局観を取り入れるような仕組みが強いのではないかと予想されます。

12月の電竜戦には、ふかうら王iPad版で出る可能性が高いです(やねうら王に対してはビルド手段を整備しただけで思考部に手を入れていないので)。