Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
ブラウザを操作するAIの練習場所を、本物のサイトに似せて手元で動かせる「WebHarbor」が面白い（
実サイトでの学習や評価は、画面変更やアクセス制限に振り回される。そこで153のWeb環境と3,518の課題を用意し、ログイン後のプロフィール変更や予約なども、状態を初期化して繰り返せるようにした。
見た目だけのコピーではなく、ボタンを押すと保存内容が変わり、一連の作業が最後まで動くところまで作る。AIが実装し、人間が画面と操作を点検して修正を返す。課題が増えると必要な機能も追加する仕組み。
ここで強化学習（試行の成否を報酬にして行動を改善する学習）した40億パラメータのWebHarbor-4Bは、実サイトを使う2つの評価で平均75.8%。同じ学習前モデルを起点に実サイトで学習したOpenWebRL-4Bの70.6%を上回った。
ただし、これはCAPTCHAなどで無効になった試行を除く集計で、比較対象には既報の数値も含む。完全なサイト再現でもなく、地図などは簡略化され、学習したモデルも1種類に限られる。
大きいモデルへ替えるだけでなく、小さいモデルが失敗しても何度でもやり直せる練習環境を整える。業務用エージェントを育てるうえでも参考になると思う。
Show more
