AIは「本物のエンジニア」の仕事をこなせるのでしょうか?
タイトル: PLE: Physical-Engineering's Last Exam
URL:
機械・電気・土木・構造の実務を再現した、85件の長時間エージェントタスクのベンチマークです。
注目ポイント
🏗️ 実務そのままのタスク
平均約61ファイルのPDF、CAD/BIM、やり取りの記録から、計算ワークブックや図面など有資格者がサインできる形式の成果物を作ります。現役エンジニアが作った44件と、Creator-Solverで難化させた41件で構成されます。
💰 コストまで採点
法規に通るだけでは足りません。証明済みのコスト下限に対する比も採点し、準拠しただけの設計には目的点を与えません。全コード検査を通っても、コストが20%以上違う設計があるためです。
📉 最強でも50.6%
最高はClaude Code上のClaude Opus 5.5の50.6%で、唯一50%を超えました。主な失点はハード制約で、制約の平均91%は満たしても、全ハード制約を満たしたのは41.3%でした。オープンウェイトは7%未満です。
モデル選びがハーネス選びより遥かに重要で、自律的な工学設計にはまだ遠いことが分かります。
#
AIエージェント# #
ベンチマーク#