벤 스워들로라는 개발자가 스타크래프트: 브루드 워로 벤치마크를 만들었습니다.
1위는 Astra xhigh로 18전 18승, 승률 100%입니다. 게임당 비용은 $10.54, APM은 12.6입니다.
2위도 Astra, medium effort였습니다. 3위가 Fable, 15승 3패(83.3%), 게임당 $12.24를 기록했습니다.
체스나 바둑은 턴제이지만 스타크래프트 같은 게임은 실시간 전략, 즉 추론 시간을 기다려주지 않는 게임입니다.
때문에 추론을 길게 하는 것이 항상 도움이 되는 건 아니며, 그렇다고 짧게 생각해도 게임 길이 자체가 길어지면 결국 비용도 올라가게 됩니다.
재미있게도 GPT 모델이 리더보드에서 대부분을 차지한 건 이런 강점을 가져서가 아닙니다.
정석 빌드를 하지 않고, 프로브 등 일꾼 유닛 한 기를 적진에 보내 깽판을 치는 치즈 러시를 하는 습성이 있었다는데요. 덕분에 상대 AI는 이걸 대응하기 위해 몇 분 이상 추론을 소모해... 이렇게 되었다고 합니다.