HotBench · 有趣的benchmark 实测

同一个 prompt,交给不同的 AI 模型与 Harness,看看它们各自能做出什么。

计分:青铜题满分 1 分(一轮做对得 1 分,绿灯或黄灯都算对);白银题满分 2 分(第 1 轮做对得 2 分、 第 2 轮才做对得 1 分、两轮都没做对得 0 分);黄金题满分 3 分(第 1 / 2 / 3 轮才做对分别得 3 / 2 / 1 分, 三轮都没做对得 0 分)。总得分率 = 实得分 ÷ 满分 × 100%。黄金题只有在前两题(青铜、白银)都一轮通过的 选手才能进入;异常轮次没有成品,连续两轮异常则第三轮视为放弃参赛。