Melissa Pan 表示,程式設計智能體的 harness 選擇對成本的影響大於準確率
Melissa Pan 是加州大學柏克萊分校 Sky Computing Lab 的博士生,也曾是 Arena 實習生。她比較了程式設計智能體 Claude Code、Codex 和 Pi,並檢視「harness tax」:圍繞 AI 模型的系統如何影響其成本與表現。
她報告了三項發現。此處陳述的一項是,harness 的選擇對成本的影響大於準確率。完整分析見影片。
Melissa Pan 是加州大學柏克萊分校 Sky Computing Lab 的博士生,也曾是 Arena 實習生。她比較了程式設計智能體 Claude Code、Codex 和 Pi,並檢視「harness tax」:圍繞 AI 模型的系統如何影響其成本與表現。
她報告了三項發現。此處陳述的一項是,harness 的選擇對成本的影響大於準確率。完整分析見影片。