论文用一次 Jev 是/否评分标记对齐失败
一篇论文报告,TypeSafe AI 的 Jev 无需额外训练,就能以 0.886 的中位 AUROC 把对齐失败与良好回答区分开。在 19 项基准上,一次 Jev 评估成本为 0.30 美元,而这些基准所用的 LLM 评判成本为 18.96 美元。
一篇论文报告,TypeSafe AI 的 Jev 无需额外训练,就能以 0.886 的中位 AUROC 把对齐失败与良好回答区分开。在 19 项基准上,一次 Jev 评估成本为 0.30 美元,而这些基准所用的 LLM 评判成本为 18.96 美元。