Diogo Almeida 表示，evals.typesafe.ai 的数据集将更便于使用
Diogo Almeida 表示，上线近两周后，应相关请求，随 evals.typesafe.ai 发布的数据集正被调整得更便于使用。
他说，这项改动出于开放的考虑，但他仍然反对公开基准测试。据此，团队会弃用其用于评测的每一个数据集，无论评测是内部的还是公开的。
相关AI快讯
论文用一次 Jev 是/否评分标记对齐失败
一篇论文报告，TypeSafe AI 的 Jev 无需额外训练，就能以 0.886 的中位 AUROC 把对齐失败与良好回答区分开。在 19 项基准上，一次 Jev 评估成本为 0.30 美元，而这些基准所用的 LLM 评判成本为 18.96 美元。
Artificial Analysis 开源面向笔记本与工作站推理的 AA-AgentPerf-Local
Artificial Analysis 已开源 AA-AgentPerf-Local。该工具通过重放已记录的智能体会话来测量本地推理速度，并公布了四套系统的初步 4-bit 结果。在能装入 32 GB 的模型上，GeForce RTX 5090 的完成速度比其他受测系统快 3.5 倍以上。
Jevolution 在 TypeSafe AI 首届 Jev 黑客松夺得第一
Nikhil Hooda 称，一支团队凭借 Jevolution 在 TypeSafe AI 首届 Jev 黑客松获得第一名。Jevolution 是一套多智能体生态系统模拟器，用于在不接触动物的情况下研究濒危物种。
Sonnet 5.5 在 Ibragim 的 my-mini-bench 上与 Opus 5.5 High 成绩相同，耗时和成本更低
在 Ibragim 的 my-mini-bench 中、于 pi 环境下，Sonnet 5.5 与 Opus 5.5 High 均通过 30 次运行中的 30 次。Sonnet 5.5 每项任务耗时 46 秒、花费 0.10 美元，Opus 5.5 High 则为 103 秒、0.30 美元。
DTap红队报告Jev 1.13直接滥用ASR为70.1%
Zhaorun Chen称，在DTap上对Jev 1.13进行红队测试发现，直接滥用的攻击成功率为70.1%，间接提示注入为43.5%。他表示，用Jev对其自身工具调用做门控降低了该成功率，同时保留了大部分效用；TypeSafe AI质疑Jev是否失灵，并称其是为可组合性而构建。