TypeSafe AI 在 Jev 发布后于 Modal 平台处理了 1 万亿个 Token
据 Modal 介绍，TypeSafe AI 团队在其计算基础设施上，自 Jev 于周四发布至周日期间共处理了 1 万亿个 Token。Modal 还分享了一段视频概览，详细介绍了该团队在其平台上扩展 Jev 的过程。
相关AI快讯
DTap红队报告Jev 1.13直接滥用ASR为70.1%
Zhaorun Chen称，在DTap上对Jev 1.13进行红队测试发现，直接滥用的攻击成功率为70.1%，间接提示注入为43.5%。他表示，用Jev对其自身工具调用做门控降低了该成功率，同时保留了大部分效用；TypeSafe AI质疑Jev是否失灵，并称其是为可组合性而构建。
a16z讨论TypeSafe AI的Jev，这款模型会返回带置信度的选择
Diogo Almeida与a16z的Ben Horowitz、Martin Casado谈了Jev。这是一款为嵌入软件而构建的模型。它读取自然语言，从一组选项中返回一个选择，并给出每个选项的置信度。
新注册的 Jev 用户不再获得免费额度
TypeSafe AI 表示，新注册的 Jev 用户不再获得免费额度，并希望尽快恢复。Jev 可在 TypeSafe 控制台启动。
论文用一次 Jev 是/否评分标记对齐失败
一篇论文报告，TypeSafe AI 的 Jev 无需额外训练，就能以 0.886 的中位 AUROC 把对齐失败与良好回答区分开。在 19 项基准上，一次 Jev 评估成本为 0.30 美元，而这些基准所用的 LLM 评判成本为 18.96 美元。
JEV 级联以约 57% 的费用保留 GPT-6 99% 的准确率
一篇 Jev-as-a-Judge 论文报告称，接受 TypeSafe AI 置信度较高的 JEV 判定，并将其余判定升级至 GPT-6 Astra，在 510 对留出偏好样本上保留了 GPT-6 99% 的准确率，费用约为 GPT-6 的 57%。作者表示，升级阈值并不能迁移到每一个回退模型，应基于自身数据设定。