Diogo Almeida 表示，evals.typesafe.ai 的數據集將更易於使用
Diogo Almeida 表示，上線近兩週後，應相關請求，隨 evals.typesafe.ai 發佈的數據集正被調整得更易於使用。
他說，這項改動出於開放的考慮，但他仍然反對公開基準測試。據此，團隊會棄用其用於評測的每一個數據集，無論評測是內部還是公開。
相關AI快訊
論文用一次 Jev 是/否評分標記對齊失敗
一篇論文報告，TypeSafe AI 的 Jev 無需額外訓練，就能以 0.886 的中位 AUROC 把對齊失敗與良好回應區分開。在 19 項基準上，一次 Jev 評估成本為 0.30 美元，而這些基準所用的 LLM 評判成本為 18.96 美元。
Artificial Analysis 開源面向手提電腦與工作站推理的 AA-AgentPerf-Local
Artificial Analysis 已開源 AA-AgentPerf-Local。該工具透過重放已記錄的智能體會話來量度本地推理速度，並公布四套系統的初步 4-bit 結果。在能裝入 32 GB 的模型上，GeForce RTX 5090 的完成速度比其他受測系統快 3.5 倍以上。
Jevolution 在 TypeSafe AI 首屆 Jev 黑客松奪得第一
Nikhil Hooda 表示，一支團隊憑 Jevolution 在 TypeSafe AI 首屆 Jev 黑客松獲得第一名。Jevolution 是一套多智能體生態系統模擬器，用於在不接觸動物的情況下研究瀕危物種。
Sonnet 5.5 在 Ibragim 的 my-mini-bench 上與 Opus 5.5 High 成績相同，耗時和成本更低
在 Ibragim 的 my-mini-bench 中、於 pi 環境下，Sonnet 5.5 與 Opus 5.5 High 均通過 30 次運行中的 30 次。Sonnet 5.5 每項任務耗時 46 秒、花費 0.10 美元，Opus 5.5 High 則為 103 秒、0.30 美元。
DTap紅隊報告Jev 1.13直接濫用ASR為70.1%
Zhaorun Chen稱，在DTap上對Jev 1.13進行紅隊測試發現，直接濫用的攻擊成功率為70.1%，間接提示注入為43.5%。他表示，用Jev對其自身工具呼叫做門控降低了該成功率，同時保留了大部分效用；TypeSafe AI質疑Jev是否失靈，並稱其是為可組合性而構建。