Jev-as-a-judge 現已於 LangSmith 推出
LangChain 宣布 Jev-as-a-judge 現已於 LangSmith 推出。
據 LangChain 表示，此功能可為每條生產追蹤評分而非僅抽樣、在成本不攀升的情況下為每條追蹤檢查更多準則，以及足夠快地捕捉安全或保安問題以觸發自動回應。詳情見該公司文章：https://www.langchain.com/blog/jev-is-now-available-in-langsmith-evals
相關AI快訊
LangSmith Custom Apps 現已正式推出
LangChain 表示，LangSmith Custom Apps 可以用提示詞，根據代理數據建立介面，包括標註執行、比較實驗及檢視追蹤的視圖。
LangSmith Engine v2 新增紅隊測試與經驗證的修復
LangChain 在 Interrupt 發布 LangSmith Engine v2。它可在正式上線前找出代理問題，在向用戶展示前測試擬議修復，並呈現低效的代理工作以及成本與延遲趨勢。
LangChain 在 Interrupt 發布 LangSmith Engine v2
LangChain 在 Interrupt 發布 LangSmith Engine v2，並表示它能主動找出 agent 的問題，在用戶看到之前加以解決。
LangChain 定於9月30日舉行 LangSmith Tuned Evaluators 講座
講座將介紹線上評估的關鍵要素，以及團隊如何使用 Tuned Evaluators 分析 agent 互動，並為生產環境追蹤附加回饋。
LangSmith 現已支援決策模型，包括 Jev 及 SemIf
LangSmith 為受支援的決策模型提供每一步的可見性，包括 Jev 及 SemIf。