LangSmithがJevとSemIfを含む意思決定モデルに対応
LangSmithが意思決定モデルに対応した。対象にはJevとSemIfが含まれ、各ステップを可視化する。
LangSmithが意思決定モデルに対応した。対象にはJevとSemIfが含まれ、各ステップを可視化する。
LangChainによると、LangSmith Custom Appsはプロンプトでエージェントデータからインターフェースを作成でき、実行へのラベル付け、実験の比較、トレースの確認といったビューを含む。
LangChainはInterruptでLangSmith Engine v2を発表した。本番前にエージェントの問題を特定し、提案された修正をユーザーに示す前にテストし、非効率なエージェントの処理とともにコストとレイテンシの傾向を示す。
LangChainはInterruptでLangSmith Engine v2を発表し、エージェントの問題を事前に見つけ、ユーザーが目にする前に解決できるとしている。
セッションでは、オンライン評価の要点と、チームがTuned Evaluatorsを使ってエージェントのやり取りを分析し、本番トレースにフィードバックを付与する方法を扱う。
LangChainは、Jev-as-a-judgeがLangSmithで利用可能になったと述べている。同社は、すべての本番トレースをスコアリングでき、コストを上昇させずにトレースあたりより多くの基準をチェックでき、自動化された対応をトリガーできるほど迅速に安全性またはセキュリティの問題を捕捉できると主張している。