LangChain、9月30日にLangSmithのTuned Evaluatorsに関するセッションを開催
9月30日、LangChainはオンライン評価の要点と、チームがLangSmithのTuned Evaluatorsを使ってエージェントのやり取りを自動分析し、本番トレースに有用なフィードバックを付与する方法を取り上げる。登録はTuned Evaluatorsのページで受け付ける。
関連AIニュース
LangSmith Custom Appsが一般提供を開始
LangChainによると、LangSmith Custom Appsはプロンプトでエージェントデータからインターフェースを作成でき、実行へのラベル付け、実験の比較、トレースの確認といったビューを含む。
LangSmith Engine v2がレッドチーミングと検証済み修正を追加
LangChainはInterruptでLangSmith Engine v2を発表した。本番前にエージェントの問題を特定し、提案された修正をユーザーに示す前にテストし、非効率なエージェントの処理とともにコストとレイテンシの傾向を示す。
LangChain、InterruptでLangSmith Engine v2を発表
LangChainはInterruptでLangSmith Engine v2を発表し、エージェントの問題を事前に見つけ、ユーザーが目にする前に解決できるとしている。
LangSmithがJevとSemIfを含む意思決定モデルに対応
LangSmithは、JevとSemIfを含む対応済みの意思決定モデルについて、各ステップを可視化する。
Jev-as-a-judgeがLangSmithで利用可能に
LangChainは、Jev-as-a-judgeがLangSmithで利用可能になったと述べている。同社は、すべての本番トレースをスコアリングでき、コストを上昇させずにトレースあたりより多くの基準をチェックでき、自動化された対応をトリガーできるほど迅速に安全性またはセキュリティの問題を捕捉できると主張している。