#langsmith

Rippling AI は Deep Agents と LangSmith を基盤に構築されており、スーパーバイザーエージェントが 5〜7 個の特化型サブエージェントを調整し、LangSmith でトレース、評価、本番環境の監視を実施している。

LangChain、LangSmith の Trajectories の試用をチームに呼びかけ

LangChain によると、LangSmith の Trajectories は今すぐ試せ、長時間動作するエージェントのデバッグ、専門担当者向けの読みやすい挙動ビュー、オンライン評価によるセッションの採点、本番セッションのファインチューニング用データセット化に使えるという。

LangSmithのファインチューニング用CLI smithtuneがFireworksAI_HQとbasetenで学習

Ankush Golaによると、smithtuneはLangSmithから軌跡を取得・選択・処理し、FireworksAI_HQとbasetenで学習し、結果をLangSmithで評価する。コードはlangchain-aiのGitHubリポジトリにある。

LangSmith Custom Appsが一般提供を開始

LangChainによると、LangSmith Custom Appsはプロンプトでエージェントデータからインターフェースを作成でき、実行へのラベル付け、実験の比較、トレースの確認といったビューを含む。

Fireworks、LangSmith Fine-Tuningとsmithtuneのローンチ時トレーニングパートナーだと表明

Fireworksは、LangChainのLangSmith Fine-Tuningとsmithtuneのローンチ時トレーニングパートナーだと述べ、LangSmithのトレースからFireworks上のマネージドSFT、その後の評価とデプロイまでを、別のトレーニング基盤なしで1つのCLIで進める経路だと説明している。

LangSmith Engine v2がレッドチーミングと検証済み修正を追加

LangChainはInterruptでLangSmith Engine v2を発表した。本番前にエージェントの問題を特定し、提案された修正をユーザーに示す前にテストし、非効率なエージェントの処理とともにコストとレイテンシの傾向を示す。

LangChain、InterruptでLangSmith Engine v2を発表

LangChainはInterruptでLangSmith Engine v2を発表し、エージェントの問題を事前に見つけ、ユーザーが目にする前に解決できるとしている。

LangChain、9月30日にLangSmithのTuned Evaluatorsに関するセッションを開催

セッションでは、オンライン評価の要点と、チームがTuned Evaluatorsを使ってエージェントのやり取りを分析し、本番トレースにフィードバックを付与する方法を扱う。

LangSmithがJevとSemIfを含む意思決定モデルに対応

LangSmithは、JevとSemIfを含む対応済みの意思決定モデルについて、各ステップを可視化する。

Jev-as-a-judgeがLangSmithで利用可能に

LangChainは、Jev-as-a-judgeがLangSmithで利用可能になったと述べている。同社は、すべての本番トレースをスコアリングでき、コストを上昇させずにトレースあたりより多くの基準をチェックでき、自動化された対応をトリガーできるほど迅速に安全性またはセキュリティの問題を捕捉できると主張している。

LangChainがLangSmith LLM GatewayでSemIfを今後1週間無料に

LangChainは、オープンソースの意思決定モデルであるSemIfを、LangSmith LLM Gatewayで今後1週間無料にすると述べた。引用された投稿で、Jacob LeeはSemIfが今後1週間無料で提供され、TypeSafe SDKと互換性があると述べた。