#langsmith

LangSmith 微調 CLI smithtune 可在 FireworksAI_HQ 與 baseten 上訓練

Ankush Gola 表示，smithtune 會從 LangSmith 提取、篩選並處理軌跡，在 FireworksAI_HQ 與 baseten 上訓練，再用 LangSmith 評估結果。程式碼位於 langchain-ai 的 GitHub 儲存庫。

LangChain 表示，LangSmith Custom Apps 可以用提示詞，根據代理數據建立介面，包括標註執行、比較實驗及檢視追蹤的視圖。

Fireworks 表示，其為 LangChain 的 LangSmith Fine-Tuning 與 smithtune 的發佈訓練合作夥伴，並描述一條以單一 CLI 從 LangSmith traces 進入 Fireworks 上受管 SFT、再進行評估與部署的路徑，無需另建訓練基礎設施。

LangChain 在 Interrupt 發布 LangSmith Engine v2。它可在正式上線前找出代理問題，在向用戶展示前測試擬議修復，並呈現低效的代理工作以及成本與延遲趨勢。

LangChain 在 Interrupt 發布 LangSmith Engine v2，並表示它能主動找出 agent 的問題，在用戶看到之前加以解決。

講座將介紹線上評估的關鍵要素，以及團隊如何使用 Tuned Evaluators 分析 agent 互動，並為生產環境追蹤附加回饋。

LangSmith 為受支援的決策模型提供每一步的可見性，包括 Jev 及 SemIf。

LangChain 表示 Jev-as-a-judge 現已於 LangSmith 推出。該公司聲稱它可為每條生產追蹤評分、在成本不上升的情況下為每條追蹤檢查更多準則，以及足夠快地捕捉安全或保安問題以觸發自動回應。

LangChain 表示，將於 LangSmith LLM Gateway 把開源決策模型 SemIf 免費提供一星期。在被引用的帖文中，Jacob Lee 亦表示 SemIf 會免費服務一星期，並與 TypeSafe SDK 兼容。