#langsmith

Ankush Gola는 smithtune이 LangSmith에서 궤적을 가져와 선별하고 처리한 뒤 FireworksAI_HQ와 baseten에서 학습하고, 결과를 LangSmith로 평가한다고 밝혔다. 코드는 langchain-ai GitHub 저장소에 있다.

LangSmith Custom Apps 정식 출시

LangChain은 LangSmith Custom Apps가 프롬프트로 에이전트 데이터에서 인터페이스를 만들 수 있으며, 실행 라벨링, 실험 비교, 트레이스 검토용 화면이 포함된다고 밝혔다.

Fireworks는 LangSmith Fine-Tuning과 smithtune의 출시 학습 파트너라고 밝혔다

Fireworks는 LangChain의 LangSmith Fine-Tuning과 smithtune의 출시 학습 파트너라고 밝히며, LangSmith 트레이스에서 Fireworks의 관리형 SFT로 이어진 뒤 평가와 배포까지 하나의 CLI로 처리하고 별도의 학습 인프라는 필요하지 않다고 설명했다.

LangSmith Engine v2, 레드팀 테스트와 검증된 수정 추가

LangChain이 Interrupt에서 LangSmith Engine v2를 발표했다. 프로덕션 전에 에이전트 문제를 찾아내고, 사용자에게 보여 주기 전에 제안된 수정을 시험하며, 비효율적인 에이전트 작업과 함께 비용 및 지연 시간 추세를 드러낸다.

LangChain, Interrupt에서 LangSmith Engine v2 발표

LangChain이 Interrupt에서 LangSmith Engine v2를 발표했으며, 에이전트 문제를 선제적으로 찾아 사용자가 보기 전에 해결할 수 있다고 밝혔다.

LangChain, 9월 30일 LangSmith Tuned Evaluators 세션 개최

세션에서는 온라인 평가의 핵심 요소와 팀이 Tuned Evaluators로 에이전트 상호작용을 분석하고 프로덕션 트레이스에 피드백을 붙이는 방법을 다룬다.

LangSmith, Jev와 SemIf를 포함한 의사결정 모델 지원

LangSmith는 Jev와 SemIf를 포함한 지원 대상 의사결정 모델의 모든 단계를 확인할 수 있게 한다.

Jev-as-a-judge가 이제 LangSmith에서 사용 가능

LangChain은 Jev-as-a-judge가 이제 LangSmith에서 사용 가능하다고 밝혔습니다. 회사는 모든 프로덕션 트레이스를 채점하고, 비용 상승 없이 트레이스당 더 많은 기준을 확인하며, 자동 대응을 트리거할 만큼 빠르게 안전 또는 보안 문제를 포착할 수 있다고 주장합니다.

LangChain, LangSmith LLM Gateway에서 다음 주 동안 SemIf 무료 제공

LangChain은 오픈소스 의사결정 모델인 SemIf를 LangSmith LLM Gateway에서 다음 주 동안 무료로 제공한다고 밝혔습니다. 인용된 게시물에서 Jacob Lee는 SemIf가 다음 주 동안 무료로 제공되며 TypeSafe SDK와 호환된다고도 말했습니다.