Diogo Almeida, evals.typesafe.ai 데이터셋을 더 쓰기 쉽게 만들겠다고 밝혀

Diogo Almeida는 출시 후 거의 2주가 지나고 요청이 이어지자, evals.typesafe.ai와 함께 공개된 데이터셋을 더 다루기 쉽게 만들고 있다고 밝혔다.

그는 이번 변경이 개방성의 취지에 따른 것이지만, 공개 벤치마크에는 여전히 반대한다고 말했다. 이를 근거로 팀은 평가에 사용하는 모든 데이터셋을, 평가가 내부든 공개든 더 이상 쓰지 않는다.