GitHub, AI 코드 리뷰어 평가를 위한 오픈 벤치마크 ReviewBench 출시

GitHub는 AI 코드 리뷰어가 불필요한 노이즈를 더하지 않고 유의미한 문제를 잡아내는지 테스트하기 위한 오픈 벤치마크 ReviewBench를 출시했다. 이 벤치마크는 GitHub 풀 리퀘스트 1억 390만 건을 분석해 구축되었으며, 19개 프로그래밍 언어의 풀 리퀘스트 219건을 모았다.

GitHub 블로그 게시물에 상세히 소개된 것처럼, 개발자는 자체 코드 리뷰 에이전트를 적용해 벤치마크로 평가하고 결과를 제출할 수 있다.