# Harness-Aware Distillation, 소형 모델 에이전트의 ALFWorld 성공률 63.4% 달성

교사 모델의 결정을 대조하여 소형 언어 모델 에이전트가 하네스 정보를 활용하도록 훈련하는 프레임워크인 Harness-Aware Distillation에 관한 연구 논문이 발표되었다. 이를 통해 훈련된 학생 모델은 미확인 ALFWorld 태스크에서 63.4%의 성공률을 기록하며 8B 교사 모델의 성능을 넘어섰다.

Language: ko
Time zone: Asia/Seoul

HTML: https://didcodexreset.com/ko/news/69ad27f580d24dbfb8438d77.html

Content language: ko
Localization state: translated

출처: elvis · 2026. 10. 7. 01:57:17 게시

[arXiv 논문](https://arxiv.org/abs/2610.02858)에 따르면, 연구진은 실행 하네스를 기반으로 동작하는 소형 언어 모델 에이전트를 위해 설계된 프레임워크인 Harness-Aware Distillation을 발표했다. 이 기법은 동일한 교사 모델에 하네스 정보가 있을 때와 없을 때 각각 질의한 뒤, 하네스 데이터가 존재할 때 선택된 동작을 학생 모델이 선호하도록 훈련한다. 필터는 태스크 보상이나 성공 레이블 없이 동작하며, 선호 동작이 하네스 기록과 모순되는 후보 쌍을 제거한다.

연구진의 관찰에 따르면, 온폴리시 증류에 단순히 하네스 데이터를 추가했을 때는 ALFWorld에서 학생 모델의 하네스 활용률이 65.7%에서 73.1%로 상승했으나 태스크 성공률은 43.1%~43.5%로 정체되었다. 반면 Harness-Aware Distillation을 적용한 학생 모델은 미확인 ALFWorld 태스크에서 63.4%의 성공률을 기록해 최상위 베이스라인(47.0%)과 8B 교사 모델을 모두 앞질렀다. 또한 훈련된 학생 모델은 정체(stall) 상황의 59.7%를 벗어났으나, 베이스라인 모델들은 미훈련 학생 베이스라인 수준인 46.8% 부근에 머물렀다.

Tags: 모델 증류, AI 에이전트, ALFWorld, LLM 연구

[원문 게시물 보기](https://x.com/omarsar0/status/2107507684270600394)