연구자가 1.7B 모델에 '역 LLM' 사이드카 모델을 적용하여 코딩 작업 성능을 개선했습니다. 이 모델은 생성된 내용을 다시 읽어 수정하는 루프를 사용합니다. 9B 모델 훈련 후 HumanEval 데이터셋을 전체 실행하여 성능을 검증할 예정입니다.
Repeat Yourself의 신경해부학 연구에서 영감을 받아, 모델은 생성된 내용을 끝에서 읽고 결과를 다시 입력하는 방식으로 작동합니다. 이를 통해 작은 모델의 구문 정확도를 크게 향상시켰습니다.
연구자는 1.7B 모델과 9B 모델 모두에 대해 HumanEval 데이터셋을 전체 실행하여 성능을 비교 분석할 계획입니다. 관련 코드는 정리 후 GitHub에 공개할 예정입니다.