연구진이 폐 절제 병리 보고서에서 13개 College of American Pathologists synoptic 필드를 채우기 위해 5개의 오픈소스 LLM을 활용했어요. 제로샷 방식으로도 기존 지도 학습 모델과 유사한 성능을 냈어요. GPT-OSS-20B 모델은 Micro-F1 0.893을 기록하며 복잡한 관계(병기) 추출에 성공했어요.
기존 지도 학습 방식은 고비용의 수동 주석 작업이 필요하고 오류가 발생하기 쉬운 반면, 제로샷 에이전트 방식은 저비용으로 해결 가능해요. 연구 결과 오픈소스 LLM 에이전트가 폐 병리 정보 추출에 유용한 솔루션임을 보여줬어요.
연구진은 새로운 평가 프레임워크를 통해 LLM의 성능을 평가했는데, GatorTron NER-RE 기반 모델은 Micro-F1 0.960을 기록했어요.