연구팀은 특허 심사 과정을 모델링하는 첫 번째 벤치마크인 'PatRe'를 공개했습니다. PatRe는 실제 480건의 특허 사례를 포함하며, 심문서 생성과 출원인 반박 과정을 시뮬레이션합니다. 실험 결과, LLM의 성능 차이와 심사관 분석과 출원인 반박 과정의 비대칭성이 드러났습니다.
PatRe는 특허 심사를 분류 작업이 아닌, 정당화와 응답의 역동적인 다단계 과정으로 재정의합니다. 이 벤치마크는 LLM이 복잡한 법적 추론과 기술적 신규성 판단을 모델링하는 데 있어 잠재력과 한계를 보여줍니다.
연구팀은 코드와 데이터셋을 공개하여 특허 심사 모델링 연구를 지원할 예정입니다. 이를 통해 LLM의 특허 심사 과정에서의 활용 가능성을 탐색하고, 성능 개선을 위한 기반을 마련하고자 합니다.