DECODEM은 조직 문서에서 기업 지배 구조 변수를 추출하는 자동화된 방법을 평가하는 벤치마크 데이터 세트입니다. 이 데이터 세트는 임의로 샘플링된 기업 헌장과 정관을 고품질의 인간 주석과 연결합니다. 대규모 언어 모델 추출 파이프라인을 평가한 결과, 많은 조항에 대해 높은 정확도로 추출이 가능합니다.
DECODEM은 표준 벤치마크를 제공하고 추출 방법을 체계적으로 평가하여 현재 최첨단 모델이 복잡한 기업 문서에서 법적으로 의미 있는 정보를 높은 정확도로 추출할 수 있음을 보여줍니다.
다만 일부 조항은 여전히 오류가 많으며, 더 정교한 프롬프트 전략과 단계별 파이프라인은 최첨단 모델의 성능을 일관되게 향상시키지 못합니다.