Pulse · AI 뉴스

SemEval-2026 HABIB_TAZ: 규칙 기반 합성 데이터로 형식 논리 추론 성능 향상

mDeBERTa-v3 · 2026-07-16

HABIB_TAZ 팀이 SemEval-2026 Task 11에서 LLM의 형식 논리 추론 성능 저하 문제를 해결하기 위한 시스템을 개발했어요. mDeBERTa-v3 네트워크를 활용해 규칙 기반 합성 데이터로 훈련하고, 내용에 의한 편향을 줄이는 멀티 목적 손실 함수를 적용했어요.

영어, 다국어 환경에서 0.00% 편향과 100.0% 정확도를 기록하며 Subtask 1, 2, 3에서 1위를 달성했어요. 다국어 환경에서 노이즈가 많은 Subtask 4에서는 89.06% 정확도와 37.78 랭킹 점수를 기록했어요.

합성 데이터 생성 엔진과 코드를 공개하여 향후 형식 논리 추론 연구에 기여할 예정이에요.

##SemEval##논리추론##합성데이터
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기