연구진은 다양한 학습 패러다임의 표 형식 데이터 인코더를 직접 비교하기 어렵다는 문제점을 해결하기 위해 TRL-벤치를 발표했어요.
TRL-벤치는 행, 열, 테이블 임베딩을 표준화하여 TRL-CTbench, TRL-Rbench, TRL-DLTE 세 가지 스위트에서 평가하며, 50개의 OpenML 테이블과 16개의 행 쌍 연결 재작업, 47,772개의 테이블 데이터 레이크를 공개했어요.
20개의 모델과 16개의 작업으로 평가한 결과, 특정 능력에 맞는 전문가 모델을 결합하는 것이 전체 성능을 향상시키는 데 중요하며, 단계별 순위보다 조립 적합성이 더 중요하다는 것을 확인했어요.
TRL-벤치는 표준화된 조건에서 추출된 표 형식 데이터 표현의 재사용 가능한 신호를 측정하는 공통 프로토콜을 제공하며, 코드와 데이터는 GitHub에서 확인할 수 있어요.