연구진은 시각 생성 모델이 학습하지 못한 내용을 그럴듯하게 조작하는 문제를 발견했어요. 이를 해결하기 위해 SearchGen-20K 및 SearchGen-Bench 데이터셋을 구축하여 모델의 지식 부족 현상을 측정했어요. 최첨단 모델조차 기존 벤치마크에서는 보이지 않던 성능 저하를 겪는 것으로 나타났어요.
모델의 지식 부족을 해결하기 위해 검색 도구를 활용한 에이전트 기반 시각 생성 방법을 제안했지만, 단순 검색은 오히려 노이즈를 유발하는 문제점을 확인했어요. 이는 모델의 학습 가능한 지식과 외부 맥락에서 가져와야 하는 지식 사이의 경계 때문이었어요.
연구진은 이 지식 경계를 발견하는 가르치기-검색 공동 훈련 프레임워크를 개발하여 모델 성능을 꾸준히 향상시켰고, 이를 통해 시각 생성 모델의 자체 개선 기반을 마련했어요. 연구 데이터셋과 검색 코퍼스를 공개하여 도구 활용 및 세계 지식 기반 시각 생성 연구를 지원할 예정이에요.