Pulse · AI 뉴스

LLM 파라미터·데이터 선택, 공동 점수 기반으로 효율성 높인다

DualSFT · 2026-05-07

LLM 파인튜닝 시 파라미터와 데이터 선택은 비용 절감에 중요하지만, 보통 별개의 방식으로 진행돼 비효율적입니다.

연구진은 파라미터 중요도와 데이터 유용성을 단일 그래디언트 상호작용 행렬 집계로 표현하는 DualSFT 알고리즘을 제안했습니다.

3B~9B LLM에서 DualSFT는 성능 향상과 안정성·가소성 균형을 개선하며, 제한된 예산 하에서 기존 방식보다 더 나은 결과를 냈습니다.

##LLM##파인튜닝##최적화##DualSFT##데이터선택
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기