본 논문은 LLM 학습 시 데이터 효율성, 메모리 효율성, 컴퓨팅 예산 제약 간 상호작용을 분석합니다. 데이터 효율성 측면에서는 학습 효율을 극대화하는 데이터 선택 및 가지치기 방법을 살펴봅니다. GPU 메모리가 컴퓨팅보다 주요 제약 요인인 경우가 많으며, 가중치 저장, 옵티마이저 상태, 활성화 메모리를 함께 줄여야 효과적인 확장이 가능합니다.
컴퓨팅 예산에 맞춰 학습 및 추론을 최적화하고, 성능 향상분이 예산에 도달하면 중단하거나 재분배하는 방법을 제시합니다. 다양한 학습 방식에 따라 좋은 데이터의 개념이 달라지므로, 작업 목표와 예산에 따라 최적의 데이터 집합이 달라집니다.
본 연구는 데이터 선택, 스케일링 법칙, 적응적 추론을 자원 기반 의사 결정 원칙으로 통합하여 LLM 학습 효율성을 향상시키는 방안을 모색합니다.