퇴직 엔지니어 에드워드 윤이 2.8T 규모 MoE 모델 실험 비용 절감을 위한 Blueprint Distillation (BPD) 설계 방안을 공개했어요. BPD는 고가 분석을 재사용 가능한 중간 표현으로 만들어 여러 학생 모델에 적용할 수 있도록 합니다. Moonshot AI의 Kimi K3 모델을 대상으로 하며, 첫 번째 Blueprint 생성에 필요한 컴퓨팅 자원이 부족하여 협업을 모색 중입니다.
BPD는 기존 Teacher → Analysis → Compression 방식을 2.8T Teacher → Expensive Analysis → Compression Blueprint → Student (27B, 7B, 3B)로 변경하여 분석 결과를 재활용합니다. 이를 통해 27B 모델로 압축하는 경우에도 2.8T 모델 분석 결과를 재사용할 수 있어 실험 비용을 절감할 수 있습니다.
현재 GitHub에 설계 내용이 공개되었으며, H100/H200급 컴퓨팅 자원을 보유한 사람들과 협업하여 Kimi K3 모델의 첫 번째 Blueprint를 생성하고 아이디어의 실효성을 검증하고자 합니다.