physicsrob이 파이썬 연산 그래프를 Transformer 가중치로 변환하는 컴파일러를 개발했어요. 결과물은 vanilla Hugging Face에서 바로 로드 가능한 Phi-3 아키텍처 체크포인트예요.
기존 RASP·Tracr와 달리, physicsrob의 컴파일러는 파이썬 연산 그래프를 직접 표현하고, 표준 아키텍처를 타겟팅하여 사용자 코드를 최소화했어요.
이 프로젝트는 Transformer가 실제로 표현할 수 있는 알고리즘을 연구하기 위한 노력의 일환이며, 훈련 과정 없이 Transformer 가중치를 생성하는 새로운 접근 방식을 제시해요.