SrijSriv211 사용자가 제한된 파라미터(≤ 10M) 환경에서 Attention과 FFN을 결합한 새로운 Transformer 아키텍처 'Silia'를 제안했어요. Silia는 기존 GPT-2 아키텍처와 동일한 조건에서 더 적은 파라미터로 유사한 성능(손실, 생성 품질)을 달성했어요. 연구자는 제한적인 하드웨어 환경으로 인해 실험 규모가 제한적이었으며, 이 논문은 아이디어 소개 및 초기 실험 결과 보고로 간주돼요.