Pulse · AI 뉴스

openPangu-2.0-Flash 공개: 920억 파라미터 MoE 모델

openPangu-2.0-Flash · 2026-07-01

openPangu-2.0-Flash는 Ascend 기반으로 학습된 MoE 모델로, 총 920억 파라미터와 60억 활성화 파라미터를 가지고 있어요.

512K 컨텍스트 길이를 지원하며, 34조 토큰의 데이터를 사전 학습했고, 다양한 RL 전문가를 활용한 통합 SFT 방식으로 후처리되었어요.

효율적인 어텐션, 잔여 토폴로지 개선, 멀티 토큰 예측(MTP) 등 주요 아키텍처 개선 사항이 적용되어 빠른 추론을 지원해요.

##모델출시##MoE##openPangu
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기