10월 2026 전달 사항
MoE 라우팅 최적화에서 Flex 디스패처는 Transformer Engine 밀집 상위-k 라우팅 지수를 활용하고, Muon 옵티마이저는 선택적 헤드별 QKV 직교화 및 텐서 병렬 조각화된 QKV 재구성을 지원합니다.
학습 및 양자화 구성 유지 기능으로 RLConfig 섹션을 제공하고 모델 구성 필드의 직렬화·복원을 지원하며, 양자화 RecipeConfig는 딕셔너리 또는 YAML 구성으로 변환 및 복원할 수 있습니다.
진행 중인 기능
DSA 희소 주의 모듈은 결정론적 역방향 디스패치와 안정적 상위-k 동작을 확보했고, 하이브리드 모델 아키텍처에서는 P2P 버퍼와 중간 단계를 통해 mHC 확장 잔차 폭을 전달하며 DeepSeek-V4-Flash-Vision 지원을 추가하고 있습니다.