RNGD SDK 2026.2의 핵심 성능 향상
FuriosaAI가 출시한 SDK 2026.2는 RNGD 대규모 생산 단계에서 에이전트 AI 시스템, 코딩 에이전트, 고처리량 LLM 애플리케이션을 배포하는 엔터프라이즈 고객을 위한 주요 소프트웨어 발전을 선보입니다. 이 SDK 2026.2는 자동화된 성능 튜닝과 처리량 및 라우팅 효율성의 중대한 개선을 결합하며, 올해 두 번째 RNGD SDK 릴리스로서 데이터센터에서 규모 있는 추론을 실행하는 개발자를 위한 빠른 반복과 지속적 최적화에 대한 회사의 약속을 보여줍니다.
처리량 및 메모리 관리 개선
SDK 2026.2는 심화된 컴파일러 최적화와 함께 하이브리드 KV 캐시 관리 시스템을 도입하여 이전 릴리스 대비 Qwen3 및 EXAONE 4.0 모델 계열에 대해 74.9% 평균 처리량 개선을 제공합니다. 프리필과 디코드 단계 간 메모리 할당 최적화를 통해 기존 하드웨어의 서비스 용량을 전력 소비 증가 없이 효과적으로 2배로 확대했습니다.
자동화된 성능 튜닝과 엔터프라이즈 안정성
RNGD는 180W TDP에서 작동하는 독립형 PCIe 카드로 제공되며, 표준 데이터센터 환경에서 H100 기반 시스템 대비 3.5배 이상의 컴퓨팅 밀도를 제공하는 턴키 서버 구성으로도 이용 가능합니다. SDK 2026.2는 RAG 및 에이전트 워크플로우에서 공유 프롬프트 접두사를 활용한 프리픽스 인식 데이터 병렬 처리로 첫 토큰까지의 시간을 단축합니다.