리벨리온이 SK텔레콤의 독자 인공지능(AI) 파운데이션 모델 'A.X K1'을 자사 리벨서버(RebelServer)에서 구동하고, 다수 사용자의 요청을 동시에 처리하는 에이전트 서비스 데모를 선보였다.

국산 신경망처리장치(NPU)를 결합한 단일 서버가 500B급 초거대 모델의 연산을 효율적으로 처리하면서 국산 AI 반도체의 실사용 성능을 보여줬다는 평가다.

23일 업계에 따르면 A.X K1은 총 5190억 개 파라미터를 갖춘 초거대 모델로 추론 시 약 330억 개만 활성화되는 전문가 혼합(MoE) 구조를 채택했다. 리벨리온은 이에 맞춰 소프트웨어를 최적화하고 분산 처리 기술을 구현했다고 설명했다.

실증 데모는 지도형 에이전트 서비스 형태로 구현됐다. 여러 이용자가 동시에 '주말에 이용 가능한 약국' 등의 질문을 던져도 시스템이 실시간으로 응답해 지도 위에 결과를 표시하는 방식이다.

리벨리온 관계자는 "국산 AI 기술 조합만으로도 다수의 이용자가 동시에 이용하는 실생활 공공 AI 에이전트 서비스를 안정적으로 감당할 수 있음을 보인 사례"라며 "각기 다른 일상적인 질문을 동시에 던지더라도 A.X K1이 병목 현상 없이 실시간으로 처리해 지도 위에 즉시 결과를 표시해 준다"고 말했다.

리벨리온은 앞서 SK텔레콤의 에이닷 통화요약 등 대규모 실시간 서비스에 NPU를 적용해 왔다. 최근에는 SK텔레콤·Arm과 차세대 추론 서버 공동 개발에도 나서며 국산 AI 인프라 확장에 속도를 내고 있다.

아울러 AI 추론 최적화 전문기업 스퀴즈비츠를 인수하며 하드웨어부터 모델 최적화·추론 서빙까지 아우르는 통합 AI 인프라 기업으로 전환을 가속하고 있다. 2024년 사피온코리아와의 합병으로 국내 첫 AI 반도체 통합 사례를 만든 데 이어 소프트웨어 레이어까지 품는 인수로 'K-엔비디아 육성' 기조에 맞춘 스케일업을 이어가고 있다.

박성현 리벨리온 대표는 "이번 실증은 국산 초거대 모델과 국산 NPU만으로 대규모 AI 서비스를 운영할 수 있음을 보여준 소버린 AI의 실질적 사례"라며 "인프라 효율성과 실사용 가능성을 모두 입증했다"고 말했다.

ideaed@news1.kr