오픈 웨이트 모델이 빠르게 확산하면서 기업과 개발자들이 외부 클라우드에 의존하지 않고 자체 하드웨어에서 AI를 직접 구동하려는 수요가 커지고 있어서다.
엔비디아는 이 같은 시장 변화에 맞춰 그래픽처리장치(GPU)뿐 아니라 오픈 모델과 추론 소프트웨어, 개발도구, AI 시스템까지 아우르는 로컬 AI 생태계 구축에 속도를 내고 있다. AI 모델 자체의 경쟁을 넘어 모델이 실제 기기에서 구동되는 ‘실행 환경’을 선점하겠다는 전략이다.
엔비디아는 12일 로컬 AI 생태계 확대를 위한 신규 모델과 소프트웨어, 개발자 도구 등을 공개했다. 개발자가 오픈 웨이트 모델을 자신의 데이터와 업무에 맞게 조정하고 로컬 GPU에서 직접 실행할 수 있도록 지원하는 것이다.
대표적으로 ‘네모트론 3.5 라이트닝’은 300억개 파라미터 규모의 전문가 혼합(MoE) 모델이다. 상시 작동하는 AI 에이전트와 전문화된 업무를 겨냥한 모델로, 엔비디아는 동급 오픈 모델보다 토큰 생성 속도가 최대 4배 빠르고 작업 완료 시간은 최대 30% 단축할 수 있다고 설명했다.
오픈 웨이트 방식으로 제공돼 개발자가 자체 데이터를 활용해 파인튜닝할 수 있다는 점도 특징이다. 이메일과 문서 작성, 코딩, 파일 분석 등 특정 업무에 맞춘 개인·기업용 AI 에이전트를 구축할 수 있다.
사진=엔비디아
오픈 웨이트 모델의 확산은 AI 시장의 경쟁 기준도 바꾸고 있다. 모델 간 성능 격차가 좁혀지면서 어떤 모델을 선택하느냐뿐 아니라 이를 얼마나 빠르고 저렴하게, 안전하게 실행할 수 있는지가 새로운 경쟁 요소로 떠오르고 있다.
특히 기업은 자체 데이터와 민감한 정보를 외부 클라우드로 보내지 않고 내부에서 AI를 활용할 수 있다는 점에서 로컬 AI에 주목하고 있다. 개인 사용자 역시 PC에 저장된 파일과 문서, 이메일 등을 AI와 연결해 업무를 자동화하는 개인용 AI 에이전트 활용이 가능해진다.
엔비디아는 GPU뿐 아니라 AI 모델을 실제 PC에서 실행하는 소프트웨어 생태계까지 구축하고 있다. 네모트론 3.5 라이트닝을 vLLM, 올라마, 라마.cpp, LM 스튜디오 등 주요 로컬 AI 실행 도구와 연계한 것도 이 같은 전략의 일환이다.
메타의 오픈 웨이트 모델 ‘뮤즈 글리머’도 엔비디아 GPU에서 구동할 수 있도록 최적화했다. 300억개 파라미터 규모의 이 모델은 코딩과 로컬 에이전틱 AI에 특화됐으며, 고성능 소비자용 GPU인 RTX 5090에서 초당 200토큰 이상의 성능을 제공한다.
이는 AI 구동 환경이 데이터센터용 GPU 중심에서 고성능 소비자용 GPU로까지 확대되고 있음을 보여준다. 고성능 GPU 한 장만으로도 개인 파일과 문서, 이메일 등을 외부 서버로 보내지 않고 기기 내부에서 처리하는 AI 에이전트를 구현할 수 있는 환경이 만들어지고 있는 것이다.
◇‘GPU 한 장’ 넘어 소규모 AI 클러스터로
엔비디아는 로컬 AI의 성능을 여러 GPU 시스템을 연결하는 방식으로도 확장하고 있다.
‘엔비디아 싱크 클러스터 어시스턴트’를 활용하면 여러 대의 DGX 스파크를 하나의 AI 클러스터로 구성할 수 있다. 네트워크 설정과 작업 분배, 시스템 모니터링 등을 자동화해 복잡한 인프라 설정 없이 대규모 모델을 실행할 수 있도록 지원한다.
로컬 AI가 단순히 ‘AI PC 한 대’에서 끝나는 것이 아니라 개인이나 개발자도 구축할 수 있는 소규모 AI 인프라로 발전할 수 있다는 의미다. 한 대의 PC에서는 비교적 작은 모델을, 여러 GPU 시스템에서는 더 큰 오픈 웨이트 모델을 구동하는 방식으로 활용 범위가 확대될 수 있다.
◇모델보다 중요한 ‘AI 실행 환경’…엔비디아가 노리는 시장
엔비디아가 주목하는 또 다른 영역은 AI 에이전트의 추론 비용이다.
AI 에이전트가 복잡한 업무를 수행할수록 하나의 작업에서 여러 차례 모델을 호출하게 된다. 모든 작업을 고성능 프론티어 모델로 처리하면 서비스 운영 비용이 커질 수밖에 없다.
엔비디아가 공개한 오픈소스 라우팅 라이브러리 ‘네모 스위치야드(NeMo Switchyard)’는 작업에 맞는 모델을 선택해 연결하는 역할을 한다. 단순한 작업에는 상대적으로 저렴한 모델을, 복잡한 작업에는 고성능 모델을 배치해 전체 추론 비용을 낮추는 방식이다.
엔비디아의 전략이 ‘더 뛰어난 AI 모델을 만드는 것’에서 ‘다양한 모델을 가장 효율적으로 실행할 수 있는 환경을 구축하는 것’으로 확장되고 있다는 의미다.
오픈 웨이트 모델이 확산될수록 모델 자체뿐 아니라 이를 실제 업무와 서비스에 적용하는 실행 환경의 중요성도 커질 전망이다. 개방형 모델이라도 실제로 구동하려면 GPU와 추론 엔진, 최적화 기술, 개발도구 등이 필요하기 때문이다.
엔비디아는 이들 요소를 자사 GPU 생태계 안에서 연결하고 있다. 오픈 웨이트 모델 확산이 로컬 AI 수요를 키우고, 다시 GPU와 추론 소프트웨어 수요로 이어지는 구조다.
AI 경쟁의 기준이 ‘누가 가장 강력한 모델을 보유했느냐’에서 ‘누가 AI를 더 쉽고 저렴하게, 어디서나 실행할 수 있게 하느냐’로 이동하면서 엔비디아의 로컬 AI 생태계 확장이 새로운 경쟁축으로 부상하고 있다.
