AI 시장의 무게중심이 거대 모델 학습에서 실제 서비스 구동과 에이전트 운영으로 옮겨가면서, 연산 성능만큼이나 데이터 이동과 작업 조율 능력이 중요해지고 있어서다.
젠슨 황 엔비디아 최고경영자(CEO). (사진=AFP)
관심은 신형 GPU 자체보다 엔비디아가 AI 시대의 서버 구조를 어떻게 다시 정의하느냐에 쏠린다. 시장에선 CPU(중앙처리장치) 중심 서버나 관련 전략이 이번 무대에서 부각될 가능성을 주목하고 있다.
그동안 AI 인프라 투자는 대규모 학습용 GPU(그래픽처리장치)클러스터 확대에 집중됐다. 그러나 최근에는 추론이 더 중요해지고 있다. 사용자의 질문에 답하고, 여러 AI 에이전트가 애플리케이션을 넘나들며 작업을 수행하는 실제 서비스 구간이 빠르게 커지고 있기 때문이다.
이 단계에서는 GPU만으로는 부족하다. 데이터를 나르고 순서를 조율하며 전체 시스템을 연결하는 CPU와 네트워킹의 역할이 함께 커질 수밖에 없다.
특히 에이전틱 AI 확산은 CPU의 존재감을 다시 키우고 있다. 여러 AI 에이전트가 동시에 움직이는 환경에선 누가 어떤 작업을 먼저 처리하고 어떤 결과를 다른 에이전트에 넘길지 조정하는 ‘오케스트레이션’ 계층이 필요하다. 이 작업은 GPU보다 CPU가 더 많이 맡는다. 로이터가 엔비디아의 CPU 전략을 별도로 짚은 이유도 여기에 있다.
추론 시장 확대는 엔비디아에 꼭 유리한 판만은 아니다. AI 학습에선 엔비디아 GPU의 지배력이 압도적이지만, 추론은 다르다. 전력 효율과 비용이 더 중요해지면서 ASIC(주문형반도체), NPU(신경망처리장치) 같은 추론 전용 반도체가 빠르게 존재감을 키우고 있다. ASIC은 특정 작업에 맞춰 설계한 맞춤형 칩이고, NPU는 신경망 연산에 특화된 장치다. 오픈AI와 메타 등 기존 엔비디아 대형 고객사들까지 자체 칩 개발에 나서는 이유도 여기에 있다.
엔비디아도 손을 놓고 있지 않다. 로이터에 따르면 회사는 지난해 12월 추론 특화 칩 스타트업 그로크(Groq)를 170억달러에 인수했다. 이번 GTC에서는 그로크의 초고속 추론 기술을 기존 자사의 CUDA(쿠다) 생태계와 어떻게 결합할지가 공개될 가능성이 크다. 시장에서는 엔비디아가 그로크 칩과 자사 네트워킹 기술을 묶은 새로운 서버 제품군을 내놓을 수 있다는 전망도 나온다.
CPU 전략 강화도 같은 흐름이다. 최근 몇 년간 CPU는 GPU에 가려 상대적으로 존재감이 약했다. 하지만 AI 에이전트와 추론 워크로드가 늘어나면서 다시 핵심 부품으로 부상하고 있다.
로이터는 엔비디아가 CPU만으로 구성된 서버를 공개할 가능성까지 거론했다. 아직 확정된 내용은 아니지만, 적어도 엔비디아가 CPU를 더 이상 보조 칩이 아니라 AI 인프라의 주요 축으로 재배치하려는 신호로 읽힌다.
광학 연결 기술도 이번 행사에서 주목할 대목이다. 엔비디아는 루멘텀과 코히어런트에 각각 20억달러를 투자했다. 두 회사는 칩 간 데이터를 빛으로 주고받게 하는 레이저 기술을 보유하고 있다. 초대형 AI 데이터센터에선 칩 자체의 계산 성능 못지않게 칩 사이를 얼마나 빠르게 연결하느냐가 중요하다. 칩 수가 폭증할수록 병목은 연산보다 연결에서 더 자주 발생하기 때문이다.
이번 GTC의 핵심은 엔비디아가 GPU 기업을 넘어 AI 시스템 기업으로 얼마나 선명하게 자리매김하느냐다. 학습용 GPU 강자라는 현재의 위상만으로는 추론과 에이전트 중심으로 재편되는 시장을 방어하기 어렵다. CPU와 네트워킹, 광학, 소프트웨어까지 묶은 풀스택 전략이 필요한 이유다.
AI 에이전트 시대의 승부는 더 이상 “누가 가장 빠른 GPU를 갖고 있느냐”에만 달려 있지 않다는 평가도 나온다.
누가 더 많은 AI를 더 효율적으로 연결하고, 더 낮은 비용으로 굴리고, 더 안정적으로 조율하느냐가 새 기준이 되고 있다. 16일 GTC 2026은 엔비디아가 그 질문에 어떤 답을 내놓을지 보여주는 무대가 될 전망이다.
