최근 AI가 단순 질의응답 중심의 생성형 AI에서 스스로 추론하는 에이전틱 AI, 물리 세계와 상호작용하는 피지컬 AI로 발전하는 흐름 속에서 AI 인프라 경쟁력의 핵심이 GPU 확보에서 운영 역량으로 이동하고 있다는 진단이 나왔다.

김명국 SK텔레콤(017670) GPUaaS 사업 담당은 10일 서울 여의도 글래드 호텔에서 열린 '2026 뉴스1 테크포럼(NTF)'에서 "GPU 규모가 경쟁력이던 시대는 지나갔다"며 "GPU가 아무리 많아도 운영을 잘하지 않으면 'GPU는 있어도 없는 것'과 같다"고 말했다.

김 담당에 따르면 AI가 학습(Training) 중심에서 추론(Inference) 중심으로 진화하면서 인프라에 대한 요구도 달라지고 있다.

에이전틱 AI와 피지컬 AI가 확산하며 토큰 사용량이 급증하고 있고, 이를 처리하기 위한 컴퓨팅 수요도 빠르게 늘어나면서 AI 인프라 역시 대규모 추론 서비스를 처리하는 'AI 팩토리' 형태로 진화하고 있다는 설명이다.

AI 팩토리는 고성능 GPU와 데이터센터, 전력 공급망을 하나로 묶은 차세대 AI 인프라다. 김 담당은 AI팩토리를 '컴퓨팅과 에너지를 원료로 토큰을 생성하는 미래 제조 공장'이라고 정의했다.

김 담당은 "컴퓨팅 자원은 단순한 인프라가 아니라 기업 경쟁력의 근원"이라며 "기업의 매출은 보유한 컴퓨팅 용량과 직접적으로 연동되는 시대가 오고 있다"고 말했다.

최근 GPUaaS 시장이 성장하는 흐름 역시 이 같은 변화와 맞닿아 있다. GPUaaS는 AI 개발에 필요한 GPU 인프라를 서비스 형태로 제공하는 모델이다. 기업들은 고가의 GPU를 직접 구매하지 않고 필요한 만큼 빌려 사용할 수 있다. 전 세계 GPUaaS 시장은 올해 61억 달러에서 2033년 259억 달러로 성장할 것으로 예상된다.

하지만 GPU를 확보하는 것은 시작 단계에 불과하다는 진단이다. 실제 현장에서는 GPU를 보유하고도 필요할 때 적절히 활용하지 못하는 경우도 적지 않다는 것.

김 담당은 "기업들은 GPU가 없다고 말하지만, 정작 GPU를 확보한 뒤에도 'GPU는 있는 데도 없다'는 이야기가 나온다"며 "GPU가 있어도 필요할 때 즉시 접근하고 활용할 수 있는 체계를 갖추는 것은 또 다른 문제"라고 말했다.


SK텔레콤은 이러한 운영 효율성 문제를 해결하기 위해 GPU 클러스터 '해인'을 구축해 운영 중이다.

해인은 국내 최초의 NVIDIA 블랙웰 기반대규모 GPU 클러스터다. SK텔레콤은 이를 통해 GPU 사용률 90% 이상, 가용성 99.968%를 유지하며 운영 역량을 검증하고 있다. 이는 글로벌 주요 클라우드 사업자의 평균(99.5%)을 웃도는 수준이다.

김 담당은 "구슬이 서 말이라도 꿰어야 보배라는 말처럼 GPU가 아무리 많아도 운영을 잘해야 한다"며 "GPU 규모가 경쟁력이던 시대는 지나갔고 이제는 얼마나 안정적으로 운영하고 효율적으로 활용하느냐가 경쟁력을 결정하게 될 것"이라고 전했다.

향후 목표는 해인을 기반으로 아시아 AI 생태계를 선도하는 'AI 팩토리'로의 도약이다.

SK텔레콤을 포함한 SK그룹은 최근 전 계열사 역량을 합해 기가와트(GW)급의 엔비디아와 AI 팩토리를 만들겠다고 발표한 바 있다. SK하이닉스의 메모리, SK브로드밴드의 데이터센터 운영 역량, 에너지 계열사의 전력 인프라 등을 결합해 기가와트(GW)급 AI 팩토리를 구축한다는 구상이다.

김 담당은 "해인 인프라를 통해 축적한 운영 경험을 기반으로 엔비디아와 기가스케일 AI 팩토리 사업을 추진하고 있다"며 "국내 최대 사업자를 넘어 아시아를 대표하는 AI 팩토리 기업으로 도약하는 것이 목표"라고 말했다.

minju@news1.kr