"2012년부터 2020년까지 연구의 시대였고 2020년부터 2025년까지 스케일링의 시대였습니다. 이제는 스케일링 시대가 끝났습니다."(일리야 수츠케버세이프슈퍼인텔리전스 CEO(오픈AI 공동 창립자)

전세계 인공지능(AI) 업계를 5년간 이끌어온 '모델 파라미터와 학습 연산량(플롭스) 규모를 키울수록 더 똑똑하다'는 '스케일링 법칙'이 조금씩 흔들리고 있다.

5일 IT 업계에 따르면 일리야 수츠케버 SSI CEO는 최근 미국 팟캐스트 'Dwarkesh-드와르케시 파텔'에 출연해 "우리는 다시 연구의 시대로 돌아가고 있다"며 "LLM 모델을 100배 더 키우면 좋아지겠지만, 모든 것을 뒤집는 변혁은 아니다. 이제 새로운 학습 원리와 아키텍처를 찾는 근본적 혁신이 필요하다"고 제언했다.​

최근 AI 업계와 학계에서는 사전·사후 훈련 효용이 한계에 다다랐다는 '스케일링 법칙의 벽' 논쟁이 격화하고 있다. 수츠케버를 비롯한 일부 석학들은 "인터넷상의 고품질 텍스트 데이터는 유한하며 인간은 그것을 한계치까지 모았다"고 말한다.



반면구글은 '향상된 사전 훈련'으로 성능을 높인 '제미나이 3'로 반대 메시지를 던졌다.

리올 비냘스 구글 딥마인드 VP of Research&Deep Learning Lead(연구 부사장)은 "제미나이 3의 성능 향상 비결은 사전 훈련과 사후 훈련의 개선"이라며 "스케일링 법칙이 끝났다는 일반적인 믿음과는 반대"라고 겅조했다.

제미나이 3는 제미나이 2.5 버전과 동일한 1조 파라미터 규모 LLM으로 역대 최대 폭의 성능 도약을 달성했다.

순다르 피차이 구글 CEO도 '구글 AI 릴리즈 노트' 팟캐스트에서 "인프라를 개선하면 사전 훈련, 사후 훈련, 테스트 시간 컴퓨팅 등에서 모델이 더 좋아진다"고 언급했다.



수츠케버는 "제미나이3는 사전 훈련 때 더 많은 것을 얻어내는 방법을 발견한 것처럼 보인다"며 구글의 성과를 일부 인정하면서도 "다만 어느 시점에서는 사전 훈련이 데이터 고갈에 직면할 것"이라고 꼬집었다.

이어 "LLM 모델들은 인간보다 일반화 능력이 극도로 나쁘다는 것이근본적 문제"라며 "다음 단계는 고도화된 사전학습, 강화학습(RL), 또는 완전히 다른 것이 될 것"이라고 예측했다.

"지금 LLM은 언어 수준에서는 매우 잘 작동하지만 세계를 이해하지 못합니다. 결국 방대한 통계적 상관관계의 더미일 뿐입니다. 텍스트 예측만으론 인간 수준 AI에 도달할 수 없습니다." 튜링상 수상자 얀 르쿤 메타 수석과학자도 최근 LLM의 근본적 한계를 지적했다.

르쿤은 "LLM은 언어 패턴을 모방할 뿐 세계를 이해하지 못하고 인과관계를 파악하지 못한다"며 "인간 10대 청소년은 20시간 만에 운전을 배우지만, 레벨5 자율주행은 아직 나오지 못하고 있다"고 지적했다.

이어 "언어는 인간 지능의 부산물이지, 핵심 메커니즘이 아니다"며 "진짜 지능은 물리적 세계를 모델링하고 예측하고 그 위에서 행동하는 능력에서 나온다. 그러나 LLM은 사물이 시야에서 사라져도 계속 존재한다는 것을 이해하지 못한다. 세계의 규칙을 피지컬(몸)로 알지 못한다"고 했다.

르쿤은 메타를 떠나 '월드 모델'을 전면에 내세운 새로운 스타트업을 창업할 예정이다.​

이런 흐름 속에 소형언어모델(SLM)도 부상하고 있다.세계 최대 개발자 오픈소스 플랫폼 허깅페이스에 등록된 AI 모델 70%가 30억 파라미터 미만이고, 과반(52%)은 10억 파라미터 미만으로 나타났다.

르쿤은 5년~10년 내 AGI(범용인공지능) 프로토타입이 등장할 것으로, 수츠케버는 인간 수준 시스템이 5년~20년 내 도래할 것으로 각각 전망했다.

ideaed@news1.kr