[이데일리 김현아 기자] 과학기술정보통신부의 독자 AI 파운데이션 모델(독파모) 2차 평가 결과가 임박했다.

4개 모델 가운데 1곳을 탈락시키고 3개 모델을 최종 선정하는 이번 평가에서 글로벌 AI 평가기관 아티피셜 애널리시스(Artificial Analysis·AA) 종합지표 1위를 차지한 모티프의 최종 3개 모델 진입 여부에 관심이 쏠린다.

다만 모티프의 최종 1위 여부는 별개의 문제다. 글로벌 벤치마크에서는 경쟁 모델을 크게 앞섰지만 실제 서비스 환경에서 요구되는 사용성, 한국어 완성도, 일반 대화 능력 등에서는 경쟁 모델들이 상대적으로 강점을 보일 수 있기 때문이다.

모티프3는 AA의 인공지능 종합지표인 AAII에서 47점을 받아 업스테이지(37점), SK텔레콤(35점), LG AI연구원(31점)을 앞섰다. 특히 실제 업무 수행 능력을 평가하는 GDPval-AA, 금융 도구 활용 능력을 보는 τ³-Banking, 개발·코딩 능력을 평가하는 Terminal-Bench 등 9개 세부 평가 가운데 6개에서 1위를 기록했다. 코딩과 에이전트 기반 업무 수행 등 실무 영역에서도 경쟁력을 보였다는 평가다.

이에 따라 업계에서는 모티프의 최종 3개 모델 진입 가능성을 높게 보고 있다. 다만 데이터 학습량 부족에 따른 사용성 문제가 변수로 작용해 최종 1위는 쉽지 않을 것이라는 전망도 나온다.

◇벤치마크의 역설…‘실전 사용성’이 최종 순위 가른다

이번 독파모 평가에서 벤치마크 비중은 전체 100점 가운데 40점이다. AAII 25점, 한국지능정보사회진흥원(NIA) 자체 벤치마크 15점이며 나머지는 전문가 평가 35점과 사용자 평가 25점이다. AAII 점수 격차가 최종 결과에 그대로 반영되지 않는 구조다.

실제 앞선 평가에서는 모델의 사용성 문제가 논란이 됐다. 지난 7월 모티프 공개 베타 모델에서는 애국가 가사 중 ‘길이 보전하세’를 ‘길이 보전hase’로 표기하거나 일부 가사에 의미 없는 영단어가 섞여 나오는 사례가 확인됐다. 애국가 4절에서도 오류가 이어졌다.

업스테이지의 ‘솔라 오픈 2 베타’에서도 공개 테스트에서 애국가 오류가 확인됐다. ‘애국가 4절 제창’을 요청하자 실제 애국가와 무관한 내용을 새로운 가사처럼 생성했다. 단순한 단어 오류를 넘어 질문 의도를 잘못 이해하고 사실과 다른 내용을 생성했다는 점에서 논란이 됐다.

두 사례는 글로벌 벤치마크 성적이 실제 서비스에서의 한국어 정확성·사실성과 반드시 비례하지 않는다는 점을 보여준다. 이번 평가에서도 실사용 안정성이 주요 변수가 될 전망이다.

◇벤치맥싱·데이터 논란…‘점수’보다 평가 공정성이 변수

벤치마크를 둘러싼 공정성 논란도 변수다. 특정 테스트셋이나 평가 방식에 맞춰 모델을 과도하게 최적화하는 이른바 ‘벤치맥싱’ 문제다.

최근 온라인에서는 LG AI연구원의 K-엑사원이 특정 한국어 테스트셋을 겨냥해 튜닝됐다는 주장이 제기됐다. 다만 온라인에서 제기된 주장으로, 모델 개발 과정의 부정행위를 의미하는 것은 아니다.

모티프 역시 AAII 관련 데이터셋 구매 논란이 불거졌다. 모티프 측은 구매 사실은 인정하면서도 평가 점수를 높이기 위한 이른바 ‘과외’를 받은 것은 아니며 해당 데이터셋이 필요 없는 여러 항목에서 고르게 높은 성적을 거둔 만큼 문제 없다는 입장이다.

◇독파모 이후가 진짜 승부…프론티어 AI로 직행하나

업계의 시선은 2차 평가 결과를 넘어 ‘독파모 이후’로 향하고 있다. 정부가 최종 3개 모델을 선정한 뒤 추가 선발 없이 내년부터 프론티어급 AI 개발 프로젝트로 직행할 가능성이 거론되면서다.

업계 고위 관계자는 “과학기술정보통신부가 3개 모델을 선정한 뒤 추가 선발 없이 프론티어급으로 넘어가는 방향으로 들었다”며 “내년에 별도 프로젝트를 띄울지, 선정된 3개사를 중심으로 갈지는 고민이 필요한 부분”이라고 전했다.

최종 3개 모델에는 GPU 1000장 지원 등 컴퓨팅 자원과 정부 R&D 지원이 이어질 가능성이 크다. 다만 프론티어 AI는 컴퓨팅뿐 아니라 클라우드·반도체·데이터·서비스 역량이 필요한 만큼 최종 3개사와 탈락 기업, 관련 산업을 아우르는 개방형 협력 생태계가 필요하다는 지적도 나온다.

◇‘모두의AI’까지…모델 넘어 생태계 경쟁

정부의 AI 정책이 단일 모델을 넘어 멀티모델·멀티에이전트 구조를 지향하는 ‘모두의AI’로 확장되면서 생태계 경쟁도 본격화할 전망이다. AI 모델 기업과 통신·플랫폼 기업 간 컨소시엄 경쟁이 예상되는 가운데 모티프는 KT 컨소시엄에 모델 개발사로 참여하기로 한 상태다.

정부 지원이 프론티어 AI와 모두의AI로 이어지면서 경쟁의 축도 모델 성능에서 컴퓨팅·서비스·인재 확보전으로 확대될 전망이다.

2차 평가에서는 AAII 1위 모티프가 실사용성과 한국어 능력까지 입증하며 최종 3개사에 안착할지, AAII용 학습데이터를 구매하지 않은 것으로 확인된 SK텔레콤(017670)과 LG(003550) AI연구원이 막판 경쟁에서 살아남을지가 관심이다. 벤치마크 성능을 실제 서비스 경쟁력으로 전환하고 GPU·인재·생태계를 확보하는 기업이 독파모 이후 국내 AI 주도권을 쥘 전망이다.