글로벌 평가기관이 동일한 기준으로 국내 AI 모델을 비교했다는 점에서 의미가 있지만, AAII 점수만으로 모델의 종합적인 경쟁력이나 실제 활용 능력을 판단하기에는 한계가 있다는 지적도 나온다.
특히 AI가 단순 질의응답을 넘어 복잡한 업무를 스스로 수행하는 에이전트 AI로 발전하면서 기존 벤치마크가 실제 업무 능력을 얼마나 반영할 수 있는지가 새로운 평가 과제로 떠오르고 있다.
13일 글로벌 AI 분석기관 아티피셜 애널리시스(Artificial Analysis)가 공개한 ‘Artificial Analysis Intelligence Index(AAII) v4.1.1’에 따르면 모티프의 Motif 3는 47점을 기록했다.
업스테이지의 ‘Solar Open 2 250B’가 37점으로 2위, SK텔레콤의 ‘A.X K2’가 35점으로 3위, LG AI연구원의 ‘K-EXAONE 2.0 0803’이 31점으로 뒤를 이었다.
AAII는 수학·과학·코딩·추론 등 여러 분야의 평가 결과를 종합해 AI 모델의 성능을 하나의 점수로 보여주는 지표다. 이번 평가에는 금융 업무, 코딩, 과학·수학 문제, 장문 추론, 정보 정확성 등을 평가하는 9개 항목이 활용됐다.
모티프3는 글로벌 대규모언어모델(LLM) 가운데 10위, 오픈웨이트 모델 가운데 4위에 올랐다. 특히 금융 업무를 수행하는 AI 에이전트와 코딩 능력을 평가하는 일부 항목에서 강점을 보였다.
모티프는 이날 Motif 3의 모델 가중치뿐 아니라 학습 코드와 라이브러리까지 공개하며 모델 생태계 확대에도 나섰다.
◇AAII 25점 반영…독파모 최종 순위와는 별개
이번 결과가 주목받는 이유는 과학기술정보통신부의 독파모 3차 평가와 직접 연결되기 때문이다.
3차 평가에서는 LG AI연구원, 업스테이지, SK텔레콤, 모티프테크놀로지스 등 4개 기업 가운데 1곳이 탈락한다.
독파모 평가에서 벤치마크 영역은 총 40점으로, 이 가운데 AAII가 25점, 한국지능정보사회진흥원(NIA)의 자체 벤치마크가 15점을 차지한다. 나머지 60점은 전문가 평가 35점과 사용자 평가 25점으로 구성된다.
AAII가 전체 평가의 25%를 차지하는 만큼 이번 점수 차이가 최종 결과에 상당한 영향을 미칠 수 있다. 하지만 AAII가 독파모 최종 순위를 결정하는 것은 아니다.
특히 NIA의 비공개 평가와 전문가·사용자 평가가 남아 있어 AAII 순위가 독파모 최종 순위와 반드시 일치한다고 볼 수 없다.
◇“AAII, 에이전트 AI 실제 업무 능력 평가엔 한계”
이번 결과를 놓고 전문가는 AAII의 유용성을 인정하면서도 평가 방식의 한계를 지적했다.
국가 AI전략위원회 기술혁신·인프라 분과 한 위원은 “아티피셜 애널리시스(Artificial Analysis) 같은 평가는 여러 모델의 성능을 빠르게 비교할 수 있다는 점에서 의미가 있다”면서도 “현재의 평가 방식만으로 에이전트 AI의 실제 업무 수행 능력을 모두 평가하기에는 한계가 있다”고 말했다.
AI가 단순히 질문에 답하는 수준을 넘어 여러 차례 대화를 이어가고 웹사이트나 참고자료를 찾아 정보를 확인한 뒤 실제 업무를 수행하는 단계로 발전하고 있다는 이유에서다.
그는 “에이전트 AI는 하나의 업무를 수행하는 과정에서도 여러 단계의 추론과 실행이 필요하다”며 “기존 벤치마크만으로는 이런 복합적인 능력을 충분히 평가하기 어렵다”고 설명했다.
실제 업무 수행 능력을 평가하려면 문제 해결 과정 전체를 확인해야 하는 만큼 평가에 필요한 시간과 비용도 커진다. 이 때문에 현재는 여러 모델의 성능을 빠르게 비교할 수 있는 기존 벤치마크가 널리 활용되고 있지만, 실제 AI 서비스 환경과는 차이가 있을 수 있다는 설명이다.
다만 “AAII가 의미 없는 지표라는 것은 아니다”라며 “여러 모델의 성능을 동일한 기준에서 비교할 수 있다는 점에서 유용하지만, 에이전트 AI 시대의 모델 성능을 보여주는 유일한 지표로 봐서는 안 된다”고 말했다.
◇업스테이지·SKT “단일 지표로 모델 완성도 판단 어려워”
AAII에서 모티프에 뒤진 업스테이지와 SK텔레콤 역시 AAII 점수만으로 모델의 완성도를 판단해서는 안 된다는 입장이다. LG AI연구원은 별도 입장을 내지 않았다.
SK텔레콤은 “AAII는 독파모 평가 기준의 일부이며 전문가 평가와 사용자 평가도 남아 있다”며 “단일 지표만으로 모델의 완성도를 대표하기 어렵다는 점을 고려해 달라”고 밝혔다.
이어 “모델의 경쟁력은 지표뿐 아니라 실제 활용 환경에서의 성능·비용·안정성이 함께 평가돼야 한다”며 “지표상 보완이 필요한 영역은 개선하면서 실제 사용 환경에서의 성능 향상도 병행할 계획”이라고 밝혔다.
업스테이지 역시 “AAII 벤치마킹 결과가 의미 없는 것은 아니지만 이를 모델 성능의 절대적인 기준으로 봐서는 안 된다”고 말했다.
◇‘AAII 1위’가 독파모 최종 1위로 이어질까
이번 AAII 결과는 국내 AI 모델을 동일한 글로벌 기준에서 비교했다는 점에서 의미가 있다. 특히 모티프3가 글로벌 모델들과 비교해 높은 점수(10위)를 기록하면서 국내 AI 업계에서도 주목할 만한 성과로 평가된다.
하지만 AAII 점수만으로 모델의 종합적인 경쟁력을 판단하기에는 분명한 한계가 있다. AAII는 여러 평가 결과를 하나의 점수로 종합하는 지표인 만큼 어떤 평가 항목을 포함하느냐에 따라 결과가 달라질 수 있다. 한국어 능력이나 특정 산업의 업무 수행 능력, 실제 서비스에서의 비용·속도·안정성 등도 점수 하나로 충분히 보여주기 어렵다.
실제 아티피셜 애널리시스도 종합 지능 지수 외에 모델의 응답 속도, 사용 비용, 코딩 에이전트 성능 등 다양한 지표를 별도로 제공하고 있다. 하나의 종합 점수만으로 AI 모델의 모든 경쟁력을 설명하기 어렵다는 의미다.
현재 확인된 글로벌 평가 순위는 모티프 1위, 업스테이지 2위, SK텔레콤 3위, LG AI연구원 4위다. 그러나 이 순위가 곧 독파모 최종 순위를 의미하는 것은 아니다.
AAII 25점에 NIA 평가 15점, 전문가·사용자 평가까지 더해지는 만큼 최종 결과에서 순위가 달라질 가능성도 있다.
이번 AAII 결과는 국내 AI 모델의 상대적인 성능을 가늠할 수 있는 중요한 참고 지표라는 의미가 크다. 다만 AI가 실제 산업과 서비스 현장에서 활용되기 위해서는 벤치마크 점수뿐 아니라 업무 수행 능력과 비용, 속도, 안정성 등을 함께 살펴봐야 한다.
독파모 3차 평가의 최종 관전 포인트 역시 ‘AAII 1위가 누구냐’를 넘어 글로벌 벤치마크 성적과 실제 AI 활용 능력을 어떻게 종합적으로 평가할 것인지에 맞춰질 전망이다.
