자사가 제출한 ‘모티프 3’가 글로벌 AI 모델 종합 성능지표인 AAII(Artificial Analysis Intelligence Index)에서 참여 기업 가운데 가장 높은 47점을 기록하고도 최종 평가에서는 가장 낮은 점수를 받아 탈락했다는 점을 문제 삼았다. 평가 결과와 세부 기준을 공개하고 재심의해 달라는 요구다.
단순한 탈락 결과 불복이 아니다. 독파모 사업이 당초 목표인 ‘글로벌 프론티어급 AI 모델 개발’에 맞게 평가되고 있는지, 또 글로벌 AI 모델 경쟁에서 벤치마크와 모델 성능을 어느 정도 비중으로 봐야 하는지 공개적으로 재논의해야 한다는 것이 모티프 측의 주장이다.
모티프테크놀로지스는 27일 임정환 대표이사 명의의 입장문을 내고 “이날 독파모 2차 단계 선정 결과와 관련해 정식으로 이의제기를 신청했다”며 “이번 이의제기는 모티프가 선정돼야 한다는 주장만을 위한 것이 아니라 독파모가 무엇을 위한 사업인지 합의를 이끌어내고 앞으로 개선할 방향을 찾기 위한 것”이라고 밝혔다.
다만 이의제기 결과와 관계없이 독파모 3차 평가에는 참여하지 않겠다고 선언했다.
임정환 모티프테크놀로지스 대표
모티프테크놀로지스가 문제 삼는 첫 번째 지점은 객관적 성능지표와 최종 평가 결과의 큰 차이다.
모티프테크놀로지스가 이번 평가를 위해 제출한 모티프 3는 AAII에서 47점을 기록했다. 이는 글로벌 AI 모델 업체 기준 10위 수준이며, 미국과 중국 업체를 제외하면 가장 높은 수준이라는 게 회사 측 설명이다.
독파모에 제출된 다른 모델의 AAII 점수는 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이었다.
모티프테크놀로지스는 “모티프 3는 글로벌 시장에 내놓을 수 있는 경쟁력을 입증한 성과”라며 “과학기술정보통신부 역시 지난 25일 국무회의 대통령 보고에서 독파모 모델이 AAII 47점을 기록한 성과를 글로벌 AI 3강 목표와 함께 강조했다”고 밝혔다.
그러나 지난 18일 발표된 독파모 2차 평가에서 모티프테크놀로지스는 가장 낮은 점수를 받아 탈락했다.
회사는 당초 평가 결과 자체는 존중하고 받아들였다고 밝혔다. 하지만 이후 정부가 언론을 통해 모티프 3가 벤치마크 점수는 높지만 전문가 평가와 사용자 평가에서는 낮은 평가를 받았다는 취지로 설명하면서 문제의식을 갖게 됐다는 것이다.
모티프테크놀로지스는 “AAII에서 47점과 31점이라는 상당한 성능 차이가 있었는데 전문가 평가와 사용자 평가를 거치면서 반대 결과가 나왔다면 그 이유를 기업과 업계가 납득할 수 있도록 구체적으로 설명해야 한다”고 밝혔다.
◇“벤치마크 비중 낮출 게 아니라 실제 성능 차이 반영해야”
모티프테크놀로지스는 독파모 평가에서 벤치마크 점수를 반영하는 방식 자체도 문제 삼았다.
현재 독파모 2차 평가 배점은 100점 만점으로 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성된 것으로 알려졌다. 벤치마크 평가는 AAII 25점과 NIA 평가 15점으로 나뉜다.
모티프테크놀로지스는 현행 배점 산정 방식이 모델 간 실제 성능 차이를 충분히 반영하지 못한다고 주장했다.
글로벌 1위 모델의 AAII 점수인 63점을 25점 만점으로 환산하면 15.75점에 불과하고, 독파모 참여 모델 가운데 1위인 47점과 4위인 31점의 차이 역시 최종 배점으로는 4점 차이로 축소된다는 것이다.
모티프테크놀로지스는 “실제 성능 차이를 반영하는 방식이 충분히 검토되지 않은 상태에서 벤치마크 비중 자체를 낮추는 것은 바람직하지 않다”며 “글로벌 AI 업계에서 널리 활용되는 벤치마크의 중요성을 유지하면서 배점 산정 과정에서 실제 성능 차이가 보다 적절하게 반영돼야 한다”고 주장했다.
AAII가 단순한 하나의 벤치마크가 아니라 글로벌 AI 업계에서 널리 활용되는 9개 대표 벤치마크를 취합한 종합 성능지표라는 점도 강조했다.
모티프테크놀로지스는 “AAII가 모든 측면을 완벽하게 평가하는 절대 기준은 아니지만 복수의 글로벌 벤치마크를 종합한 지표인 만큼 참여 모델 간 성능 차이를 판단하는 중요한 참고 기준으로 충분히 고려돼야 한다”고 밝혔다.
◇“전문가 평가에서 무엇을 봤는지 공개해야”
전문가 평가에 대해서는 평가 기준과 항목별 결과를 상세히 공개해야 한다고 요구했다.
전문가 평가는 개발 전략 및 기술 10점, 개발 성과 및 계획 10점, 파급효과 및 기여계획 15점 등 총 35점으로 구성된 것으로 알려졌다.
모티프테크놀로지스는 “기술력과 개발 성과가 전문가 평가에서 상당한 비중을 차지하는데 벤치마크 점수가 가장 낮은 모델이 전문가 평가에서 높은 점수를 받았다면 어떤 기술적 판단이 작용했는지 설명할 필요가 있다”고 주장했다.
특히 “낮은 모델 성능에도 불구하고 파급효과와 국가 기여 가능성을 높게 평가한 것이라면 그 판단 근거 역시 공개해야 한다”고 밝혔다.
회사 측은 전문가 평가 과정에서 컨소시엄 주관기업이나 참여기업에 외국계 자본 또는 해외 법인이 의결권 있는 주요 주주로 참여하고 있는지 묻는 질문도 받았다고 주장했다.
모티프테크놀로지스는 “전문가 평가의 기술적 기준과 어떤 연관성이 있는지 이해하기 어려운 질문이었다”며 “해당 질문이 어떤 평가 목적과 기준에 따라 활용됐는지도 밝혀야 한다”고 요구했다.
이에 따라 전문가 평가의 세부 평가 기준과 항목별 평가 내용, 업체별 결과를 공개해 달라고 요청했다.
◇“사용자 평가, 대기업 브랜드가 영향을 미치지 않았나”
사용자 평가의 공정성도 이의제기의 핵심 쟁점이다.
모티프테크놀로지스는 평가에 앞서 사용자 평가를 블라인드 방식으로 진행해 달라고 요청했다고 밝혔다.
유명 대기업과 상대적으로 인지도가 낮은 스타트업이 개발한 모델을 일반 사용자가 평가할 경우 개발사를 사전에 인지하면 브랜드 인지도나 선입견이 결과에 영향을 미칠 가능성을 배제하기 어렵다는 이유다.
모티프테크놀로지스는 “AAII 벤치마크에서 나타난 성능 차이가 일반 사용자 평가에서 크게 달라졌다면 어떤 평가 방식과 조건이 이런 결과에 영향을 미쳤는지 납득할 수 있는 설명이 필요하다”고 주장했다.
또 사용자 평가의 세부 결과는 단순히 선정과 탈락을 가르는 자료에 그쳐서는 안 되며 참여 기업이 모델의 사용성을 개선할 수 있는 실질적인 피드백으로 제공돼야 한다고 강조했다.
이에 따라 사용자 평가의 방법론과 세부 기준, 평가 환경, 업체별 평가 결과를 공개해 달라고 요청했다.
◇“독파모 목표는 글로벌 프론티어 95%…지금 성능에 안주할 때 아니다”
이번 이의제기에는 독파모 사업의 방향에 대한 문제제기도 담겼다.
모티프테크놀로지스는 파운데이션 모델의 가치를 단순한 챗봇 사용성으로만 판단해서는 안 된다고 주장했다. 여러 산업과 서비스로 확장할 수 있는 모델의 기반 성능이 우선돼야 한다는 것이다.
모티프테크놀로지스는 “독파모의 당초 목표는 한국이 독자적인 기술로 글로벌 경쟁력을 갖춘 프론티어급 파운데이션 모델을 개발·확보하는 것이며 정부가 제시한 목표 역시 글로벌 프론티어 모델 대비 95% 수준의 성능이었다”고 밝혔다.
글로벌 프론티어 모델의 AAII 점수가 63점인 점을 감안하면 모티프 3의 47점도 아직 75% 수준에 불과하다는 설명이다.
회사는 “현재 한국 모델의 성능이 이미 충분하다고 보고 평가의 중심을 사용성으로 옮기는 것은 시기상조”라며 “글로벌 선도권에 한시라도 빨리 다가가기 위해 더 큰 투자와 노력이 필요한 시점”이라고 주장했다.
이어 “현재 성능에 안주하기보다 모델의 본질적인 성능을 높이는 것이 독파모 사업의 당초 목표에 더 부합한다”며 “3차 평가에서 벤치마크 비중을 낮추는 방향이 과연 사업의 본래 목적과 맞는지 다시 검토해야 한다”고 했다.
◇“탈락 번복 위한 이의제기 아니다…3차 불참”
모티프테크놀로지스는 이번 이의제기가 단순히 자신들의 탈락 결과를 뒤집기 위한 것이 아니라는 점을 거듭 강조했다.
임정환 모티프테크놀로지스 대표는 “이번 이의제기를 통해 독파모가 무엇을 위한 사업인지에 대한 합의를 이끌어내고 경쟁 업체들이 모두 납득할 수 있는 개선 방향을 찾기를 바란다”며 “국가 사업의 방향이 글로벌 AI 모델 산업의 발전 방향과 조화를 이루고 추진 과정 역시 투명하고 공정하게 이뤄져야 한다”고 밝혔다.
회사는 이의제기 결과와 무관하게 독파모 3차 평가에는 참여하지 않겠다고 선언했다.
임 대표는 “독파모 2차를 통해 기술력을 시험할 기회를 준 정부에 감사한다”며 “앞으로는 스스로의 힘으로 한국에서 가장 우수한 프론티어 모델을 만들고 글로벌 경쟁에서 이길 수 있는 팀이라는 것을 증명하겠다”고 말했다.
이어 “전 세계를 선도하는 프론티어 모델 업체의 절대다수는 스타트업”이라며 “모티프테크놀로지스도 당당히 그중 하나가 되겠다”고 강조했다.
모티프테크놀로지스는 3차 평가에 선정된 기업들에게 축하의 뜻을 전하면서 “앞으로 더 좋은 모델을 만들어 글로벌 AI 3강이라는 목표를 향해 선의의 경쟁을 이어가기를 기대한다”고 밝혔다.
