[이데일리 김현아 기자] 글로벌 벤치마크 기관인 아티피셜 애널리시스의 AI 모델 평가(AAII)에서 국내 1위, 글로벌 10위를 차지했던 모티프테크놀로지스가 독자 AI 파운데이션 모델 프로젝트(독파모) 2차 단계평가에서 탈락한 이유가 구체적으로 공개됐다.

모티프는 글로벌 벤치마크에서는 가장 높은 점수를 받았지만, NIA 벤치마크와 전문가 평가, 실제 사용자 평가에서는 SK텔레콤(017670)과 LG(003550) AI연구원에 밀렸다.

과학기술정보통신부 고위 관계자는 이데일리와의 통화에서 모티프의 탈락과 관련해 “단순히 활용성만 낮았던 것이 아니라 전문성과 사용성 모두에서 전반적으로 점수가 낮았다”며 “성능이 안 나온 것은 사실”이라고 설명했다.

과기정통부는 20일 독파모 2차 단계평가의 세부 평가기준과 항목별 1위 기업을 공개했다. 최근 평가 결과 발표 이후 세부 점수를 공개하지 않아 평가의 투명성을 둘러싼 논란이 일자 1차 단계평가와 같은 수준으로 평가 항목별 1위와 점수를 공개한 것이다.

이번 평가는 총 100점으로 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다.

가장 눈에 띄는 것은 평가 영역별 1위가 달랐다는 점이다. AAII 글로벌 벤치마크는 모티프, NIA 벤치마크와 AI 전문 사용자 평가는 SK텔레콤, 전문가 평가와 일반 국민 평가는 LG AI연구원이 각각 1위를 차지했다.

글로벌 AAII 벤치마크 25점에서는 모티프가 11.9점으로 1위를 차지했다. 반면 NIA 벤치마크 15점에서는 SK텔레콤이 13.4점으로 가장 높았다.

전문가 평가 35점에서는 LG AI연구원이 29.5점으로 1위에 올랐다. AI 전문 사용자 평가 15점에서는 SK텔레콤이 11.6점으로 가장 높았고, 일반 국민 평가 10점에서는 LG AI연구원이 7.6점으로 1위를 기록했다.

모티프가 강점을 보인 것은 글로벌 공개 벤치마크였지만, 국내 자체 벤치마크와 전문가 및 실제 사용자 평가에서는 SK텔레콤과 LG AI연구원이 앞선 것이다.

과기정통부 고위 관게자는 모티프의 평가 결과와 관련해 “활용성 문제가 아니라, 전문성과 사용성 둘 다 좀 안 좋았다”며 “성능이 안 나온 건 사실”이라고 밝혔다.

이는 당초 과기정통부가 모티프 탈락 이유를 설명하면서 ‘활용성’과 ‘실사용성’을 강조했던 것과는 다소 결이 다른 설명이다. 당시 브리핑만 놓고 보면 글로벌 벤치마크에서 높은 성적을 낸 모티프가 기술력보다는 활용성 잣대에서 탈락한 것으로 해석될 여지가 있었지만, 세부 결과를 공개하면서 독파모 전문성 및 사용자 평가에서도 경쟁력이 떨어졌다는 점이 확인된 셈이다.

특히 모티프는 AAII에서 11.9점을 받아 25점 만점 기준 최고점을 기록했지만, NIA 벤치마크에서는 SK텔레콤이 13.4점으로 1위를 차지했다.

NIA 벤치마크는 수학, 지식, 장문 이해, 안전성, 신뢰성, 한국어, 지시이행 등 7개 분야를 평가한다. 글로벌 공개 지표 하나만으로는 포착하기 어려운 국내 환경에서의 모델 성능을 별도로 검증한 것이다.

전문가 평가에서도 모티프는 LG AI연구원에 밀렸다. 전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가가 약 5일간 서면평가와 질의응답을 진행해 개발 전략과 기술, 개발 성과와 계획, 생태계 파급효과 및 기여계획 등을 평가했다.

특히 35점 가운데 10점이 개발 전략 및 기술에 배정됐다. 여기에는 개발 기술의 우수성과 혁신성, 기술적 독자성, 성능 향상 수준, 자원 활용 및 처리 효율성, 안전하고 신뢰성 있는 AI 모델 개발 기술 등이 포함됐다.

나머지 10점은 개발 성과와 계획, 15점은 생태계·글로벌 파급효과에 배정됐다.

LG AI연구원은 이 전문가 평가에서 29.5점으로 1위를 기록했다. 4개 정예팀 평균은 28.75점이었다.

사용자 평가에서도 모티프는 1위를 차지하지 못했다. AI 스타트업 대표 등으로 구성된 AI 전문 사용자 평가에서는 SK텔레콤이 11.6점으로 1위였고, 일반 국민 평가에서는 LG AI연구원이 7.6점으로 가장 높았다.

과기정통부는 사용자 평가에서 단순히 웹사이트의 디자인이나 UI·UX를 평가한 것이 아니라 AI 모델이 생성하는 콘텐츠의 내용과 품질을 중심으로 평가하도록 가이드했다고 설명했다.

AI 전문 사용자 49명과 일반 국민 185명이 실제 AI 서비스를 이용해 절대평가 방식으로 점수를 매겼다.

이 같은 결과는 이번 평가가 특정 벤치마크 성능만으로 최종 순위를 결정하지 않았다는 점을 보여준다. 글로벌 벤치마크에서 모티프가 1위를 차지했더라도 국내 성능 검증, 전문가의 기술·사업성 평가, 실제 사용자 평가를 모두 합산한 최종 결과에서는 탈락할 수 있는 구조였다는 것이다.

과기정통부는 이번 2차 평가에서 독자성 최소기준도 별도로 점검했다. 기술적·정책적·윤리적 측면에서 독자 AI 모델로서의 기준을 충족하는지도 평가 대상에 포함했다.

모티프에 대해서는 신규 참여팀이라는 점을 고려해 생태계 파급효과 평가에서 기존 AI 모델의 현장 확산 실적과 계획까지 포함했다. 기존 3개 정예팀은 독자 AI 모델과 파생모델의 현장 확산 실적·계획을 평가한 반면, 모티프는 기존 AI 모델의 현장 확산 실적과 계획까지 포함해 평가했다는 게 과기정통부 설명이다.

과기정통부 고위 관계자는 “성능이 괜찮았으면 저도 사실 기대를 많이 했다”며 “스타트업이 이렇게 모델을 잘 만들어주면 대기업은 서비스를 하게 하고, 이런 그림을 만들 수 있겠다는 기대감이 있었다”고 말했다.

그러면서 이번 평가에서 모티프의 성능이 당초 기대에 미치지 못했다고 설명했다.

이번 세부 결과 공개로 독파모 2차 평가의 논란도 새로운 국면을 맞게 됐다. 당초 논란은 ‘AAII 1위 모티프가 왜 탈락했느냐’와 ‘정부가 기술력보다 활용성만 평가한 것 아니냐’는 데 집중됐지만, 과기정통부가 공개한 자료를 종합하면 실제 쟁점은 서로 다른 평가에서 강점이 갈린 모델들을 어떤 배점 구조로 종합했느냐로 좁혀진다.

모티프는 글로벌 벤치마크, SK텔레콤은 NIA와 AI 전문 사용자 평가, LG AI연구원은 전문가와 일반 국민 평가에서 각각 1위를 차지했다.

이에 따라 100점 만점의 종합평가에서는 글로벌 벤치마크 성적만으로 최종 생존 여부를 결정하지 않았고, 전문성·실사용성·생태계 파급효과를 함께 평가했다는 것이 과기정통부의 설명이다.

다만 정부가 최초 브리핑에서 모티프의 ‘전문성 및 성능 부족’이라는 핵심 평가 결과를 충분히 설명하지 않으면서 불필요한 오해를 키웠다는 지적은 피하기 어려워 보인다. 이번 세부 결과 공개가 독파모 평가의 신뢰성을 회복하는 계기가 될 수 있을지 주목된다.