국가대표 AI를 선발하는 정부의 '독자 파운데이션 모델'(AI) 프로젝트에서 정부가 평가 기준에 공통 벤치마크 외에 개별 벤치마크 점수를 넣었다.

13일 AI 업계에 따르면 과학기술정보통신부는 네이버클라우드·업스테이지·SK텔레콤·NC AI·LG AI연구원 등 5개 정예팀의 1차 평가에서 공통 벤치마크가 아닌 개별 벤치마크 기준을 도입했다.

현재 과기정통부가 선발한 전문 심사위원단은 지난 5일부터 5개 정예팀의 AI 모델의 1차 평가를 진행 중이다.

당초 심사위원단은 객관적인 모델 평가를 위해 표준화된 공통 벤치마크를 통한 AI 모델 성능 검증을 진행할 예정이었다. 결과적으로 공통 벤치마크외에 업체별 개별 벤치마크 2개씩을 선택해 평가하는 것으로 확정됐다.

이를 두고 과기정통부 관계자는 "5개 기업간 사업 목표 및 추구하는 모델들이 달라서 협의해서 조금씩 다른 평가 방식을 도입했다"면서도 "기업별로 어떤 개별 벤치마크를 선택해 평가에 반영하는지는 현재는 공개적으로 밝히기 어렵다"고 말했다.

현재 5개 정예팀 중 네이버클라우드 한 곳만 '옴니모달' AI 모델을 개발 중이다. 네이버클라우드 측은 그간 일반적인 대형언어모델(LLM)과 옴니모달 모델을 같은 잣대로 평가하는 것이 불합리하다는 목소리를 내온 것으로 전해졌다.

다만 5개 정예팀 중 과반은 개별 벤치마크 도입을 반대한 것으로 알려졌다.

한 업계 관계자는 "일부 정예팀에서는 강한 반대 의견도 냈지만 결국 개별 벤치마크 평가 기준이 도입된 걸로 안다"고 말했다.

한편 과기정통부는 심사위원단의 평가를 오는 15일 중 마무리할 계획이다. 결과 발표는 평가 종료 후 조속한 시일 내에 하겠다는 방침이다.

Kris@news1.kr