2일 오후 서울 강남역 인근에서 열린 공개 검증회에서 김성훈 업스테이지 대표는 “솔라 모델은 바닥부터 직접 학습시킨 ‘프롬 스크래치(From Scratch)’ 모델”이라며 의혹을 제기한 사이오닉AI 고석현 대표 측에 공식적인 사과를 요구했다. 이날 검증회는 온라인 생중계로도 진행되었으며, 한때 2000명에 가까운 시청자가 접속해 뜨거운 관심을 증명했다.
김성훈 업스테이지 대표가 2일 강남오피스에서 업계 및 정부 관계자 70여 명 대상으로 현장 설명을 하고 있다(사진=윤정훈 기자)
김성훈 대표는 발표 시작과 함께 ‘가중치(Weight·웨이트)’의 중요성을 강조했다. 그는 “프롬 스크래치 여부를 가르는 결정적 잣대는 모델의 가중치가 랜덤하게 초기화된 상태에서 학습을 시작했느냐는 점”이라며 “남의 집 웨이트를 한 조각이라도 가져왔다면 그것은 독자 모델이 아니지만, 솔라는 처음부터 우리만의 방식으로 구워낸 모델”이라고 설명했다.
그는 이를 증명하기 위해 모델 학습의 ‘육아일기’라고 할 수 있는 ‘체크포인트(Checkpoints)’와 ‘원DB(WandB)’ 로그를 전격 공개했다. 9월 초 학습 시작 단계부터 500~5000스텝마다 기록된 학습 로그에는 로스(Loss) 값이 떨어지고 지능(MMLU 성능)이 올라가는 과정이 담겨있다
김 대표는 “GPU 자원을 활용해 마지막 1분까지 사력을 다해 학습시킨 기록이 여기 있다”며 “누구든 원한다면 모든 체크포인트를 직접 점검할 수 있도록 개방하겠다”고 덧붙였다.
◇“레이어놈 유사성은 통계적 착시... 지표 선택부터 잘못됐다”
고석현 대표가 제기한 ‘레이어놈(LayerNorm) 유사성 0.989’에 대해서는 기술적 반박을 이어갔다.
김 대표는 “레이어놈은 모델 전체 파라미터 중 0.000397%에 불과한 연결고리일 뿐이며, 대부분 양수 값을 가지는 특성상 코사인 유사도를 쓰면 어떤 모델과 비교해도 높게 나온다”고 설명했다.
실제 현장에서 라마(Llama)나 파이(Phi) 등 타 모델과 비교했을 때도 유사한 수치가 도출되는 것을 시연하며, 고 대표의 분석이 ‘통계적 착시’에 기반했음을 증명했다.
그는 “피어슨 상관계수(Pearson Correlation)로 분석하면 솔라와 중국 GLM 모델의 유사도는 -0.163에 불과해 사실상 상관관계가 없다”며 “가장 결정적이라고 주장했던 레이어 0번 비교 역시, 학습 과정에서 가장 변동성이 큰 레이어 하나만을 샘플링해 비교한 명백한 지표 오류”라고 강조했다.
김성훈 업스테이지 대표가 2일 강남오피스에서 업계 및 정부 관계자 70여 명 대상으로 현장 설명을 하고 있다(사진=윤정훈 기자)
김 대표는 중국 지푸AI(ZhipuAI) GLM 모델과 토크나이저(사전)가 유사하다는 지적에 대해 정면 반박했다.
그는 “단어를 숫자로 바꾸는 사전인 토크나이저는 독립적으로 만들어도 60~70%가 겹치는 게 일반적”이라며, “솔라(196K)와 GLM(151K)의 보캡(단어) 겹침은 40% 수준에 불과하다”고 밝혔다.
이어 “표준 백과사전과 동아 백과사전의 단어가 겹친다고 해서 베꼈다고 하지 않듯, 솔라의 토크나이저는 완전히 새로 구축된 것”이라며 “오히려 유사도가 낮은 것은 우리만의 독창적인 데이터 정제 과정을 거쳤다는 증거”라고 설명했다.
◇“GPT OSS 참고했지만 구조는 상이... 빌딩 설계가 다른 것”
모델 아키텍처 설계에 대한 논리도 명확히 했다. 김 대표는 “솔라 개발 초기, 글로벌 스탠다드인 ‘GPT OSS 120B’를 참고한 것은 사실”이라면서도, “그 설계도를 그대로 쓴 것이 아니라 한국 실정과 효율성에 맞게 완전히 재설계했다”고 밝혔다.
그는 “GPT OSS에는 없는 ‘쉐어드 레이어’를 추가해 학습 안정성을 높였고, 중국 GLM에 있는 ‘댄스 레이어’는 비효율적이라 판단해 과감히 제거했다”고 설명했다. 이어 “빌딩으로 비유하자면 같은 네모 형태라 해도 층수가 다르고 내부 방 구조와 복도 너비가 완전히 다른 것과 같다”며, “표준 아키텍처를 참고하되 실험을 통해 최적의 효율을 찾아낸 만큼 학계에서도 이를 상이한 구조로 보는 것이 정설”이라고 덧붙였다.
김성훈 업스테이지 대표가 2일 강남오피스에서 업계 및 정부 관계자 70여 명 대상으로 현장 설명을 하고 있다(사진=윤정훈 기자)
논란이 됐던 중국 지푸AI(ZhipuAI) 저작권 병기에 대해서는 ‘실무적 실수’임을 인정하면서도 사안의 본질과는 무관하다고 선을 그었다.
김 대표는 “인퍼런스(추론) 코드는 모델의 가중치만 있으면 누구나 새로 짤 수 있는 ‘그릇’과 같은 것”이라며 “12월 31일이라는 국가 과제 마감 기한에 맞춰 모델 학습(알맹이)에 모든 GPU 역량을 쏟다 보니, 편의를 위해 제공한 추론 코드 라이선스를 꼼꼼히 살피지 못했다”고 해명했다.
이어 “허깅페이스 생태계에서 표준화된 코드를 참고하고 수정하는 것은 오픈소스의 관행이며, 이를 뒤늦게 바로잡는 과정에서 원저작자를 명시한 것일 뿐”이라며 “이것이 모델 자체가 중국산이라는 증거가 될 수는 없다”고 못 박았다.
김 대표는 이번 사태가 대한민국 AI 생태계의 건강한 발전을 저해할 수 있다는 우려를 표했다. 그는 “이미 깃허브에서 리포트를 내린 것으로 아는데 그 자체가 메시지가 된다”면서 “이런 이슈가 해결하지 못했을 때 정부 심사에 상당한 영향을 끼칠 수 있다. 공개 사과를 해주시기를 부탁드린다”고 강조했다.
정부 과제 요건 충족에 대해서도 김 대표는 “당연히 요건을 만족하며, 정부와 전문가들이 공정하게 판단해 줄 것”이라며 자신감을 내비쳤다. 업스테이지는 오는 4일 벤치마크 등 상세한 기술 리포트를 추가로 발표하고, 솔라 모델의 성능 지표를 공식 업데이트할 예정이다.
