카카오(035720)가 자체 개발한 AI 모델 카나나(Kanana)의 경량 언어모델(SLM)을 오픈소스로 공개해 AI 업계 기여에 나섰다.

카카오는 28일 허깅페이스(Hugging Face)에 스마트폰 등과 같은 디바이스에서 구동할 수 있는 경량 언어모델(SLM) △Kanana-2-1.3B-base △Kanana-2-1.3B-instruct △Kanana-2-3B-base △Kanana-2-3B-instruct 4종을 오픈소스로 공개했다.

카카오 관계자는 "이번에 공개한 모델들은 작은 크기에도 불구하고 한국어와 영어 모두에서 글로벌 수준의 성능을 구현한 것이 특징"이라며 "유사 크기의 최신(SOTA) 오픈소스 모델 대비 한국어, 영어, 지식, 수학, 코드 등 대부분의 대표 벤치마크에서 우수한 성능을 기록했다"고 설명했다.

특히 오픈소스로 공개한 Kanana-2-1.3B-instruct와, 함께 개발한 더 작은 사이즈의 Kanana-2-0.9B-instruct는 대화, 지식, 코드, 수학, 지시이행, 툴 호출 등 실제 서비스 활용 역량에서도 큐웬(Qwen), 젬마(Gemma) 등 동급 글로벌 모델과 비교해 경쟁력 있는 성능을 보였다.

또 카카오가 자체 개발한 한국어 특화 토크나이저(Tokenizer)를 적용해 기존 대비 한국어 처리 효율을 30% 이상 개선했다. 토크나이저란 AI 모델이 텍스트를 처리할 때 문장을 잘게 쪼개는 단위를 결정하는 핵심 기술이다. 카카오는 지난해 개발 완료한 한국어 특화 토크나이저를 이번 모델 전반에 적용해 성능과 비용 경쟁력을 동시에 확보했다.

이와 함께 긴 대화를 처리할 때 메모리 사용량이 급격히 늘어나는 문제를 해결하기 위해 '슬라이딩 윈도우 어텐션'(Sliding Window Attention) 구조를 도입했다. 최대 3만 2000 토큰(약 2만 4000단어) 길이 수준의 대화에서도 메모리를 최대 72.7%까지 절감하면서 안정적인 성능을 유지할 수 있다.

카카오는 이번 모델을 상업적 활용까지 허용한다. 개발자, 스타트업, 연구기관 등 누구나 별도의 제약 없이 기술을 활용할 수 있다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "에이전틱 AI 시대를 준비하며 클라우드의 대규모 AI와 온디바이스 경량 AI 모두의 중요성을 체감하고 있다"며 "카카오는 두 영역에서 기술 경쟁력을 높여가고 있으며, 이번 오픈소스 공개 모델들이 더 많은 개발자와 기업의 새로운 AI 서비스 개발로 이어져 국내 AI 생태계 활성화에 기여할 수 있기를 바란다"고 말했다.

Kris@news1.kr