김동환 포티투마루 대표가 26일 열린 '2026 ASC 컨퍼런스'에서 발표하고 있다(사진=윤정훈 기자)
포티투마루는 자연어 처리 및 텍스트 분석 기술을 바탕으로 도메인 특화 경량화 거대언어모델(SLM)을 개발하는 AI 전문 기업이다. 한국정보통신기술협회(TTA)의 신뢰성 인증(CAT)과 지능정보산업협회(AIIA)의 ‘AI 마스터’ 인증을 최초로 획득하며 AI 신뢰성 분야를 선도하고 있다.
◇할루시네이션 제어 넘어 ‘라이프사이클 전체’ 검증 체계 구축
김 대표는 생성형 AI가 스스로 계획을 수립하고 실행하는 ‘에이전틱 AI’와 물리적 환경과 상호작용하는 ‘피지컬 AI’로 진화함에 따라 신뢰성 확보의 패러다임이 바뀌어야 한다고 짚었다.
그는 “많은 이들이 AI 신뢰성이라고 하면 단순히 환각(할루시네이션) 현상을 막는 정확도 측면만 생각한다”며 “하지만 에이전트 시대에는 투명성, 책임성, 데이터 관리, 프라이버시, 다양성, 침해 금지 등 두루두루 다각적인 관점에서 접근해야 한다”고 설명했다.
포티투마루가 제시한 신뢰성 확보 전략의 핵심은 AI 모델 개발의 전 주기(라이프사이클)에 걸친 철저한 통제다. 포티투마루는 데이터 구축 단계부터 신뢰성과 윤리적 요소를 검증할 수 있는 시스템을 가동 중이다.
특히 조직 설계 측면에서 개발팀과 별개로 품질 관리를 전담하는 독립적인 ‘QC(Quality Control) 팀’을 구성해 운영하고 있으며, 소스 코드의 버전 관리가 완벽하지 않으면 강제로 릴리즈를 차단하는 엄격한 내부 프로세스를 확립했다. 이에 더해 최종 출시 전 외부 전문가 그룹이 한 번 더 검증하는 다중 필터링 구조와 내부 ‘안전위원회’를 조직해 상시 모니터링 체계를 갖췄다.
◇“글로벌 상호 인정 인증 체계 시급…한국도 글로벌 스탠다드 될 기회”
김 대표는 현재 대한민국 정부와 기관들이 AI 신뢰성 가이드라인이나 체크리스트를 세계 어느 나라보다 잘 마련해 두었음에도 정작 대기업을 포함한 많은 기업이 이를 제대로 인지하지 못하고 있는 ‘홍보 부족’ 문제를 지적했다.
동시에 중소 스타트업들이 개별적으로 AI 신뢰성과 보안을 평가할 수 있는 공통 솔루션이나 툴을 AI안전연구소 등 공공 기관 차원에서 개발해 무상 공유해 줄 것을 건의했다.
가장 강조한 부분은 ‘글로벌 검·인증 스탠다드 선점’이다. 현재 미국 등 북미 시장은 산업 진흥 중심으로, 유럽(EU)은 강력한 규제 중심으로 AI 법제화가 나뉘어 있어 해외 진출을 노리는 국내 기업들이 중복 투자와 인증 비용 부담으로 어려움을 겪고 있다는 지적이다.
김 대표는 “에이전트 AI에 대한 검·인증 체계는 전 세계 어디도 명확한 표준을 정립하지 못하고 있다”며 “우리나라가 관련 체계를 빨리 만든다면 북미나 유럽 등에서 우리나라를 참고하고 벤치마킹할 수밖에 없어 자연스럽게 우리가 글로벌 스탠다드의 일부가 될 수 있다”고 역설했다.
이어 “국가 간 안전성 인증을 서로 인정해 주는 ‘상호 인정 시스템’이 빠르게 마련된다면 국내 스타트업과 대기업들이 글로벌 무대로 뻗어 나가는 데 큰 도움이 될 것”이라고 말했다.
