안전 AI 딥테크 기업 인텔리빅스의 최은수 대표는 12일 서울 중구 대한상공회의소 국제회의장에서 열린 ‘글로벌 인류공영 AI 포럼(GAFH) 2026’ 기조연설에서 이같이 말하며 AI 산업의 핵심 경쟁력이 ‘성능’에서 ‘통제 가능성’과 ‘책임성’으로 이동하고 있다고 강조했다.
이번 포럼은 천지일보 주최로 열렸으며, 글로벌 AI 석학과 산업계 리더들이 모여 AI 기술 발전 방향과 인류 공영을 위한 윤리·제도적 과제를 논의하기 위해 마련됐다.
최은수 인텔리빅스 대표이사. 사진=인텔리빅스
최 대표는 AI가 단순히 정보를 분석하는 단계를 넘어 공장·도시·병원 등 물리적 환경에 직접 개입하는 ‘행동하는 AI(Acting AI)’ 시대로 진입했다고 진단했다.
그는 “과거 분석형 AI의 오류는 잘못된 텍스트나 이미지를 생성하는 수준의 불편함에 그쳤지만, 물리력을 행사하는 AI의 실수는 생명과 직결되는 대형 사고를 초래할 수 있다”며 “AI가 산업 현장에 투입되기 위해서는 반드시 완벽한 비상 스위치(Emergency Switch)를 내장해야 한다”고 말했다.
이어 “전기가 인류 문명을 발전시켰지만 누전 차단기와 절연장치가 없다면 위험한 존재가 되는 것처럼, AI 역시 통제장치 없이는 산업 현장에서 활용될 수 없다”고 설명했다.
◇“95% 정확도 자랑보다 중요한 건 5% 실패 관리”
최 대표는 기업들이 강조하는 ‘95% 정확도’의 한계도 지적했다.
그는 “통제된 실험실 환경에서의 95% 성공률은 수많은 변수가 존재하는 산업 현장에서는 오히려 5%의 치명적 실패를 의미할 수 있다”며 “가장 위험한 것은 AI가 확신에 찬 태도로 완전히 틀린 답을 제시하는 ‘그럴듯한 오류(Plausible Error)’”라고 말했다.
이어 “AI 환각(Hallucination)은 인간의 판단을 마비시키고 기계에 대한 맹신을 유발해 결국 대형 사고와 기업의 법적 책임으로 이어질 수 있다”며 “앞으로 AI 경쟁력의 핵심은 얼마나 높은 정확도를 달성했느냐가 아니라, 실패를 얼마나 안전하게 관리할 수 있느냐에 달려 있다”고 강조했다.
◇데이터 추적부터 인간 통제권까지…‘T.R.U.S.T’ 프레임워크 제안
최 대표는 신뢰 가능한 AI 구현 방안으로 ‘Risk-by-Design(설계 기반 리스크 관리)’ 철학과 ‘T.R.U.S.T 프레임워크’를 제시했다.
T.R.U.S.T는 ▲데이터 추적성(Traceability) ▲위험 설계 차단(Risk-by-Design) ▲인간의 절대적 통제권(User Control) ▲이중 검증 모델(Second Validation) ▲완전한 책임성(Total Accountability) 등으로 구성된다.
그는 “AI 안전성은 문제가 발생한 뒤 보완하는 방식이 아니라 설계 단계부터 내재화돼야 한다”며 “AI가 스스로 판단하더라도 최종 통제권은 반드시 인간에게 남아 있어야 한다”고 설명했다.
◇“AI가 AI를 검증하고, 인간이 최종 결정”
최 대표는 이러한 개념이 적용된 인텔리빅스의 차세대 AI 관제 플랫폼 ‘Gen AMS’도 소개했다.
시각·언어 모델(VLM)을 탑재한 Gen AMS는 단순 경보 발생을 넘어 위험 상황을 자연어로 설명하는 ‘설명 가능한 AI(XAI)’ 기능을 제공한다.
또 AI가 제시한 판단 근거를 인간 운영자가 검토한 뒤 최종 승인하거나 즉시 제어권을 회수할 수 있도록 설계됐다. AI가 AI를 교차 검증하고 인간이 최종 의사결정권을 갖는 구조다.
최 대표는 “AI의 역할은 인간을 대체하는 것이 아니라 인간의 판단을 보조하는 것”이라며 “결국 책임은 인간이 지는 만큼 의사결정 구조 역시 인간 중심으로 설계돼야 한다”고 말했다.
◇“한국, AI 기술보다 ‘AI 신뢰 표준’ 선도해야”
최 대표는 마지막으로 대한민국의 AI 전략 방향에 대해서도 제언했다.
그는 “한국은 범용 거대언어모델(LLM) 경쟁에서는 미국·중국에 비해 후발주자일 수 있지만, 세계 최고 수준의 반도체 생산라인과 제조업, 스마트시티 인프라를 갖춘 국가”라며 “AI가 실제 산업 현장에서 작동하는 물리적 환경에서는 세계 최고 수준의 테스트베드를 보유하고 있다”고 평가했다.
이어 “국가 차원에서 산업별 예외 상황 데이터를 체계적으로 축적하고 안전 기준을 마련해야 한다”며 “기술 수출을 넘어 전 세계가 따라야 할 AI 신뢰 표준(Trust Standards)을 한국이 직접 정의하고 선도해야 한다”고 강조했다.
그러면서 “AI 패권 경쟁의 승자는 가장 똑똑한 AI를 가진 국가가 아니라 가장 신뢰할 수 있는 AI를 만든 국가가 될 것”이라고 말했다.
