최신 인공지능(AI) 모델이 사이버 보안 평가 과정에서 평가자가 의도하지 않은 경로를 찾아 외부 시스템에 접근하는 사례가 잇따르고 있다. 오픈AI를 시작으로 앤트로픽, 메타, 중국 문샷AI의 '키미 K3'까지 비슷한 사례가 이어지면서 AI 안전 문제가 새로운 화두로 떠오르고 있다.

다만 일각에서는 AI 기업들이 이 같은 사례를 실제보다 과장해 자사 기술력을 부각하는 '공포 마케팅'에 활용하고 있다는 비판도 제기된다.

11일 IT 업계에 따르면 최근 AI가 인간이 설정한 통제 범위를 벗어난 사례가 잇따라 보고되고 있다.

시작은 오픈AI였다. 오픈AI는 지난 7월 21일(현지시간) 자사 블로그를 통해 최상위 AI 모델 'GPT-5.6 솔'과 더 강력한 비공개 모델이 내부 사이버보안 벤치마크 테스트 과정에서 허깅페이스의 운영 인프라에 접근했다고 밝혔다.

오픈AI는 AI가 인터넷 접속에 성공한 뒤 확보한 접속 자격과 제로데이 취약점 등을 활용해 허깅페이스 서버에 접근, 벤치마크 문제 해결에 필요한 정보를 확보했다고 설명했다.

오픈AI는 "이번 사건은 최첨단 기법이 동원된 전례 없는 사이버 공격"이라며 "허깅페이스와 함께 사건 경위를 조사하고 모델의 대응 능력을 분석하고 있다"고 밝혔다.

약 일주일 뒤에는 앤트로픽이 최상위 AI 모델 '미토스'가 보안 평가 과정에서 외부 기업 시스템 3곳에 무단 접근한 사례를 공개했다. 미토스는 보안 수준이 낮은 비밀번호와 인증되지 않은 인터넷 연결 경로를 이용해 기업 시스템에 접근한 것으로 조사됐다.

메타의 AI 모델 '뮤즈 스파크 1.1' 역시 사이버보안 공격·방어 능력을 평가하는 과정에서 샌드박스(격리 시험환경)를 벗어나 인터넷망에 접속한 뒤 기업 시스템 일부를 변경한 사례가 보고됐다.

최근에는 중국 문샷AI의 '키미 K3'도 비슷한 사례가 확인됐다. 미국 사이버보안 업체 프런티어 시큐리티는 지난 6일(현지시간) 키미 K3가 영국 AI안전연구소(AISI)의 샌드박스 환경에서 보안 평가를 받던 중 외부 인터넷에 접속했다고 밝혔다.

키미 K3는 보안 장치를 해킹한 것이 아니라 샌드박스 내부의 설정 허점을 이용했다. 인터넷 연결 통로를 찾아 깃허브(GitHub)에 접속해 평가 문제 해결에 필요한 자료를 확보했으며, 외부 웹사이트나 서비스를 공격하거나 해킹한 정황은 확인되지 않았다.

사례별 경위는 다르지만 공통점은 AI가 평가자가 의도하지 않은 경로를 찾아 목표를 수행했다는 점이다. AI 모델의 성능이 높아질수록 기존 보안 평가 체계만으로는 예기치 않은 행동을 완전히 통제하기 어려워질 수 있다는 우려도 커지고 있다.

이에 따라 AI 안전성을 확보하기 위해서는 모델뿐 아니라 평가 환경과 검증 체계도 함께 고도화해야 한다는 목소리가 나온다. AI가 어떤 명령을 실행했고 어떤 네트워크를 거쳐 목표를 수행했는지까지 추적해 평가 환경의 허점을 이용했는지 확인하고, 예상하지 못한 행동 가능성까지 검증해야 한다는 것이다.

다만 업계 일각에서는 최근 잇따르는 'AI 탈옥' 사례 공개가 안전성 검증을 넘어 기업들의 기술력을 과시하는 수단으로 활용되고 있다는 비판도 제기된다.

미국 시사주간지 뉴스위크는 "AI 해킹 스캔들이 AI 기업의 은근한 자랑거리가 됐다"며 기업들이 해킹 사고를 일종의 마케팅 수단으로 활용하고 있다고 지적했다.

오픈AI 사례가 공개된 뒤 사이버보안 업체 이셋(ESET)의 제이크 무어 글로벌 사이버보안 고문도 "최근 오픈AI가 앤트로픽의 마케팅 전략을 따라가는 것이 아닌지 의문"이라며 자사 AI 역량을 강조하기 위한 공개였을 가능성을 제기했다.

앞서 '미토스 쇼크'를 공개했던 앤트로픽 역시 비슷한 비판을 받았다. 비공개 방식으로 프로젝트를 진행하며 기술의 파급력을 과장해 공포를 조성하는 전략을 펼치고 있다는 지적이다.

'AI 대부'로 불리는 얀 르쿤 뉴욕대 교수는 당시 "미토스를 둘러싼 드라마는 자기기만에서 비롯된 허구일 뿐"이라고 평가했다.

샘 올트먼 오픈AI 최고경영자(CEO)도 "세상에는 AI를 소수의 손에만 쥐려는 사람들이 있다"며 앤트로픽의 접근 방식을 "폭탄을 만든 뒤 자신들이 선택한 고객에게만 대피소를 파는 것과 같은 공포 기반 마케팅"이라고 비판했다.

Ktiger@news1.kr