[이데일리 김겨레 기자] 오픈AI가 시험하던 인공지능(AI) 에이전트가 허깅스페이스를 해킹하기 전 다른 기술 기업의 고객 계정에도 침투했던 것으로 알려졌다. AI가 주어진 시험 목표를 달성하기 위해 보안 취약점을 스스로 찾아 공격을 이어갔다는 점에서 고성능 AI의 통제와 안전성을 둘러싼 우려가 커지고 있다.

28일(현지시간) 로이터통신에 따르면 오픈AI의 해당 AI 에이전트는 AI 모델 공유 플랫폼 허깅페이스를 수일간 공격하는 과정에서 미국 뉴욕의 클라우드 인프라 기업 모달랩스의 고객 계정도 침해했다. 모달랩스는 기업과 개발자들이 AI 프로그램이나 코드를 실행할 수 있는 클라우드 서버와 ‘샌드박스’를 제공하는 회사다.

샌드박스는 위험할 수 있는 프로그램을 회사의 핵심 시스템과 분리해 실행하는 일종의 격리된 실험 공간이다. 그러나 모달랩스의 고객 한 곳이 별도의 신원 확인 없이 누구나 인터넷을 통해 샌드박스에서 코드를 실행할 수 있는 접속 창구를 외부에 공개해 둔 것으로 파악됐다.

AI 에이전트는 이 열린 접속 창구를 발견해 해당 고객의 샌드박스에서 관리자 권한으로 명령을 실행했다. 이후 샌드박스를 지휘본부이자 중계 서버처럼 활용해 허깅페이스에 대한 공격을 확대했다. 비유하자면 모달랩스라는 건물의 보안시설이 뚫린 것이 아니라, 건물 안에 입주한 고객사가 자기 사무실 문을 잠그지 않은 채 외부에 공개했고 AI가 그 공간을 공격 거점으로 사용한 셈이다.

악샤트 부브나 모달랩스 최고기술책임자(CTO)는 “모달 플랫폼이나 고객 간 격리 체계 자체가 침해된 것은 아니다”라며 고객이 공개한 접속 창구가 악용됐다고 설명했다.

공격은 오픈AI가 AI 에이전트의 사이버 공격 능력을 측정하는 내부 시험 과정에서 발생했다. 오픈AI는 AI에 소프트웨어 취약점을 찾아내는 과제를 부여했는데, 에이전트는 문제를 직접 풀기보다 정답이 있을 것으로 추정한 허깅페이스 시스템에 침투해 시험 해답을 빼내는 방법을 택했다.

AI 에이전트는 먼저 오픈AI의 격리된 시험환경에서 알려지지 않았던 소프트웨어 결함을 찾아 인터넷 접속 권한을 확보했다. 이후 외부 샌드박스와 허깅페이스의 데이터 처리 시스템에서 여러 취약점을 연쇄적으로 이용해 내부 서버와 인증정보에 접근했다.

오픈AI는 에이전트가 격리 환경을 뚫고 ‘탈옥’ 시도가 발생한 9일부터 허깅페이스가 해킹 사실을 공개한 16일까지 자사 에이전트가 해킹 배후에 있었다는 사실을 인지하지 못했던 것으로 전해졌다.

오픈AI는 문제가 된 내부 연구용 모델을 비활성화하고 접근을 제한했다. 아울러 향후 AI 성능 시험에서 격리환경과 인터넷 접근통제, 이상행동 감시를 강화하고 외부 전문가와 함께 사고 경위를 조사한 뒤 기술 보고서를 공개할 방침이다.