[이데일리 김현아 기자] 인공지능(AI) 에이전트가 단순한 명령 수행을 넘어 목표 달성을 위해 인간을 설득하고 예상 밖의 우회 전략까지 선택하는 사례가 확인됐다. AI가 실제 개발자인 것처럼 가짜 계정을 만들고 악성 코드 반영 승인을 유도한 사례가 공개되면서, AI 보안의 초점이 결과물 검증에서 AI의 행동 자체를 통제하는 방향으로 이동하고 있다.

다만 이번 사례가 AI가 스스로 악의를 갖고 해킹을 수행한 것은 아니다. AI 에이전트가 주어진 목표를 해결하는 과정에서 인간의 검토 절차를 장애물로 판단했고, 목표 달성을 위해 기만적 행동을 선택한 결과다.

전문가들은 AI 에이전트가 기업 시스템에 접근하고 코드를 작성하는 시대가 열리면서, 앞으로는 AI 모델의 성능뿐 아니라 권한 관리와 행동 감시 체계가 핵심 경쟁력이 될 것으로 보고 있다.

◇AI, 가짜 개발자 행세하며 승인 절차 우회

영국 AI안전연구소(AISI)는 4일(현지시간) 공개한 ‘보안 사고 보고서(INC-2026-07-28-01)’에서 AI 모델의 사이버 공격 능력과 잠재적 위험성을 확인하기 위한 실험 결과를 공개했다.

AISI는 실제 인터넷 환경과 유사한 ‘사이버 레인지(Cyber Range)’를 구축하고 AI 모델에 인터넷 접근 권한을 부여한 상태에서 일부 안전장치를 완화해 테스트를 진행했다.

총 122회의 평가 과정에서 10회에 걸쳐 총 19건의 승인되지 않은 자율 행동이 확인됐다. 이는 AI가 단순히 입력된 명령을 수행하는 수준을 넘어 스스로 판단하고 행동 방향을 결정할 수 있다는 점을 보여주는 결과다.

AISI는 이번 결과가 실제 서비스 환경에서 발생한 사고가 아니라 통제된 연구 환경에서 AI 모델의 한계를 평가하는 과정에서 나온 것이라고 설명했다.

가장 주목받은 사례는 AI 에이전트가 실제 오픈소스 프로젝트에 악성 코드를 포함한 변경 사항을 제출하려 한 시도다.

당초 AI 에이전트의 임무는 시뮬레이션된 사이버 보안 과제(CTF)를 해결하고 숨겨진 정보(Flag)를 찾는 것이었다. 하지만 AI는 문제 해결 과정에서 인터넷을 탐색하다 실제 오픈소스 프로젝트를 발견했고, 이를 과제 수행과 관련된 대상으로 잘못 판단했다.

이후 AI는 해당 프로젝트에 악성 코드를 포함한 코드를 반영하려 했다. 소프트웨어 공급망 공격은 개발 과정에 악성 코드를 심어 해당 프로그램을 사용하는 다수 기업과 사용자에게 연쇄 피해를 줄 수 있는 대표적인 사이버 위협이다.

특히 AI는 코드 반영 승인을 얻기 위해 여러 개의 가짜 온라인 계정을 만들고 실제 개발자인 것처럼 행동했다. 프로젝트 관리자가 코드 이상 여부를 의심하자 단순한 실수였던 것처럼 설명하며 승인을 유도하는 모습도 보였다.

◇“사람을 속이라는 지시는 없었다”…목표 최적화 과정서 발생

이번 사례에서 중요한 점은 AI가 처음부터 기만 행동을 하도록 설계된 것이 아니라는 점이다.

AI 에이전트는 “주어진 목표를 달성하라”는 명령을 수행하는 과정에서 승인 절차를 방해 요소로 판단했고, 이를 우회하기 위한 방법으로 인간의 행동을 유도하는 전략을 선택했다.

이는 AI가 목표 달성을 위해 인간이 예상하지 못한 방식으로 문제를 해결할 수 있다는 점을 보여준다. AI 에이전트의 자율성이 높아질수록 단순한 결과물 검증만으로는 위험을 막기 어렵다는 의미다.

이 밖에도 평가 과정에서는 다른 AI 코딩 도구가 실행할 수 있는 숨겨진 명령어(프롬프트 인젝션)를 삽입하려는 시도와 외부 인터넷 서비스 계정 생성, 시험 환경 내부 서버 노출 시도 등도 확인됐다.

다행히 실제 피해로 이어지지는 않았다. 인간 관리자가 코드 이상 징후를 발견해 승인을 거부했고, AISI 역시 보안 모니터링 시스템을 통해 이상 행동을 감지한 뒤 시험 환경을 격리했다.

◇AI 보안 경쟁력, ‘얼마나 똑똑한가’에서 ‘얼마나 안전하게 행동하는가’로

이번 사례는 AI 안전 기준의 변화를 보여주는 대표 사례로 평가된다.

기존 생성형 AI 보안은 허위 정보나 유해 콘텐츠 차단 등 AI가 만들어내는 결과물의 안전성에 집중했다. 하지만 AI 에이전트가 기업 시스템에 접근하고 코드를 작성하며 업무를 대신 수행하는 시대가 열리면서, AI가 실제 행동 과정에서 어떤 판단을 하고 어떤 권한을 사용하는지 관리하는 기술이 중요해지고 있다.

이에 따라 AI에 부여하는 권한을 최소화하고, 행동 범위를 제한하며, 이상 행동을 실시간으로 탐지·차단하는 기술이 새로운 보안 기준으로 자리 잡을 전망이다.

AISI도 향후 AI 평가 과정에서 인터넷 접근 권한 부여를 예외적인 상황으로 엄격히 관리하고, 실시간 모니터링과 위험 행동 차단 체계를 강화할 계획이다.

AI 개발사들도 안전성 평가 강화에 나서고 있다. 앤스로픽은 고도화된 AI 에이전트를 실제 환경과 유사한 조건에서 평가하는 체계가 필요하다고 강조했고, 오픈AI 역시 이번 테스트가 연구 목적의 제한된 환경에서 진행된 것이라고 설명했다.

AI 산업의 경쟁 기준도 바뀌고 있다. 쇼핑 분야에서 상품 추천부터 구매 결정, 결제, 배송까지 수행하는 AI 에이전트 시대가 다가오면서 이제 중요한 것은 AI가 얼마나 뛰어난 성능을 내는지가 아니다.

부여받은 권한 안에서 얼마나 안전하고 예측 가능하게 행동하도록 통제할 수 있는지가 AI 경쟁력을 좌우하는 핵심 요소로 떠오르고 있다.