[이데일리 신영빈 기자] 인공지능(AI)이 소프트웨어 취약점을 찾아내는 보안 기술이 연구실을 넘어 실제 제품 보안 체계로 들어오고 있다. DARPA AI 사이버 챌린지(AIxCC) 우승팀을 이끈 김태수 마이크로소프트(MS) 보안 연구 부사장이 MS에서 AI 기반 취약점 탐지 시스템을 공개하며 이 흐름을 주도하고 있다.

MS는 12일(현지시간) 김 부사장 명의의 보안 블로그를 통해 멀티모델 에이전틱 보안 시스템 ‘MDASH’를 공개했다. MDASH는 MS 자율 코드 보안(ACS)팀이 개발한 취약점 탐지·검증 시스템이다.

MS에 따르면 MDASH는 윈도 네트워크 및 인증 스택에서 16개 신규 취약점을 찾아냈고, 이 가운데 4건은 윈도 커널 TCP/IP 스택과 IKEv2 서비스 등에서 발견된 치명적 원격 코드 실행(RCE) 취약점이다. 해당 취약점들은 이번 5월 보안 업데이트에 반영됐다.

김 부사장은 AI 기반 보안 연구 분야의 대표 연구자로 꼽힌다. 그는 KAIST 컴퓨터공학과를 졸업하고 MIT에서 컴퓨터과학 박사 학위를 받았다. 2014년부터 조지아공대 교수로 지냈고, 2021년부터 지난해 말까지 삼성전자 부사장으로도 활동했다. 올해 1월 MS에 합류한 뒤에는 에이전틱 보안 분야를 맡고 있다.

그는 미국 국방고등연구계획국(DARPA) AI 사이버 챌린지(AIxCC)를 계기로 글로벌 보안업계에 이름을 알렸다. AIxCC는 AI가 오픈소스 프로젝트의 소프트웨어 취약점을 자율적으로 탐지하고 수정하는 사이버 추론 시스템을 겨루는 경연이다. 김 부사장이 이끈 팀 애틀랜타는 이 대회에서 1위를 차지해 600만 달러(약 89억5800만원)의 상금을 받았다.

이번 MDASH 발표는 김 부사장이 대회에서 검증한 자율 보안 AI 기술을 실제 대형 상용 소프트웨어 보안 체계로 확장했다는 점에서 의미가 있다. 김 부사장은 링크드인에서 “우리 사이버 추론 시스템은 이미 윈도에서 16개 CVE를 발견하고 수정하는 데 기여했으며, 이 중 4건은 RCE 취약점”이라고 밝혔다.

MDASH는 여러 AI 모델과 100개 이상의 전문 AI 에이전트가 역할을 나눠 취약점을 찾고 검증하는 구조다. 먼저 코드에서 공격자가 노릴 수 있는 지점을 찾고, 의심되는 취약점을 제기한다. 이후 다른 에이전트들이 해당 취약점이 실제 공격으로 이어질 수 있는지 검토하고, 중복 사례를 걸러낸 뒤 실제로 재현 가능한지 확인한다.

MS는 이런 구조가 기존 보안 스캐너와 다르다고 설명한다. 단순히 의심되는 버그 목록을 뽑는 데 그치지 않고, 실제 패치가 필요한 취약점인지까지 검증하는 데 초점을 맞췄다는 것이다. 김 부사장도 블로그에서 보안 AI의 경쟁력은 특정 AI 모델 하나가 아니라, 여러 모델과 검증 절차를 결합한 시스템에서 나온다는 취지로 설명했다.

MS에 따르면 MDASH는 비공개 샘플 드라이버에 심어둔 취약점 21개를 모두 찾아냈다. 과거 MS 보안대응센터(MSRC) 사례를 대상으로 한 평가에서도 주요 윈도 구성요소의 기존 취약점을 높은 비율로 다시 찾아냈다. 공개 보안 AI 성능평가인 사이버짐에서는 1507개 실제 취약점 재현 과제 기준 88.45% 성공률을 기록했다고 MS는 밝혔다.

김 부사장은 링크드인에서도 MDASH가 사이버짐 최신 순위표에서 1위에 올랐다고 밝혔다. 그는 이번 성과를 두고 처음부터 여러 AI 모델을 조합하는 방식으로 설계한 결과라며, 자율 코드 보안이 앞으로 나아갈 방향을 보여주는 사례라고 평가했다.

MS는 현재 MDASH를 사내 보안 엔지니어링팀에서 활용하고 있으며, 일부 고객을 대상으로 비공개 시범 서비스도 진행 중이라고 밝혔다. AI가 취약점을 찾고 고치는 보안 자동화가 연구 단계를 넘어 실제 대형 소프트웨어 개발 조직의 보안 체계로 들어오고 있다.