감시 카메라의 인식을 무력화할 수 있는지 테스트하기 위해 빌 스위어링언이 개발한 착시 패턴으로 차량 전체를 덮은 2009년형 토요타 야리스.(테크크런치 홈페이지 갈무리)
속도위반 단속 카메라가 차량 번호판을 읽지 못하고, 안면인식 시스템이 사람을 제대로 구별하지 못하도록 하는 인공지능(AI) 기반 '착시 패턴' 생성 기술이 공개됐다.
AI를 이용해 AI 영상인식 시스템의 취약점을 찾아내는 방식으로, 실제 차량을 이용한 시연까지 진행되면서 AI 영상인식 기술과 이를 우회하려는 기술 간 경쟁도 이어질 전망이다.
11일(현지시간) 미국 IT 전문매체 테크크런치(TechCrunch)에 따르면 보안 연구가 빌 스위어링언(Bill Swearingen)은 최근 미국 라스베이거스에서 열린 세계 최대 사이버보안 콘퍼런스 '데프콘(Def Con)'에서 AI 영상인식 시스템의 탐지를 교란하는 프로젝트 '노리코그니션(noRecognition)'을 공개했다.
AI가 AI 취약점 학습…번호판·안면인식도 교란
스위어링언이 개발한 컴퓨터 생성 패턴은 카메라 촬영 자체를 막는 기술이 아니다. 대신 AI 영상인식 알고리즘이 차량 번호판과 사람, 얼굴, 차량 등을 제대로 식별하지 못하도록 만드는 패턴을 생성한다.
최근 AI 영상인식 기술은 과속 단속용 번호판 인식과 안면인식, 차량 탐지, 범죄 수사 등 다양한 분야에 활용되고 있다. 이번 프로젝트는 이러한 AI 모델의 인식 특성을 분석해 탐지를 어렵게 만드는 패턴을 자동 생성하는 데 초점을 맞췄다.
핵심은 AI가 새로운 패턴을 반복 생성하고 스스로 성능을 평가하면서 점차 더 효과적인 디자인을 찾아낸다는 점이다.
스위어링언은 특정 영상인식 알고리즘에 효과적인 패턴을 찾도록 자율 학습 시스템을 구축했다. 패턴이 탐지되면 새로운 형태를 다시 생성하는 과정을 반복했고, 약 3100만 회의 테스트를 거쳐 성능을 개선했다. 현재도 새로운 패턴을 지속적으로 생성하고 있다고 연구자는 설명했다.
테크크런치는 이 시스템이 번호판 인식 업체 플록(Flock), 경찰 바디캠 업체 액손(Axon), 안면인식 업체 클리어뷰 AI(Clearview AI) 등 11개 오픈소스 및 상용 영상인식 모델을 대상으로 테스트됐다고 전했다.
AI가 인식하지 못하는 패턴 티셔츠 사진.(테크크런치 홈페이지 갈무리)
실제 도로에서 시연…의류·차량 스킨 상용화 추진
스위어링언은 데프콘 행사에서 자동차 전문 미디어 '도넛 미디어(Donut Media)'와 함께 실제 도로 환경에서 기술을 시연했다.
2009년형 토요타 야리스 차량 전체를 해당 패턴으로 감싼 뒤 미국에서 차량 번호판 인식에 활용되는 플록(Flock) 카메라 앞을 통과시키는 방식이다. 테크크런치는 이 과정에서 시스템이 차량을 제대로 인식하지 못했다고 전했다. 다만 바퀴 부분에서는 일부 인식이 이뤄져 추가 개선이 필요한 것으로 나타났다.
연구자는 장기적으로는 티셔츠와 후드티, 차량 래핑 스킨 등 일반 소비자가 일상에서 사용할 수 있는 형태로 상용화하는 방안도 추진하고 있다.
다만 가장 성능이 뛰어난 핵심 패턴은 공개하지 않고 있다. 감시 카메라 제조사나 AI 업체가 해당 패턴을 분석해 대응 기술을 개발할 가능성을 고려한 조치라는 설명이다.
스위어링언은 "패턴 생성과 평가를 반복할수록 모델의 성능은 계속 향상되고 있다"고 밝혔다.
smk5031@news1.kr
