[이데일리 김현아 기자] 환경이 바뀌어도 안정적으로 작동하는 ‘강인한 인공지능(AI)’을 기존보다 훨씬 적은 연산으로 학습시키는 기술이 국내 연구진에 의해 개발됐다. 양자컴퓨팅을 활용해 강화학습의 최대 난제였던 계산 병목을 해결하면서 자율주행과 로보틱스 등 실제 산업 현장에서의 AI 활용 가능성을 높였다는 평가다.

울산과학기술원(UNIST) 인공지능대학원의 윤성환 교수 연구팀과 김중헌 교수 연구팀은 양자 알고리즘을 적용한 강인한 강화학습 기법인 QRIM(Quantum Robust Inner Minimization·양자 강인 내부 최소화)을 개발했다고 6일 밝혔다.

이번 연구는 세계 3대 AI 학회 가운데 하나인 International Conference on Machine Learning 2026에 채택됐다. 올해 ICML에서 발표되는 양자 AI 분야 논문 가운데 국내 연구기관이 주도한 연구는 이번이 유일하다.

강화학습은 AI가 시행착오를 거쳐 최적의 행동을 스스로 학습하는 방식이다. 하지만 학습한 환경과 실제 환경이 조금만 달라져도 성능이 급격히 떨어지는 한계가 있다.

이를 보완하기 위해 등장한 것이 강인한 강화학습(Robust Reinforcement Learning·환경 변화에도 성능을 유지하도록 학습하는 기법)이다.

문제는 학습 과정에서 발생 가능한 ‘최악의 환경’을 매번 찾아야 하기 때문에 계산량이 급격히 늘어난다는 점이다. 환경 변화가 많아질수록 경우의 수가 기하급수적으로 증가해 실제 산업 적용에 걸림돌로 지적돼 왔다.

연구팀은 양자컴퓨팅의 중첩(Superposition·여러 상태를 동시에 표현하는 양자역학 특성)을 활용해 이 문제를 해결했다.

QRIM은 양자 진폭 추정(QAE·Quantum Amplitude Estimation)과 양자 최솟값 탐색(QMF·Quantum Minimum Finding) 알고리즘을 결합해 최악의 환경을 빠르게 찾아낸다.

예를 들어 1만 개의 시나리오를 검토해야 하는 경우 기존 방식은 1만 번의 계산이 필요하지만, QRIM은 약 100번만으로 같은 결과를 얻을 수 있다. 연구팀은 이론적으로 기존 대비 제곱근 수준의 계산량 감소(Quadratic Speed-up·계산 복잡도 개선)를 입증했다.

실험 결과도 이를 뒷받침했다. QRIM은 기존 방식 대비 약 20~30% 수준의 계산량만으로 동일하거나 더 높은 강인성을 확보했다. 학습에 필요한 연산량은 64.1~79.5% 감소해 최대 약 80%까지 줄었다.

연구팀은 또 IBM의 127큐비트 양자컴퓨터에서도 QRIM을 검증했다. 실제 양자 하드웨어의 잡음(noise)이 존재하는 환경에서도 안정적으로 동작하며 강인성을 유지하는 것으로 확인됐다.

제1저자인 이현규 연구원은 “강인한 강화학습의 가장 큰 병목인 ‘최악의 환경 탐색’만 양자 알고리즘으로 대체할 수 있도록 설계했다”며 “기존 강화학습 구조를 그대로 활용할 수 있어 다양한 AI 시스템에 적용 가능하다”고 설명했다.

윤성환 교수는 “양자컴퓨팅이 기존 AI의 한계를 어떻게 보완할 수 있는지를 보여준 사례”라며 “환경 변화에 대한 적응력이 중요한 자율주행, 로보틱스, 의료 등 안전성과 신뢰성이 요구되는 분야에서 활용될 것으로 기대한다”고 말했다.

한편 ICML 2026은 6일부터 11일까지 서울 코엑스에서 열리며, 올해는 전 세계에서 제출된 2만3918편의 논문 가운데 6352편이 채택됐다.