[이데일리 김응열 기자] 고려대 연구진이 글과 그림에 흩어진 여러 정보를 단계적으로 연결해 답을 도출하는 인공지능(AI)의 복합 추론 능력을 높이는 기술을 개발했다.

고려대는 서홍석 컴퓨터학과 교수 연구팀이 AI의 고난도 연쇄 추론 능력을 획기적으로 높이는 학습·평가 체계 ‘CRIT’(Cross-modal multi-hop Reasoning over interleaved Image-Text)를 개발했다고 6일 밝혔다.

기존 AI는 글이나 그림을 단편적으로 이해하는 데는 뛰어나지만 흩어진 여러 단서를 연결해 단계적으로 추론하는 작업에는 한계가 있다. 또 일부 AI 평가 방식은 특정 정보만으로도 답을 맞힐 수 있어 AI 모델의 실제 복합 추론 능력을 충분히 검증하지 못한다는 문제가 있었다.

CRIT는 AI 모델이 텍스트와 이미지 등 서로 다른 형태의 정보를 함께 이해(교차-모달)하고 여러 단계를 거쳐 결론에 도달하는 능력(멀티홉 추론)을 향상시키기 위해 제안됐다. CRIT는 자연 이미지, 영상, 과학논문 등 다양한 자료에서 텍스트와 시각 정보를 함께 활용해야만 답할 수 있는 문제를 자동으로 생성한다.

특히 연구팀은 내용 속 개체, 속성, 개체 간 관계를 그래프 형태로 구조화하고 이를 기반으로 질문과 정답을 생성하는 방식을 도입해 문제의 일관성과 근거성을 동시에 확보했다. 이를 통해 모델이 실제로 다양한 정보를 통합하고 여러 단계를 거쳐 추론하는지를 정밀하게 평가할 수 있다.

연구팀이 CRIT 데이터로 AI 학습을 진행한 결과 일상 영상·이미지 분석부터 논문·도표 해석에 이르기까지 다양한 영역에서 추론 성능이 기존 대비 최대 두 배 이상 향상됐다. 아울러 CRIT로 학습한 모델은 특정 데이터셋(AI 학습·평가용 문제 모음)에 국한되지 않고 복합 정보 이해와 추론 능력이 전반적으로 강화되는 모습을 보였다.

이번 연구 성과는 여러 정보 조각을 연결해 근거 기반으로 사고하는 AI를 만드는 데에 기여할 전망이다. 특히 과학 문헌 분석, 교육 콘텐츠 이해, 복합 문서 검색, 시각-언어 기반 AI 비서 등 실제 응용 환경에서의 활용 가능성이 클 것으로 보인다.