3·1절을 앞두고 생성형 인공지능(AI)으로 제작한 유관순 열사 조롱 영상이 퍼지자 틱톡이 삭제 조치했다. 생성형 AI가 보편적으로 활용되면서 악용 사례가 함께 늘고 있는데, 'AI 기본법'에 따른 워터마크 의무화 규정의 실효성이 낮다는 지적도 나온다.

27일 정보기술(IT) 업계에 따르면 틱톡은 AI로 제작된 유관순 열사 조롱 영상이 가이드라인을 위반했다고 판단해 전날 모두 삭제 조치했다.

해당 영상들은 한 사용자가 22일부터 틱톡에 연달아 게재하며 도합 20만 회가 넘는 조회수를 기록했으나, 26일 오후부터 검색되지 않고 있다.

최초 영상에는 열사가 수의 차림으로 방귀를 뀌자 한 여성이 냄새를 맡고 쓰러지는 장면이 나왔다. 다음 영상은 '유관순 방구로켓'이란 제목으로 열사의 하반신을 로켓으로 합성한 후 우주로 솟구치는 장면을 우스꽝스럽게 표현했다.

영상들은 모두 오픈AI의 영상 생성 AI 모델 '소라'(Sora)로 만들어졌다. 소라가 영상 제작에 참고한 원본 이미지는 유관순 열사가 1919년 3·1 운동으로 서대문 형무소에 투옥됐을 당시 촬영된 수의 차림 사진으로 보인다.

앞서 이용자들은 영상이 열사를 악의적으로 조롱한다며 강하게 반발했다. 틱톡과 온라인 커뮤니티 댓글에서는 "선을 넘었다", "영상을 본 순간 깜짝 놀랐다" 등 부정적인 반응이 쏟아졌다.

틱톡 관계자는 "틱톡은 커뮤니티 가이드라인 위반 콘텐츠를 상시 모니터링하고 있으며 위반이 확인되면 관련 정책에 따라 필요한 조치를 취한다"며 "사회적 오해를 유발하는 AI 생성물 게시를 엄격히 금지한다"고 설명했다.

특히 이번에 삭제된 영상에는 모두 '소라' 워터마크가 부착돼 있었다. 틱톡 역시 자체 가이드라인에 따라 크리에이터가 진짜처럼 보이는 장면이나 인물을 보여주는 AI 생성 콘텐츠에는 AI 생성 사실을 알리는 라벨을 부착하도록 규정한다.

올해부터 시행된 AI 기본법에 따르면 AI 서비스를 제공하는 사업자는 AI로 생성된 콘텐츠에 이 사실을 알리는 워터마크나 문구 등을 표시할 의무가 있다. 이는 챗GPT나 제미나이 등 해외 AI 플랫폼에도 적용된다.

표시 의무는 '사업자'에게만 부과돼 생성형 AI 서비스를 제공하는 사업자는 서비스 설계 단계에 워터마크나 메타데이터 삽입 등 표시 조치를 적용해야 한다. 해당 서비스를 이용해 콘텐츠를 만드는 개인 이용자는 원칙적으로 의무 주체가 아니다.

다만 이와 별개로 AI 생성 표시 의무가 AI의 오남용을 막는 데는 실질적인 제약이 있다는 지적이 제기된다.

과학기술정보통신부 측은 지난달 AI 기본법 시행 대비 설명회에서 "시행 이후에도 업계와 지속해서 소통하며 가이드라인을 보완하겠다"고 밝혔다.

bean@news1.kr