인공지능 시스템의 취약성(1) - [적대적사례(Adversarial example)]

적대적사례(Adversarial example)

 

구글 리서치 그룹은 논문을 통해 이미지 인식 AI의 알고리즘을 오작동시킬 수 있는 '적대적 스티커(Adversarial Patch)'를 발표 ('17.12)

 

‘애드버세리얼 패치(Adversarial Patch, 적대적 스티커)’ 실험 결과 <자료 / deepai.org>

적대적 스티커는 원형의 추상적 이미지를 담은 스티커로 단순히 인쇄해서 사물 옆에 붙여두면 이미지를 인식하는 인공지능 알고리즘이 오작동 하게 만든다. 구글 실혐 결과에 따르면 적대적 스티커를 바나나옆에 붙여 두었을대 인공지능기반 이미지 인식 앱이 99% 확률로 바나나를 토스터로 잘못 인식했다.

 

 이미지출처: arXiv.org 

[사례 #1] 2017년 7월 미국 워싱턴대·미시건대 공동연구진은 ‘정지’ 교통표지판에 스티커를 붙이자, 인공지능 이미지 인식모델이 ‘속도제한 시속 45마일’ 표지판으로 인식했다는 논문을 발표했다. 사람이 ‘팬더’라고 판단하는 영상에 대해 인공지능도 60% 수준 신뢰도로 팬더라고 판단했다. 데이터를 살짝 변형하니 사람들은 여전히 팬더라고 인식했지만 인공지능은 99% 넘는 신뢰도로 ‘긴팔원숭이’라고 잘못 판단했다.

 

[사례 #2] 2019년 3월 중국 텐센트의 킨시큐리티 연구소가 자율주행차 시스템이 도로를 역주행하게 하는 실험에 성공했다. 킨 연구소는 테슬라 전기차의 자율주행 시스템을 대상으로 도로에 작은 점 3개를 칠하고 주행하도록 했는데, 테슬라는 이 점 때문에 중앙선을 넘어 맞은편 차선을 달려 역주행했다. 인공지능은 도로 교차로 지점에 표시된 점들로 인해 차선을 잘못 인식하고 맞은편 도로로 넘어간 것이다.

인공지능의 이미지 인식 결함을 드러내는 '적대적사례'는 자율주행이나 군사공격, 의료진단과 같은 영역에서 사용될 경우 치명적 결과로 이어져 인공지능의 신뢰성을 근본적으로 위협하는 요소이다.

 

이러한 "적대적 사례" 현상을 일으키는 스티커의 이미지는 사람 눈에 그 특징이 식별되지 않는 추상적 문양이어서 누군가 이미지 오작동을 목적으로 붙여 놓을 경우 오작동의 위험이 있다고 판단하기 어려워 더욱 큰 위협을 야기할 수 있다. 

 

이 때문에 인공지능 이미지 인식 오류를 발생시키는 "적대적 사례"의 요인과 절차를 규명하기 위한 노력이 이어지고 있으며 영국의 과학기술 전문지 <뉴 사이언티스트>에 따르면 미국 매사추세츠공대 연구진은 일련의 실험을 통해 적대적 사례는 컴퓨터의 시각인지가 인간이 보지 못하는 것을 보는 현상 때문이라는 점을 밝혀냈다.  

 

사람은 동물의 귀 모양이나 코의 길이처럼 특정한 대상의 두드러진 특징을 기반으로 이미지를 인식하는데 인공지능 이미지 인식은 사람이 인식할 수 없는 특징들을 이용해 사물을 인식한다는 점이 이 연구의 발견이다.  연구진은 "우리는 사람이 보지 못하고 기계만 볼 수 있는 특징이 무엇인지 알지 못하고 인간 두뇌는 이해하지도 못한다" 고 말하며 이를 인공지능의 "취약점"이라고 이름 붙였다.