인공지능전공 정재훈 교수 연구팀의 논문이 세계 최고 수준의 컴퓨터 비전 학술대회인 'ECCV 2026(European Conference on Computer Vision 2026)'에 채택됐다.

  채택 논문은 송동수(컴퓨터 공학과 박사과정)·고대윤(인공지능 학과 석사과정)·서보승(인공지능 학과 석사과정) 학생과 정재훈 교수가 공동 저술한 〈SegPAR: Class-Centric Decision-Based Sparse Attack for Semantic Segmentation(의미 분할을 위한 클래스 중심 결정 기반 희소 공격)〉이다. 논문은 9월 8일부터 12일까지 스웨덴 말뫼에서 열리고 있는 ECCV 2026(제19회, 유럽컴퓨터비전협회 ECVA 주관)에서 발표된다.

  이번 연구는 자율주행과 로봇의 핵심 인식 기술인 '의미 분할(Semantic Segmentation)' 모델의 보안 취약성을 다뤘다. 의미 분할은 영상의 각 픽셀을 도로, 자동차, 보행자, 신호등 등으로 구분해 장면 전체를 이해하는 기술로, 입력 영상의 일부 픽셀을 의도적으로 변경해 인공지능이 사물을 잘못 인식하게 만드는 '적대적 공격'에 취약하다. 그중에서도 모델의 구조나 학습 데이터를 알지 못하고 최종 판단 결과만 확인할 수 있는 '결정 기반 블랙박스 공격'은 실제 서비스 환경에 가까운 위협 조건으로 평가된다. 다만 기존 블랙박스 픽셀 공격은 영상 전체를 하나의 탐색 공간으로 취급해, 여러 객체가 함께 등장하는 의미 분할 영상에서는 제한된 질의 횟수를 비효율적으로 소비하는 문제가 있었다.

  연구팀은 이를 해결하기 위해 클래스 중심의 블랙박스 희소 공격 기법인 'SegPAR(Segmentation Pixel Attack using Reinforcement Learning)'를 제안했다. 영상 전체를 한꺼번에 탐색하는 대신 자동차, 사람, 도로 등 인공지능이 예측한 클래스별 영역을 나누고, 강화학습 에이전트가 각 영역 안에서 인식 결과에 큰 영향을 주는 소수의 픽셀을 집중적으로 찾아낸다. 여기에 '불일치 보상(Discrepancy Reward)'을 새롭게 설계해, 새로 오분류된 픽셀에는 양의 보상을, 원래 분류로 되돌아간 픽셀에는 음의 보상을 부여했다. 불필요한 픽셀 변경을 줄이고 공격 효과가 안정적으로 누적되도록 한 설계다.

  연구팀은 Cityscapes, ADE20K, PASCAL VOC2012 등 세 가지 대표 영상 데이터셋과 DeepLabV3, PSPNet, SegFormer, SETR 등 다양한 의미 분할 모델을 대상으로, 영상 한 장당 최대 1,000회의 질의만 허용하는 조건에서 성능을 검증했다. SegPAR는 모든 데이터셋과 모델에서 기존 기법보다 적은 픽셀을 변경하고도 인식 성능을 더 크게 떨어뜨렸다. PASCAL VOC2012·DeepLabV3 실험에서는 평균 변경 픽셀 비율을 3.92%에서 2.24%로, 평균 질의 횟수를 986회에서 680회로 줄였다. 정답 영역과 예측 영역의 일치도를 나타내는 Robust MIoU는 값이 낮을수록 인식 성능 손상이 크다는 뜻인데, 이 수치도 0.466에서 0.238로 낮아졌다. Cityscapes·PSPNet 실험에서는 평균 3.53%의 픽셀만 변경하고도 MIoU를 0.793에서 0.057까지 떨어뜨렸으며, 교통표지판·신호등·보행자·자전거 이용자 등 자율주행 안전과 직결되는 클래스에서 특히 빠른 성능 저하가 나타났다. 모델의 내부 정보를 모두 아는 화이트박스 공격과 비교해도 경쟁력 있는 성능을 보였으며, 일부 조건에서는 대표 화이트박스 공격인 PGD0보다 높은 공격 성능을 기록했고 강력한 sPGD 계열 공격과의 성능 격차도 크게 줄였다.

  이번 연구는 의미 분할 분야에서 결정 기반 블랙박스 희소 공격을 체계적으로 분석하고, 클래스별 탐색과 불일치 보상을 결합한 새로운 공격 체계를 제시했다는 데 의의가 있다. 자율주행과 지능형 로봇 등 안전이 중요한 영상 인식 시스템의 취약성을 현실적인 조건에서 진단하고, 향후 더욱 견고한 인공지능 방어 기술과 평가 기준을 개발하는 데 활용될 것으로 기대된다.

  정재훈 교수는 "SegPAR는 모델 내부 정보에 접근할 수 없는 현실적인 환경에서도 소수의 픽셀 변화가 의미 분할 모델의 판단에 큰 영향을 줄 수 있음을 보여준다"며 "이번 연구가 자율주행과 로봇 등 안전이 중요한 인공지능 시스템의 취약성을 정확히 평가하고, 더욱 신뢰할 수 있는 방어 기술을 개발하는 계기가 되기를 기대한다"고 말했다.

(논문 바로보기)

arxiv.org/abs/2608.11285