AI가 AI를 공격한다고? 국내 최초 AI 해킹 대회에서 발견한 소름 돋는 4가지 사실
인공지능(AI)이 우리 삶의 모든 영역으로 빠르게 스며들고 있습니다. 하지만 AI가 제공하는 편리함 이면에는 우리가 잘 알지 못했던 새로운 위험, 바로 AI 자체의 보안 취약점이 존재합니다. 최근 과학기술정보통신부와 한국인터넷진흥원(KISA), 한국정보보호산업협회(KISIA)가 공동으로 주관한 국내 최초 AI 해킹 방어 대회 'ACDC(AI Competition for Defensive Cyberspace)'가 1일 코엑스에서 개막, 2일까지 열렸습니다. 이 행사는 미래 AI 보안에 대한 몇 가지 놀라운 진실을 드러냈습니다.
1. AI 보안, 'AI로 방어'하는 것만이 전부가 아니다
흔히 'AI 보안'이라고 하면 AI를 이용해 외부의 공격을 막는 기술을 떠올리기 쉽습니다. 하지만 이번 대회를 통해 드러난 AI 보안의 세계는 훨씬 더 넓고 깊었습니다. AI 보안은 크게 세 가지 기둥으로 나뉩니다.
• AI를 활용한 보안: AI 모델을 도구로 사용해 시스템이나 서버의 취약점을 찾아내는, 우리가 가장 익숙하게 생각하는 분야입니다.
• AI 모델 자체를 지키는 보안: 이 부분이 바로 많은 사람들의 허를 찌르는 지점입니다. 이는 AI 모델 자체를 공격하는 것을 의미합니다. 예를 들어, 거대언어모델(LLM)이 조작된 답변을 하도록 유도하거나, 멀티모달 AI를 이용해 가짜 이미지, 영상, 음성을 만들어내는 악성 행위가 여기에 포함됩니다.
• AI 플랫폼 보안: AI가 구동되는 근간이 되는 플랫폼의 구성 요소를 공격해 AI의 오작동을 유도하는 방식입니다.
이러한 구분은 매우 중요합니다. 우리는 AI를 '활용'해 시스템을 지키는 것뿐만 아니라, AI의 '두뇌' 자체를 외부 공격으로부터 보호해야 한다는 사실을 명확히 보여주기 때문입니다.
2. AI 해킹, 그들만의 리그가 아닌 국가대표급 경연장
이번 'ACDC' 대회는 소수의 전문가들만 참여하는 행사가 아니었습니다. 그 규모와 참가자들의 면면은 AI 해킹이 이미 국가적인 차원의 경쟁 무대가 되었음을 보여줍니다. 예선에만 무려 187개 팀, 748명이 참가했으며, 여기에는 주요 공공기관, 대기업의 레드팀, 세계적인 해킹 대회 수상 경력을 가진 보안 기업, 그리고 국내 유수의 대학 소속 팀들이 포함되었습니다. 이 치열한 예선을 거쳐 단 20개의 엘리트 팀만이 본선에 진출해 총 8시간 동안 실력을 겨뤘습니다.
대회의 격은 연사들의 이름에서도 확인할 수 있었습니다. 기조 강연과 세미나에는 OpenAI, Cisco, Google Cloud 등 글로벌 테크 기업의 핵심 관계자들은 물론, 국내 저명 화이트해커인 스틸리언의 박찬암 대표 같은 업계 최고 전문가들이 참여해 AI 보안에 대한 통찰을 나누었습니다.
대회의 위상은 상금 규모에서도 드러납니다. 통합 우승팀에게는 3천만 원의 상금이 주어졌고, 이 외에도 부문별 입상 2개 팀에게 각각 2천만 원, 특별상 2개 팀에게 각각 1천만 원의 상금이 수여되었습니다. 일반 부문에서는 'The Bald Duck'(티오리 단일 팀)이, 학생 부문에서는 KAIST, 서울대, 건국대, 단국대 연합팀인 '벌집으로 만들어 주지' 팀이 최고의 자리에 올랐습니다.
3. "AI 3대 강국, 보안 없이는 사상누각"
대한민국 정부는 AI 보안을 단순한 기술적 과제가 아닌, 국가의 미래가 걸린 중대한 사안으로 보고 있습니다. 이를 증명하듯, 배경훈 부총리 겸 과학기술정보통신부 장관이 직접 현장을 찾아 AI 보안의 중요성을 역설했습니다.
"이같은 해킹 관련 이슈를 대처하지 못한다면 AI 3대 강국은 사상누각과 다름없다"
배 부총리의 이 발언은 최근 발생한 e커머스 기업의 개인정보 유출, 통신사 해킹 사건 등 현실의 위협에 대한 직접적인 응답입니다. 이는 AI 기술 발전이라는 화려한 성을 쌓기 전에, '보안'이라는 튼튼한 기반이 없다면 모든 것이 한순간에 무너질 수 있다는 강력한 경고 메시지입니다.
하지만 장관의 메시지는 경고에만 그치지 않았습니다. 그는 "이런 보안 인재들이 성공하고, 사회에서 중추적인 역할을 수행할 수 있도록 정부에서도 최선의 지원을 다할 것"이라고 덧붙이며, 문제 해결을 위한 정부의 적극적인 지원 의지를 분명히 했습니다.
4. 공격 방식은 SF 영화, 목표는 AI의 '오작동'
대회는 해커들이 제한 시간 내에 문제를 풀어 숨겨진 '깃발(Flag)'을 찾는 'CTF(Capture The Flag)' 방식으로 진행되었습니다. 참가자들이 마주한 문제들은 마치 공상과학 영화의 한 장면을 떠올리게 했습니다. 이들은 단순히 시스템에 침투하는 것을 넘어, AI의 판단을 흐리고 오작동을 일으키는 것을 목표로 삼았습니다.
• 거대언어모델(LLM)을 속여 원하는 답변을 조작해내기
• 이미지, 영상, 음성을 다루는 멀티모달 AI를 이용해 악의적인 딥페이크 콘텐츠 생성하기
• AI 플랫폼의 구성 요소를 공격해 AI 시스템 전체의 오작동을 유도하기
'The Bald Duck'나 '벌집으로 만들어 주지'와 같은 재치 있는 팀명에서 엿볼 수 있듯, 화이트해커 커뮤니티의 창의적이고 유쾌한 문화가 돋보이기도 했습니다. 이처럼 SF 영화 속 상상처럼 느껴졌던 공격 방식들은, 이제 이들 전문가들이 해결해야 할 현실의 과제가 되었습니다.
Conclusion
국내 최초로 열린 AI 해킹 방어 대회 'ACDC'는 AI 기술이 고도화될수록 그것을 지키려는 보안 기술 또한 정교하고 치열한 싸움이 되고 있음을 명확히 보여주었습니다. AI는 더 이상 공격을 막는 방패 역할에만 머무르지 않으며, 스스로가 공격의 목표가 되는 새로운 시대에 접어들었습니다.
우리의 삶 깊숙이 들어온 AI가 스스로를 지키지 못한다면, 우리는 그 판단을 어디까지 신뢰할 수 있을까요?