"국내 기업이 만든 생성AI의 잠재 위험과 취약점을 찾아라."

대학생 등 국민 1000여명이 참석해 국내 AI기업이 만든 생성AI의 취약점을 찾는 행사가 과기정통부 주관으로 국내서 처음으로 열렸다.

과학기술정보통신부(과기정통부)와 한국정보통신기술협회(TTA, 회장 손승현)는 '생성형 AI 레드팀 챌린지(이하 레드팀 챌린지) 행사를 11~12일 이틀간 코엑스 B2홀에서 개최한다고 밝혔다.

국내에서 처음으로 열리는 이번 ‘레드팀 챌린지’는 AI에 관심있는 국민 누구나 참여해 국내 기업이 만든 생성AI 모델(LLM)을 대상으로 잠재적 위험과 취약점(부정확 정보, 유해정보 등)을 찾는 행사다. 오픈AI, 구글, 네이버클라우드 등 국내외 AI 대표기업도 내부에 'AI 레드팀'을 구성 및 운영해 AI 신뢰성과 안전성을 높이고 있다.

이번 행사는 생성AI에 대한 사회 전반의 높은 관심이 반영, AI와 IT분야 종사자 뿐 아니라, 제조‧금융‧의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1000여명이 챌린지 참가자로 참여했다. 지난 3월 21일부터 4월 8일까지 약 2주간 1084명이 신청, 참여자를 조기 마감할 정도로 국민 참여 열기가 높았다고 과기정통부는 밝혔다. 

국내 AI대표기업 4사인 네이버‧SKT‧업스테이지‧포티투마루가 참여한 가운데 챌린지 참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 총 7개 챌린지 주제(탈옥, 편견‧차별, 인권침해, 사이버 공격, 불법콘텐츠, 잘못된 정보, 일관성)를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다. AI 모델 위험과 취약점을 가장 많이 발견한 총 5명의 우수 참가자에게는 과기정통부 장관상 등을 포함해 총 1700만원 규모 상금을 준다. 

이날 행사에 앞서 챌린지 참여기업, AI 전문가, AI 전공 대학생 등이 참여한 '미니 레드팀 챌린지'를 사전에 세 차례 개최(3.9, 3.20, 3.27), 생성형 AI 기술동향과 위험 파급효과 등을 종합적으로 고려, 총 7개 챌린지 주제를 도출하고 평가기준을 마련했다.

‘레드팀 챌린지’의 공정하고 전문적인 평가를 위해 챌린지 평가단도 구성‧운영한다. 레드팀 수행 경험이 있는 데이터 분야 전문가, 의료‧금융‧법률 전문가 120여명으로 구성한 평가단은 사전에 마련한 평가 세부기준에 기초해 챌린지 참가자의 프롬프트 공격을 객관적으로 평가한다.

한편, 행사 2일차(12일)에는 ‘글로벌 AI 안전 컨퍼런스’가 열린다. 코히어(Cohere) 아이단 고메즈(Aidan Gomez) 대표, 스태빌리티AI(Stability AI) 에마드 모스타크(Emad Mostaque) 전 대표 겸 창업자, 프론티어모델포럼(구글‧오픈AI‧MS‧앤트로픽 4사가 AI 안전표준 개발을 위해 2023년 7월 만든 협의체) 크리스 메세롤(Chris Meserole) 의장, xAI 댄 헨드릭스(Dan Hendrycks) 안전 담당고문, 네이버 하정우 퓨처AI 센터장, SKT 에릭 데이비스(Eric Davis) 부사장, 셀렉트스타 김세엽 대표, 카카오 김경훈 AI Safety 리더, 카이스트 오혜연 교수 등 국내외를 대표하는 AI 업계‧학계 전문가가 참여해 최근 생성AI 시장의 기술동향과 생성AI의 안전‧신뢰성 확보 방안을 발표하고 토의한다.

이번 ‘레드팀 챌린지’ 행사를 통해 AI 산업 전반에 기업의 자율적인 AI 신뢰․안전성 확보 노력이 더욱 확산되고, 사회 전반에 AI 윤리적 활용에 대한 인식도 확대할 것으로 과기정통부는 기대했다. 특히, 챌린지에 참여한 AI 기업은 사용자 다양성을 반영한 평가 데이터셋을 확보할 뿐 아니라 자사 AI 모델의 잠재적인 위험‧취약점을 폭넓게 파악, AI 신뢰‧안전성을 높이는 계기가 될 전망이다.​