AI 에이전트 시대, 커지는 탈옥 리스크

이달 8일 서울 강남구 오크우드 프리미어 코엑스 센터의 모의 해킹 챌린지에서는, 기본 설정상 금지된 행동이던 거수경례를 휴머노이드 로봇이 하게 됐어요. 우승자는 단 두 번의 명령어로 AI 모델의 안전장치를 우회했어요. AI 탈옥이 채팅창 안의 장난을 넘어 실제 기기 행동까지 건드릴 수 있다는 장면이 드러난 거예요.

여기서 말하는 AI 탈옥은 모델에 미리 걸어 둔 안전장치 우회예요. 모델 성능이 좋아지고 기술이 AI 에이전트와 피지컬 AI로 넓어질수록 이 위험도 함께 커져요. AI 에이전트는 MCP와 API를 통해 업무 시스템과 연결돼 파일 읽기, 코드 실행, 이메일 발송, API 호출까지 맡을 수 있어요. 같은 우회 시도가 더 넓은 행동으로 이어질 수 있다는 뜻이에요.

숫자로 봐도 방어가 쉽지 않아요. 네이처 커뮤니케이션즈에 따르면 최대 10차례 대화로 공격했을 때 탈옥 성공률은 GPT-4o 61%, 제미나이 2.5 플래시 71%, 딥시크-V3 90%였어요. 최근에는 여러 차례 대화를 이어 가며 틈을 찾는 멀티턴 기법, 다른 문서나 입력 경로를 타고 들어오는 간접 프롬프트 인젝션도 주요 방식으로 거론돼요.

그래서 AI 기업들은 이미지·문서·화면·음성까지 함께 검사하고, 에이전트가 실제로 하려는 행동 자체를 다시 점검하는 가드레일을 강화하고 있어요. 다만 전문가들은 AI 탈옥을 100% 예방하는 건 기술적으로 어렵다고 봐요. 결국 모델이 똑똑해질수록, 어디까지 연결하고 무엇을 다시 검증할지 설계하는 문제가 함께 커지고 있어요.