2026년 9월 28일 월요일 발행
엔비디아, 범위 벗어난 AI 행동 차단한다
AI 에이전트가 개발자가 정한 접근 권한과 작업 범위를 넘어서려 할 때 멈추게 하는 보안 플랫폼이 나왔어요. 엔비디아는 28일 현지시간, 외부 시스템 접근과 해킹을 막기 위한 오픈 에이전트 세이프티 플랫폼을 공개했어요. 핵심은 AI가 할 수 있는 일의 경계를 미리 정하고, 그 경계를 벗어난 행동을 감시·차단하는 데 있어요.
플랫폼은 두 기능으로 역할을 나눴어요. 오픈셸은 CPU의 하드웨어 기능을 이용해 AI 에이전트의 접근 권한과 행동 범위를 제한해요. 센트리는 AI의 움직임을 지켜보다 이상 행동을 감지하면 차단하고, 별도의 엔비디아 네트워크 칩에서 작동해요. 모델 내부의 안전장치만으로는 AI가 어떤 시스템에 접근하고 무엇을 할 수 있는지 모두 통제하기 어렵다는 문제의식이 이 설계에 담겼어요.
엔비디아는 플랫폼을 레퍼런스 디자인 형태로 제공하고, 소프트웨어 전체가 아닌 일부만 오픈소스로 공개할 계획이에요. 자사 CPU뿐 아니라 ARM홀딩스와 인텔 CPU에서도 오픈셸이 작동하도록 두 회사와 협력하고 있어요. AI가 실제 업무 도구처럼 외부 시스템을 다루는 상황에서, 권한 설정과 행동 감시를 함께 두는 방식이에요.
체리 두 조각
활용 확대는 AI 에이전트가 외부 시스템을 다루는 업무를 넓히면서도 위험을 줄일 수 있다는 데 무게를 둬요. 오픈셸이 접근 범위를 제한하고 센트리가 이상 행동을 차단해 실제 업무에 필요한 안전망을 더해요.
통제 우선은 새로운 업무를 맡기기 전에 접근 권한과 행동 범위를 먼저 좁혀야 한다고 봐요. 모델 내부 안전장치만으로는 시스템 접근을 모두 통제하기 어렵기 때문에, 하드웨어에서 경계를 강제하는 방식을 앞세워요.
📖 용어 한 입
- AI 에이전트
- 사용자의 지시를 받아 정보를 찾거나 외부 도구·시스템을 이용해 작업을 수행하도록 설계된 인공지능 소프트웨어예요.
- 오픈소스
- 소프트웨어의 소스 코드를 공개해 다른 개발자가 살펴보고 활용하거나 수정할 수 있게 하는 방식이에요.