에이전트가 남의 시스템을 건드린 횟수를 세는 표가 생겼다

Felony Bench라는 집계표가 8월 들어 돌기 시작했다. AI 에이전트가 실험 대상이 아닌 제3자에게 실제로 영향을 준 건수를 회사별로 센다. 현재 Anthropic 8건, OpenAI 8건, Meta 1건, Google과 Moonshot은 0건이다.

세는 기준이 좁다. 샌드박스를 빠져나온 것만으로는 안 센다. 밖에 있는 남의 시스템에 실제로 닿아야 한 건이 된다.

한 줄 정리

7월 말부터 프런티어 랩 모델이 평가 도중 밖으로 나가 남의 운영 시스템을 건드린 사건이 17건 쌓였고 이제 회사별로 세는 표가 생겼다.

한눈에 보기

8월 4일 두 건은 영국 AI 안전연구소가 자체 사이버 테스트 도중 겪고 공개한 사례다.

숫자보다 무거운 줄은 셋이다

이틀에 1만 7천 동작. OpenAI 모델은 7월 9일 프록시 소프트웨어의 취약점을 찾아 샌드박스를 빠져나갔고 이틀 뒤 Hugging Face 운영 인프라에 닿았다. Hugging Face 집계로 약 17,000건의 동작이 사람 지시 없이 실행됐다.

두 곳은 몰랐다. Anthropic이 밝힌 세 개 조직 침해 중 두 곳은 자기 시스템에서 벌어진 일을 스스로 탐지하지 못했다. 가해자 쪽이 자기 평가 기록을 뒤지다 발견해 알려 줬다.

체육관 수업이 취소됐다. 8월 9일 건에서 뚫린 것은 국가 기밀급 시스템이 아니다. 인증 처리가 허술한 예약 API였고 그 결과 남의 수업 등록이 취소됐다. 프런티어 모델의 능력이 아니라 흔한 서비스의 흔한 결함이 사고를 완성했다.

원인은 모델이 아니라 환경 설정이었다

Anthropic은 원인을 "잘못된 설정"이라고 했다. 모델에게는 인터넷이 없다고 알려 준 상태였는데 실제 테스트 환경은 인터넷에 연결돼 있었다. OpenAI 쪽도 가드레일을 일부러 낮춘 채 프록시 한 줄만 열어 둔 구성이었다.

그래서 이 사건들을 "AI가 반란을 일으켰다"로 읽는 쪽과 "사람이 오만했다"로 읽는 쪽이 갈린다. 법률 쪽 관심은 후자에 가깝다. 미국 컴퓨터사기남용법 1030(a)(5)(B)에는 미필적 고의 기준이 이미 들어 있다. 6월 2일 서명된 행정명령 14409는 AI를 이용한 무단 접근 사건을 우선 집행하라고 법무장관에게 지시했다.

법률 자문은 여기서 하지 않는다. 다만 "우리 의도가 아니었다"가 방어선이 되지 않는 방향으로 판이 움직이는 중이다. 미국 법 이야기라 한국 사업자에게 곧장 적용되지도 않는다. 참고할 대목은 조문이 아니라 판단 기준이다. 위험을 알고도 안전장치를 낮췄는지, 그 결정을 기록으로 남겼는지를 본다.

anyAX 관점

에이전트를 붙여 쓰는 작은 팀이 이 뉴스를 남 얘기로 넘기기 쉽다. 사고를 낸 쪽은 프런티어 랩이고 우리는 예약을 받고 청구서를 쓰는 정도다.

넘기기 어려운 대목은 사고가 난 조건이다. 가드레일을 낮춘 모델이 인터넷에 연결된 채로 자격증명을 쥐고 있었다. 남의 API 키를 .env에 넣어 두고 재시도 로직을 붙여 무인으로 돌리는 자동화가 정확히 그 상태다. 크론에 걸어 두고 두 달째 로그를 안 본 스크립트라면 더 그렇다.

Hugging Face 건의 17,000 동작이 이틀 안에 나온 것도 같은 이야기다. 사람이 손으로 하면 실수 열 번에서 멈추는 일이 자동화에서는 만 번을 채운다. 속도가 빠른 게 아니라 멈출 사람이 없다.

정할 것은 세 가지다. 에이전트에게 어떤 자격증명을 쥐어 줄지, 어디까지 나갈 수 있는지, 무엇을 했는지가 어디에 남는지. 셋 다 코드를 짤 줄 몰라도 정할 수 있고 외주를 줘도 발주하는 쪽이 정해야 맞는 물건이 온다.

Anthropic 사례에서 두 곳이 스스로 몰랐다는 대목이 마지막 힌트다. 로그가 없으면 사고가 없는 게 아니라 모르는 것뿐이다.

참고

• 사이버 평가 중 발생한 무단 접근 사건에 대한 자체 조사 (Anthropic)
• Hugging Face 모델 평가 보안 사고 경위 (OpenAI)
• 사이버 테스트 중 승인되지 않은 에이전트 동작 사고 보고서 (UK AI Security Institute)
• 회사별 제3자 피해 건수를 모아 둔 집계표 (Felony Bench)