코드 한 줄 안 바꿨는데 품질이 반토막 났다: Fable 5 안전 분류기가 코딩 요청을 약한 모델로 우회, 디버깅 70% 급락

7월 2일, 벤치마크 하나가 이상한 수치를 냈다. Claude Fable 5의 TypeScript 디버깅 점수가 7월 1일 재배포 뒤 86.2에서 25.9로, 70% 무너졌다 (BridgeMind의 BridgeBench). 모델이 멍청해진 게 아니다. 요청이 모델에 닿기도 전에 가로채져서다.

Anthropic이 7월 1일 붙인 새 안전 분류기가 코딩 요청 상당수를 Fable 5가 아니라 더 약한 Opus 4.8로 넘긴다. BridgeBench에서 디버깅 12개 과제 중 3개만 Fable 5까지 갔고, 나머지 9개는 Opus 4.8로 우회돼 0점 처리됐다. 벤치마크가 평가 대상 모델이 답을 못 하면 0점을 매기기 때문이다. 개발자는 자기가 요청하지도, 대개 알아채지도 못한 대체 모델을 받고 있다.

한눈에 보기

벤치마크 (BridgeBench)	6월	7/1	변화
디버깅	86.2	25.9	▼70%
리팩터링	73.6	38.4	▼48%
환각 억제	75.9	61.7	▼19%

디버깅 순위는 42개 모델 중 9위에서 41위로 추락했다. 가격은 그대로다. Fable 5는 입력 100만 토큰 $10, 출력 $50으로 Opus 4.8의 두 배다. 우회된 호출엔 Fable 요금을 물리지 않지만, 어느 요청이 우회될지는 아무도 모른다.

왜 이렇게 됐나

Fable 5는 6월 9일 출시됐다. 사흘 뒤 Amazon 연구진이 "이 코드를 고쳐 달라"는 식의 프롬프트로 알려진 취약점을 악용하도록 유도되는 좁은 우회를 신고했다. 미국 상무부는 6월 12일 긴급 수출통제를 걸었고, API 규모에서 사용자 국적을 실시간 확인할 수 없던 Anthropic은 전 세계 접속을 통째로 끊었다. 19일간의 셧다운이었다.

상무부가 6월 30일 통제를 풀었고, 7월 1일 Fable 5가 복귀했다. 단, 신고된 기법을 99% 이상 차단하도록 훈련한 새 분류기를 얹은 채였다. 부작용은 Anthropic도 인정했다. 정상 코딩·디버깅 요청을 더 자주 플래그한다는 것이다. 다만 그 빈도가 얼마나 되는지는 수치로 밝히지 않았다. 그 빈칸을 외부 벤치마크가 채웠다.

어떤 모델을 받는지 예측할 수 없다

분류기는 의도가 아니라 형식을 본다. 보안에 인접한 코드리뷰처럼 보이는 프레이밍이면 걸린다. 문제는 세션 안에서 어느 요청이 통과하고 어느 요청이 우회될지 사전에 알 방법이 없다는 점이다. 6월 출시 때는 폴백이 세션의 5% 미만이었는데, 지금 디버깅에서는 12개 중 9개다.

당장 쓸 수 있는 대응은 두 가지다. 결과가 일정해야 하는 작업이라면 아예 Opus 4.8로 직접 고정해 예측 가능성을 확보한다. 그리고 모델을 식별하는 엔드포인트로 실제로 어떤 모델이 답했는지 확인한 뒤 프로덕션에 올린다.

한편 Anthropic은 Amazon, Microsoft, Google과 함께 Project Glasswing이라는 이름으로 잠입 심각도를 등급화하는 산업 표준을 제안했다. 발견 용이성과 실제 피해 규모라는 두 축으로 위험을 나눈다. 세 대형 클라우드가 함께 밀면 사실상의 업계 기준이 될 공산이 크다. 앞으로 이런 안전 계층이 늘어난다는 뜻이기도 하다.

anyAX 관점

6월에 멀쩡히 돌던 파이프라인이, 코드를 한 줄도 안 바꿨는데 7월 1일 아침에 품질이 반토막 났다. 공급사 공지에는 "정상 요청도 더 자주 플래그될 수 있다"는 정성적 문장만 있었지, "디버깅의 4분의 3이 우회된다"는 숫자는 없었다.

교훈은 분명하다. API로 부르는 모델은 고정된 부품이 아니라, 공급사가 안전과 정치 사정으로 언제든 바꾸는 움직이는 표적이다. 그러니 프롬프트가 잘 도는 걸 확인하고 끝내면 안 된다. 내 쪽에 자동 eval을 붙여 매일 회귀를 측정하고, 어떤 모델이 실제로 응답했는지 로깅하고, 결과가 흔들릴 때 갈아탈 폴백을 스스로 정해 둬야 한다. 남이 만든 폴백에 품질을 맡기면, 그 폴백의 성능이 곧 내 제품의 상한선이 된다. 이번 사건에서 그 상한선은 개발자가 고르지 않은 채 Opus 4.8로 정해졌다.

한눈에 보기

왜 이렇게 됐나

어떤 모델을 받는지 예측할 수 없다

anyAX 관점

참고