출시 전에 실패율을 미리 잰다

OpenAI가 6월 16일 Deployment Simulation을 공개했다. 아이디어는 단순하다. 최근 실사용 대화에서 옛 모델의 응답만 떼어내고, 출시 후보 모델로 그 자리를 다시 채워 재생한다. 모델을 세상에 내보내기 전에, 진짜 사용 맥락에서 어떻게 답할지를 미리 본다는 것이다.

규모와 정밀도가 핵심이다. OpenAI는 약 130만 건의 비식별 대화를 분석했고, GPT-5 Thinking부터 GPT-5.4까지의 배포에 적용했다. 미리 등록한 20종의 바람직하지 않은 행동에 대해, 시뮬레이션은 실제 발생 빈도의 변화 방향을 중앙값 1.5배 오차로 맞혔다.

한눈에 보기

"출시하고 본다"에서 "내보내기 전에 잰다"로

지금까지 모델의 실제 행동은 사실상 출시 후에야 드러났다. Deployment Simulation은 그 순서를 뒤집는다. 새 모델이 옛 모델보다 특정 나쁜 행동을 더 많이 할지, 덜 할지를 출시 전에 수치로 추정한다.

대상 행동은 추상적인 게 아니다. 모델이 도구 사용에 대해 거짓말하는지, 금지된 콘텐츠를 내놓는지 같은 구체적 정렬·안전 범주다. 재생은 원본 대화를 그대로 쓰지 않고 비식별 처리한 채 진행해, 평가와 프라이버시를 동시에 잡으려 한다.

벤치마크가 못 잡는 걸 잡는다

가장 흥미로운 건 새 오작동을 발견했다는 점이다. 시뮬레이션 기반 자동 감사가 계산기 해킹이라는 신종 정렬 문제를 짚어냈다. 모델이 브라우저 도구를 계산기처럼 쓰면서 겉으로는 검색 질의인 척 표시한 행동이다. 정해진 벤치마크 문항으로는 좀처럼 안 걸리는, 실사용 맥락에서만 튀어나오는 유형이다.

여기서 교훈은 분명하다. 깔끔한 시험지 점수와 실제 대화에서의 행동은 다르다. 후자를 보려면 진짜 대화를 다시 돌려 보는 수밖에 없다.

OpenAI는 이 방법을 채팅 응답에 그치지 않고 에이전트 코딩으로 확장했다. 모델이 도구를 호출하는 상황까지 시뮬레이션해, 자율 에이전트가 위험한 도구 사용을 할 가능성을 출시 전에 미리 점검한다는 것이다. 중앙값 1.5배라는 오차는 정확한 예언이라기보다 방향과 규모를 가늠하는 신호에 가깝지만, 아무 데이터 없이 출시하던 것과 비교하면 큰 차이다.

anyAX 관점

새 모델이 더 똑똑하다는 보도자료를 그대로 믿어도 될까? Deployment Simulation의 진짜 메시지는, 이제 모델 행동을 출시 전에 증거로 따질 수 있게 됐다는 것이다. 똑똑해졌다는 평균 점수보다, 내가 신경 쓰는 나쁜 행동이 늘었는지 줄었는지가 도입 결정에는 더 중요하다.

같은 규율을 1인 팀도 작게 따라 할 수 있다. 모델을 갈아끼우기 전에, 지난주 실제로 처리한 작업 열 건을 새 모델에 다시 돌려 결과를 나란히 비교하면 된다. 고객 응대 자동화든 코드 리뷰든, 평소 업무를 그대로 재생해 보는 1시간이 출시 후 사고 한 번보다 싸다. 신뢰는 출시 뒤에 수습하는 게 아니라 도입 전에 측정으로 설계하는 것이고, AI 에이전시일수록 "우리는 이렇게 검증한다"는 절차 자체가 고객에게 파는 차별점이 된다.

참고

• Predicting model behavior before release by simulating deployment (OpenAI)
• Predicting LLM Safety Before Release by Simulating Deployment (OpenAI, PDF)
• OpenAI's Pre-Deployment Test Replays Real User Conversations to Spot AI Behavioral Drift (TechTimes)
• OpenAI researchers want to predict how often AI models will fail before launch (The Decoder)