한 번 돌려서 나온 결론의 절반은 그 판의 사연이었다

AI에게 판단을 시키고 결과를 보는 실험은 한 번만 돌려도 그럴듯한 결론이 나온다. 그게 문제다.

1회차만 놓고 보면 이런 문장이 전부 데이터로 뒷받침됐다.

마지막 문장은 특히 좋았다. 반직관적이고 제목으로 쓰기 좋다. "싸구려 AI가 비싼 AI를 이겼습니다"로 다듬으면 그대로 썸네일이 된다.

두 판을 더 돌렸다

네 개가 전부 무너졌다. 파산율을 크게 바꾼 건 전략이 아니라 장세였다. 계열 간 격차 자체가 장세를 탔다. "싸구려가 이긴다"는 세 판 중 한 판에서만 나온 우연이었다.

세 판 전부에서 같은 방향이 나온 건 네 개뿐이었다. 방어적 대응의 파산자 0명, 거시 분석이 유지비 선 아래, 레버리지 4분위의 파산율 1위가 가운데 두 구간, 역발상의 중앙값 0배.

여기서 규칙 하나가 나왔다. 세 판 전부 같은 방향이면 [검증], 아니면 회차를 명시한다. 이 표기를 대본에 붙이고 나니 쓸 수 있는 문장이 눈에 띄게 줄었다.

에이전트가 내린 판단을 평가할 때도 같은 문제가 생긴다. 한 번의 실행에서 잘 나온 프롬프트는 그 실행의 입력에 맞춰졌을 수 있다. 실행을 회차로 묶고 회차 사이에서 재현되는 것만 성질로 인정하는 편이 안전하다.

비용도 그래서 미리 계산해야 한다. 한 판에 $9~11이었으므로 세 판을 돌리는 비용은 처음부터 예산에 들어 있었다. 검증을 나중 일로 남겨 두면 그 시점에는 이미 결론을 발표한 뒤다.