호출 5%가 비용 32%를 쓴다

에이전트를 여럿 띄우는 시스템을 만들 때 비용을 "토큰 단가 × 예상 호출 수"로 잡는 경우가 많다. 그 계산은 모델이 한 종일 때만 맞다. 아홉 종을 섞은 판의 과금 기록을 열어 보면 다른 그림이 나온다.

한 판의 실측

150개 에이전트, 30라운드, 호출 2,603건. 총 $10.89였다. 라운드당 $0.36, 호출당 $0.0042다.

이 평균이 아무것도 설명하지 못한다는 게 문제다.

같은 판 안에서 호출 한 번의 값이 62배 차이 난다. 플래그십 세 종을 합치면 호출의 15%로 비용의 54%를 쓴다.

그래서 무엇이 바뀌나

에이전트 수가 아니라 티어 배분이 예산을 정한다. 이 실험에서 플래그십을 150명 중 24명으로 묶어 둔 건 설계 취향이 아니라 예산이었다. 전원을 플래그십으로 돌렸다면 한 판에 $60을 넘겼다. 세 판을 돌린다는 결정 자체가 나오지 않았을 것이다.

호출 수를 줄이는 것보다 어느 호출을 내리느냐가 크다. 저가 모델의 호출을 절반으로 줄여도 이 판의 비용은 1% 남짓 떨어진다. 플래그십 호출을 절반으로 줄이면 27%가 떨어진다. 최적화 대상이 완전히 다르다.

출력 토큰이 많다고 비싸지 않다. Grok 4.1 Fast는 이 판에서 출력 토큰이 가장 많은 축인데(352,917) 비용은 아래에서 두 번째다. 토큰 수로 비용을 짐작하면 순위가 뒤집힌다.

기록하지 않으면 알 수 없다

이 표를 뽑을 수 있는 건 시드 512부터 호출마다 모델·토큰·비용을 회차 기록에 함께 저장하도록 고친 덕이다. 그 이전 회차들에는 비용 필드가 없다. 방송에서 근거로 쓴 1회차의 실측 비용도 그래서 남아 있지 않다.

에이전트를 여러 개 띄우는 시스템이라면 계측을 나중 일로 미루지 않는 편이 낫다. 지나간 실행의 비용은 나중에 다시 계산하지 못한다.