Behind the episode

영상에 담기지 못한 것들

세 줄 요약
  1. AI 150명에게 1억씩 주고 가상 시장에서 30일을 돌렸습니다. 1회차에 51명이 퇴출됐고 가장 정확하게 시장을 읽던 AI가 그중에 있었습니다.
  2. 같은 실험을 세 판 돌리자 한 판에서 얻은 결론의 절반이 사라졌습니다. 파산율도, 성향 순위도, 모델 계열 격차도 장세를 따라 움직였습니다.
  3. 세 판 전부에서 살아남은 결론은 네 개뿐이고, 그중 가장 큰 것은 방향을 맞히는 능력과 살아남는 능력이 서로 다르다는 사실이었습니다.
$10.89한 회차 실측 API 비용

30라운드 · 호출 2,603건. 라운드당 $0.36, 호출당 $0.0042

150 → 991회차 30일 뒤 생존자

51명이 탈락선 아래로 내려가 퇴출. 첫 퇴출은 고점보다 사흘 빠른 10일차

0.82배아무것도 하지 않았을 때의 성적

유지비만 빠져나간 값. 여덟 성향 중 다섯이 이 근처이거나 아래였습니다

1.96 / 0.00추격 매수의 평균과 중앙값

18명 중 10명이 파산하고 살아남은 소수가 평균을 끌어올린 결과

89%역발상 성향의 1회차 파산율

방향은 맞았습니다. 지수는 1245에서 692까지 떨어졌습니다

모델 아홉 종에 실제로 나간 돈

3회차(시드 857) 한 판의 과금 기록 전부입니다. 30라운드를 돌며 2,603번 호출했고 총 $10.89가 나갔습니다. 라운드당 $0.36, 호출 한 번당 $0.0042입니다.

편집에서 잘린 이유영상은 실험 결과를 다루느라 제작비를 한 번도 말하지 않았습니다. 정작 이 표가 실험 설계를 그대로 설명합니다. 왜 플래그십 모델이 150명 중 24명뿐인지가 여기 있습니다.

모델가격대호출입력 토큰출력 토큰비용호출당
Claude Fable 5플래그십13071,84055,242$3.4805$0.02677
GPT-5.6 Sol플래그십15157,69237,470$1.4126$0.00936
Grok 4.6플래그십111114,018140,105$1.0687$0.00963
Claude Sonnet 5중간308169,829151,317$1.8528$0.00602
Grok 4.20중간286158,669346,789$1.0653$0.00373
GPT-5.6 Terra중간275104,58058,867$0.9156$0.00333
Claude Haiku 4.5저가411224,59287,180$0.6605$0.00161
Grok 4.1 Fast저가442247,369352,917$0.2259$0.00051
GPT-5.6 Luna저가489185,841145,847$0.2122$0.00043
합계2,6031,334,4301,375,734$10.8940$0.00419

Claude Fable 5는 전체 호출의 5.0%인데 비용의 31.9%를 썼습니다. 호출당 단가로는 GPT-5.6 Luna의 62배입니다. 회사별로는 Anthropic 55.0% · OpenAI 23.3% · xAI 21.7%.

회차별 비용과, 버려야 했던 라운드

네 판의 과금 기록이 남아 있습니다. 그런데 온전히 30라운드를 완주한 판은 하나뿐입니다.

편집에서 잘린 이유실패한 회차는 영상에 넣을 자리가 없었습니다. 다만 방송에 쓴 세 판을 고른 근거가 바로 이 표입니다.

시드비용호출지수 흐름버린 라운드사유
857 (3회차)$10.892,6031007 → 1135 → 837 → 1115없음30라운드 전부 성함. 실패 0건
613 (2회차)$9.352,2801000 → 1153 → 973R29~30청산 버그. 앞 28라운드는 무응답 8건뿐
741$8.741,9311020 → 1223 → 1074R12~18네트워크 장애. 포지션은 살아남음
512$8.422,113995 → 1114 → 953R15~19청산 버그. 보유자 71 → 21 → 2
369 (1회차)기록 없음1012 → 1245 → 692없음비용 계측 도입 이전 회차

무응답을 hold로 정산하던 시기에는 hold가 포지션을 닫는 동작이라, 네트워크가 먹은 라운드가 판 전체를 청산했습니다. 741부터 답하지 못한 에이전트가 포지션을 그대로 안고 가도록 고쳤습니다.

판을 붙잡은 건 Grok이었습니다

3회차(시드 857) 30라운드에서 응답 하나하나에 걸린 시간입니다. 한 라운드는 가장 늦게 답한 한 명을 기다리므로 판의 속도를 정하는 건 중앙값이 아니라 꼬리입니다.

편집에서 잘린 이유영상은 결과만 다룹니다. 30일짜리 판 하나를 돌리는 데 왜 그렇게 오래 걸렸는지, 여섯 판을 돌려야 온전한 게 나온 까닭은 무엇인지를 여기에 적었습니다.

회사중앙값p90최대응답 유실
GPT-5.64.00초5.63초11.0초0건
Claude5.13초10.17초20.6초0건
Grok8.82초21.80초189.1초27건

2회차(시드 613)도 순서가 같았습니다. GPT 3.56초 · Claude 4.33초 · Grok 9.71초이고 최대는 Grok의 206.3초입니다. 응답 유실은 답을 받지 못한 채 포지션만 남은 상태인데 3회차에서는 27건 전부 Grok 쪽이었습니다.

느린 이유는 말이 길어서였습니다

지연의 원인은 네트워크가 아니라 출력량이었습니다. 같은 질문에 Grok 계열이 서너 배 길게 답합니다.

편집에서 잘린 이유영상에서 모델을 비교한 건 수익률뿐입니다. 운영하는 쪽에서 실제로 갈린 건 이쪽이었습니다.

모델가격대호출당 출력 토큰호출당 비용
Grok 4.6플래그십1,262$0.00963
GPT-5.6 Sol플래그십248$0.00935
Claude Fable 5플래그십425$0.02677
Grok 4.20중간1,213$0.00372
GPT-5.6 Terra중간214$0.00333
Grok 4.1 Fast저가798$0.00051
GPT-5.6 Luna저가298$0.00043

Grok 4.6은 GPT-5.6 Sol보다 5.1배 길게 답하는데 호출당 비용은 거의 같습니다. 토큰 단가가 낮아 그만큼 상쇄됐고 값을 치른 쪽은 비용이 아니라 시간이었습니다. 다만 실패한 회차를 다시 돌린 비용은 그대로 나갔습니다. 기록에 남은 네 판의 합이 $37.39이고 그중 30라운드가 전부 성한 건 한 판입니다.

캐릭터 시트: 여덟 성향과 쉰 개의 이름

성향을 가르는 건 판단 주기 하나입니다. 적극 대응은 이틀마다 다시 보고 가치 투자는 열흘에 한 번 봅니다. 성적은 그 주기를 거의 그대로 따라갔습니다.

편집에서 잘린 이유영상은 성향 이름만 부르고 페르소나 이름은 자막으로만 스칩니다. 쉰 개를 다 읽으면 4분이 날아가기 때문입니다.

성향주기프롬프트에 준 성격페르소나 이름1회차 중앙값1회차 파산
적극 대응2일즉각 반응가잰걸음 · 촉새 · 반사신경 · 손빠름 · 눈치백단 · 재바름5.63배4 / 18
추격 매수2일열정적인 선점가불나방 · 상투 · 막차 · 급발진 · 조바심 · 한발늦0.00배10 / 18
추세 추종3일민첩한 추적자파도 · 순풍 · 눈덩이 · 물살 · 관성 · 뒷바람 · 가속3.39배2 / 21
방어적 대응3일신중한 방어가새가슴 · 겁보 · 살얼음 · 움츠 · 방패 · 노심1.04배0 / 18
퀀트 분석4일정밀한 계산가계산기 · 소수점 · 시그마 · 회귀선 · 백테스트 · 표본1.03배6 / 18
역발상6일독립적인 반론가청개구리 · 반골 · 삐딱이 · 거꾸로 · 딴전 · 외길0.00배16 / 18
거시 분석8일넓게 보는 전략가큰그림 · 나침반 · 지평 · 대세 · 원경 · 먼눈0.70배8 / 18
가치 투자10일차분한 감별가존버 · 뚝심 · 묵은지 · 곰삭 · 느긋 · 뿌리 · 기다림1.00배5 / 21

이름은 장식이 아니라 인덱스입니다. 성향이 명단 위치로 정해지므로 존버라는 이름의 단타꾼이 나오면 그건 농담이 아니라 버그입니다. 파산자는 0배로 넣어 중앙값을 계산했습니다.

AI에게 준 지시는 이게 전부입니다

루머 대응도, 레버리지 상한도, 손절 규칙도 프롬프트에 없습니다. 성향 한 줄과 그 라운드의 시장 상황만 줬습니다.

편집에서 잘린 이유영상은 이 화면을 3초 띄우고 지나갑니다. 정작 「아무도 시키지 않은 판단」 장면이 성립하는 근거는 이 한 줄입니다.

항목실제로 준 것
지시문당신의 방식은 «역발상»이고 성향은 «독립적인 반론가»입니다.
추가 규칙없음. 루머·미확인·포지션 축소라는 단어가 프롬프트에 등장하지 않습니다
그런데 나온 답「미확인 속보는 추격 위험을 남깁니다. 소폭의 롱으로 참여하되 과도한 배수와 추종은 피하겠습니다」
같은 성향 다른 개체같은 한 줄을 받고도 판단은 저마다 갈렸습니다. 정해진 전략의 반복이 아니었습니다

성향 여덟 개 전부 같은 형식입니다. 방식과 성향, 두 단어만 바뀝니다.

같은 기사를 읽고 세 방향으로 갈렸습니다

속보는 전원에게 같은 시각 같은 문장으로 나갑니다. 세 회차 23건을 전부 확인했는데, 판단이 한 방향으로 모인 기사가 하나도 없었습니다.

편집에서 잘린 이유영상은 이 중 14일차 정정 보도 한 건만 씁니다. 나머지 일곱 건의 언급률은 자막으로도 나오지 않습니다.

일차속보종류판단 근거로 인용한 비율
8일차카이퍼 협수로 통항 차질설루머84%
11일차통항 정상화 주장미확인66%
14일차정상화 보도 오보정정89%
17일차리겔 유전 지구 감산 검토설루머 · 새 산업78%
20일차저유 탱크 14번 정지 확인확인55%
23일차호가 잔량 급감시장80%
26일차369 정련 단지 채굴권 재심사설루머 · 새 산업56%
29일차적치장 C블록 허가 취소 확인확인55%

8일차 기사 하나에 매수 36명 · 관망 20명 · 매도 9명이 나왔습니다. 확인된 사실보다 루머 인용률이 높다는 것도 세 판 내내 반복됐습니다.

파산율 1위는 양 끝이 아니라 가운데였습니다

성향과 무관하게, 30일 동안 쓴 평균 레버리지로 150명을 넷으로 나눴습니다. 세 판 전부 같은 모양이 나왔습니다.

편집에서 잘린 이유영상에도 나오지만 표는 한 번 스칠 뿐입니다. 세 회차를 나란히 놓아야 「가운데가 제일 위험하다」가 우연이 아닌 게 보입니다.

회차거의 미사용낮은 레버리지중간 레버리지높은 레버리지
1회차0.86배 / 11%0.00배 / 54%0.99배 / 46%4.46배 / 26%
2회차0.81배 / 0%0.69배 / 19%0.65배 / 35%1.49배 / 15%
3회차0.81배 / 3%0.88배 / 27%1.50배 / 41%3.23배 / 36%

앞이 중앙값, 뒤가 파산율입니다. 레버리지를 거의 쓰지 않은 그룹은 세 판 전부 0.81~0.86배로 유지비 선에 묶였고 고레버리지 그룹만 세 판 전부 그 선을 넘었습니다. 다만 1위가 양 끝인 회차는 한 판도 없었습니다.

세 판을 돌리고 남은 것

  1. 방향을 맞히는 것과 살아남는 것은 다른 능력이다

    역발상 성향은 고점 부근에서 과열이라고 판단하고 하락에 걸었습니다. 지수는 실제로 1245에서 692까지 떨어졌습니다. 그런데 18명 중 16명이 퇴출됐고 그중 7명은 고점이 오기도 전에 자본이 먼저 바닥났습니다.

    세 판 전부 중앙값 0배. 파산율 89 · 61 · 61%. 퇴출 일차는 10 · 10 · 11 · 11 · 11 · 12 · 12 · 13…이고 고점은 13일차입니다.

  2. 평균은 살아남은 사람만 세고 있었다

    추격 매수의 최종 평균 수익률은 1.96배입니다. 중앙값은 0입니다. 18명 중 10명이 파산했고 살아남은 몇 명이 평균을 끌어올렸습니다.

    성적은 전부 중앙값 기준으로 다시 집계했습니다. 파산자를 빼고 평균만 보면 여덟 성향 중 여섯이 이익으로 보입니다.

  3. 한 판 보고 배운 것은 배운 게 아니었다

    1회차만 놓고 보면 「싸구려 AI가 비싼 AI를 이겼다」가 성립합니다. 3회차에서 정보가 제한된 그룹의 파산율은 14%, 완전한 정보를 받은 그룹은 35%였습니다. 그런데 나머지 두 판에서는 반대로 나왔습니다.

    파산율을 크게 바꾼 건 전략이 아니라 장세였습니다. 1회차 51명 소멸, 2회차 23명, 3회차 40명.

  4. 애매한 확신이 가장 비쌌다

    레버리지 4분위에서 파산율 1위는 세 판 모두 가운데 두 구간이었습니다. 위험을 조금만 줄였다고 파산 위험이 비례해서 줄지 않았고 대신 성공했을 때의 보상도 함께 줄었습니다.

    1회차 낮은 레버리지 구간 54%, 2·3회차 중간 구간 35%와 41%. 양 끝이 1위인 회차는 없습니다.

  5. 열심히 판단한 것과 실제로 이긴 것은 달랐다

    퀀트 분석은 나흘마다 정량 신호를 검증했고, 가치 투자는 열흘마다 논거를 점검했습니다. 둘 다 세 판 중앙값이 0.77~1.02와 0.81~1.00으로, 아무것도 하지 않았을 때의 0.82배와 거의 같은 자리였습니다. 거시 분석은 세 판 전부 그 아래였습니다.

    0.82배 = (1억 − 라운드당 순유출 60만 원 × 30라운드) ÷ 1억.

  6. 게임의 규칙이 전략의 승패를 정한다

    이 세계는 매 라운드 유지비가 빠져나가서 현금만 들고 있어도 자산이 줄어듭니다. 그래서 이틀마다 시장을 다시 보는 성향이 유리했습니다. 이걸 「자주 매매할수록 좋다」로 읽으면 안 됩니다. 그렇게 설계된 게임이었을 뿐입니다.

    아무리 논리적인 AI라도 잘못된 게임에 넣으면, 잘못된 답을 아주 논리적으로 찾아냅니다.

이 실험이 말할 수 없는 것

  • 이건 가상 시장입니다. 지수는 에이전트들의 응답에서 만들어지고, 실제 종목이나 실제 체결과는 무관합니다. 투자 판단의 근거로 쓸 수 있는 데이터가 아닙니다.
  • 세 판으로는 장세를 다 덮지 못합니다. 폭락 · 횡보 · V자 회복 세 가지를 봤을 뿐이고 네 번째 판에서 또 무엇이 뒤집힐지는 모릅니다.
  • 같은 시드로 다시 돌려도 같은 회차가 나오지 않습니다. 모델 응답이 결정적이지 않고 활성화 추첨과 시장 잡음도 매번 갈립니다. 그래서 회차 원본을 압축해 따로 보관합니다. 여기 적힌 수치는 전부 그 기록에서 다시 계산한 값입니다.
  • 1회차(시드 369)와 나머지는 활성화 규칙이 다릅니다. 369에서는 일부 에이전트가 16라운드까지 한 번도 질문을 받지 못했습니다. 성향별 성적을 나란히 놓을 때는 이 차이를 먼저 말해야 합니다.
  • 2회차는 29일차 API 장애로 마지막 두 라운드의 응답이 0건입니다. 이 회차의 모든 집계는 28일차 기준입니다.
  • 모델 가격대는 실험 시점의 과금 기록이고 단가는 바뀝니다. 비용 표는 절대 금액보다 모델 간 배수로 읽는 편이 오래 갑니다.

먼저 나올 질문들

결국 어느 AI가 제일 잘했나요?

세 판 450명 통합 평균은 GPT 2.00배 · Claude 1.33배 · Grok 1.87배입니다. 그런데 중앙값은 1.03 · 0.82 · 0.82로, Claude와 Grok은 소수점까지 같고 둘 다 유지비 선에 앉아 있습니다. 소수의 대박이 평균을 벌려 놓았을 뿐이고 어느 계열을 썼느냐가 결과를 가른 정도는 생각보다 작았습니다.

왜 하필 150명인가요?

회사 세 곳 × 가격대 세 단계 × 성향 여덟 가지를 다 채우고, 같은 조합이 여러 명 나오도록 만든 최소 규모입니다. 조합당 한 명씩만 두면 결과가 분포가 아니라 일화가 됩니다. 실제로 1회차에서 「같은 성향 같은 회사인데 한 명은 파산하고 한 명은 3배 이상」인 조합이 열 개 나왔습니다.

한 판 돌리는 데 얼마나 걸리나요?

30라운드에 호출 2,600건 안팎이고 비용은 $9~11입니다. 실패한 회차까지 포함해 기록에 남은 네 판의 합이 $37.39입니다. 오래 걸리는 건 실행이 아니라 그 뒤입니다. 답변 원문을 다시 읽고 수치를 대조하는 데 훨씬 더 걸렸습니다.

파산이면 진짜 0원이 되나요?

아닙니다. 이 세계의 퇴출선은 시작 자본 1억의 절반입니다. 세 회차 탈락자 117명의 퇴출 시점 잔고는 중앙값 47%이고 0원까지 간 사람은 두 명뿐입니다. 영상에서 「0원」이라고 녹음했다가 「탈락」으로 다시 녹음한 것도 이 때문입니다.

같은 실험을 재현할 수 있나요?

같은 시드로 다시 돌려도 같은 회차는 나오지 않습니다. 그래서 재현의 단위를 코드가 아니라 기록으로 잡았습니다. 회차 원본을 압축해 보관하고 여기 적힌 수치는 전부 그 파일에서 다시 계산합니다. 리플레이 화면으로 특정 일차에 특정 에이전트가 무엇을 적었는지도 그대로 열립니다. 다만 코드와 기록은 아직 공개하지 않았습니다.

다음 회차는 뭔가요?

댓글에 가장 많이 나온 성향을 하나 더 넣어서 다시 돌립니다. 여러분이라면 이 세계에서 어떤 성향을 고르셨을지, 왜 그런지 영상 댓글에 남겨 주세요.

Insights

이 회차에서 나온 인사이트

AX 패턴

호출 5%가 비용 32%를 쓴다

에이전트를 늘릴 때 진짜 설계 대상

2026-08-29

AI 150명을 30일 돌린 한 판의 과금 기록을 열어 보니, 모델 배분이 곧 예산 설계였다. 플래그십은 호출당 저가 모델의 62배였다.

AX 패턴

한 번 돌려서 나온 결론의 절반은 그 판의 사연이었다

2026-08-29

같은 실험을 세 판 돌리자 여덟 개 결론 중 네 개가 사라졌다. 판단 자동화의 검증 단위는 실행 한 번이 아니라 회차다.