Substack이 글마다 AI 스캔 버튼을 달았다: 오탐 0.01% 주장 옆에 미탐 13%가 있다

어제부터 Substack 글 옆에 스캔 버튼이 하나 생겼다. 누르면 그 글이 얼마나 사람 손으로 쓰였는지 추정치를 보여 준다. 7월 22일 웹과 iOS에 먼저 열렸고 안드로이드는 이후다. 100단어가 넘는 텍스트면 게시글뿐 아니라 답글과 댓글까지 대상이다.

탐지 엔진은 Pangram이다. 회사 측은 최신 모델인 Pangram 3.3의 위양성률이 0.01%라고 주장한다. 사람이 쓴 글을 AI로 잘못 찍을 확률이 만 분의 일이라는 뜻이다.

한눈에 보기

출시	7월 22일, 웹과 iOS
대상	100단어 이상 게시글·답글·댓글
엔진	Pangram 3.3, 위양성률 0.01% 주장
부가 기능	창작자 AI 사용 고지란, 발행 전 초안 스캔, 결과 이의 제기
플랫폼 비교	링크드인 롱폼 40% 이상 완전 AI 생성, Substack은 5분의 1 이상이 AI 생성 또는 보조
반대 데이터	Epoch AI 측정, 스타일 모방 시 미탐 10~18%

Substack 대표 Chris Best는 이 기능을 "Against Claudefishing"이라는 글로 소개하면서 한계도 같이 적었다. 도구가 재는 건 AI를 썼는지 여부이지 그 글에 사람의 판단이 들어갔는지가 아니다.

라벨은 한쪽으로 기울어 있다

같은 달 Epoch AI가 Pangram, GPTZero, Originality.ai 셋을 나란히 시험했다. 조건은 세 가지였다. 사람 글, 짧은 프롬프트로 뽑은 AI 글, 그리고 특정 저자의 문체를 흉내 내게 시킨 AI 글.

앞의 둘은 잘 잡혔다. 문제는 세 번째다. 297개 지문 중 30~53개가 탐지를 통과했다. 위음성률로 환산하면 10~18%, 평균 13%다. 스타일 샘플 몇 개를 붙여 주는 것만으로 여덟 편 중 한 편이 사람 글로 넘어간다.

이 두 숫자를 나란히 놓으면 라벨의 성격이 보인다. 위양성 0.01% 대 위음성 13%. 성실하게 직접 쓴 사람이 억울하게 찍힐 확률은 낮고 문체 프롬프트 한 줄을 얹은 글이 무사히 통과할 확률은 꽤 높다. 즉 이 라벨은 무죄를 증명하는 데는 제법 쓸 만하고 유죄를 입증하는 데는 못 쓴다.

비대칭이 이 방향인 건 다행이다. 반대였다면 손으로 쓴 뉴스레터를 매주 발행하는 사람이 매주 해명해야 했을 것이다. 다만 방향이 좋다고 정확도가 높은 건 아니다. 문체 모방 비용은 프롬프트 한 문장이고 탐지 비용은 통계 모델 한 세대다. 이 격차는 시간이 갈수록 벌어진다.

Substack이 이 결과를 자동 제재에 쓰지 않고 독자에게 보여 주는 추정치로만 쓰기로 한 건 그래서 합리적이다. 13%가 새는 도구로 계정을 지우기 시작하면 억울한 사례가 반드시 나온다. 라벨을 판결문이 아니라 참고 표시로 두는 선택이 지금 기술 수준에 맞는다.

40% 대 20%: 플랫폼마다 농도가 다르다

Pangram이 플랫폼별로 측정한 수치가 같이 공개됐는데 여기가 더 흥미롭다. 링크드인 롱폼 게시물은 40% 이상이 완전 AI 생성으로 표시됐다. 조사 대상 중 최고치다. Substack은 롱폼 플랫폼 가운데 가장 낮았지만 그래도 5분의 1 이상이 AI 생성이나 AI 보조로 잡혔다.

숫자 자체보다 격차가 중요하다. 같은 도구를 쓰는데 채널마다 농도가 두 배 넘게 벌어졌다는 건 플랫폼의 보상 구조가 다르기 때문이다. 링크드인은 게시 빈도와 도달을 보상하고 뉴스레터는 구독 유지를 보상한다. 매일 던져야 하는 곳에서는 자동 생성이 이기고 다음 달에도 열리게 만들어야 하는 곳에서는 진다.

한 가지 덧붙일 게 있다. Pangram의 측정과 Epoch AI의 시험은 모두 영어 텍스트를 기준으로 한다. 한국어에서 같은 정확도가 나온다는 근거는 아직 공개된 게 없다. 국내 크리에이터가 이 수치를 자기 채널에 그대로 옮겨 적용하는 건 이르다. 다만 방향은 같다고 보는 게 안전하다. 문체 모방이 싸고 탐지가 비싸다는 구조는 언어를 가리지 않는다.

그러니 채널을 고를 때 "어디가 도달이 좋은가"만 볼 게 아니다. 어느 쪽 보상 구조가 내가 잘하는 일을 보상하는지를 봐야 한다. 손으로 쓴 글의 상대적 가치는 AI 농도가 낮은 채널에서 더 높다.

anyAX 관점

크리에이터 입장에서 이 발표의 실무 결론은 탐지 회피가 아니다. 13%짜리 창을 노려 문체 프롬프트를 다듬는 건 모델 세대가 바뀔 때마다 다시 해야 하는 일이고 그 창은 계속 좁아진다. 게다가 통과해도 얻는 건 라벨 하나뿐이다.

같이 열린 기능 쪽이 실속 있다. Substack은 창작자가 AI를 어디에 어떻게 썼는지 직접 적는 고지란을 만들었고 발행 전에 초안을 미리 스캔할 수 있게 했다. 스캔 결과가 틀렸다고 판단되면 이의도 제기할 수 있다. 라벨이 붙기 전에 먼저 말하는 쪽이 붙은 뒤에 해명하는 쪽보다 언제나 유리하다.

더 중요한 건 이 도구가 못 재는 영역이다. Best가 인정했듯 탐지기는 "AI를 썼는가"를 재지 "이 글에 사람이 신경을 썼는가"를 재지 못한다. 그 간극이 곧 남은 시장이다. 자기가 직접 돌려 본 실험의 숫자, 날짜가 박힌 자기 계정 대시보드, 고객과 주고받은 실제 대화의 결론. 이런 건 어떤 모델도 대신 만들어 주지 못하고 어떤 탐지기도 대신 증명해 주지 못한다.

실제로 해볼 만한 건 세 가지다. 발행 전에 자기 초안을 한 번 스캔해서 어떤 문단이 걸리는지 확인하고 그 문단이 정말 자기 생각인지 아니면 초안을 그대로 둔 자리인지 판별한다. 다음으로 고지란에 자기 작업 방식을 한 문장으로 적어 둔다. 자료 조사에만 썼는지 초고까지 맡겼는지를 밝히는 것만으로 라벨의 해석권이 독자에서 저자로 넘어온다. 마지막으로 매 글에 남이 복제할 수 없는 정보를 최소 하나씩 넣는다. 이게 가장 품이 들고 가장 오래 간다.

정리하면 이렇다. AI로 쓴 글과 사람이 쓴 글을 가르는 선은 흐려지는 중이지만 검증 가능한 1차 정보를 가진 글과 안 가진 글의 선은 그대로 선명하다. 후자에 붙는 게 안전하다.