쉬운 일을 AI가 가져가면 사람에게는 어려운 것만 남는다
1983년 논문이 이미 적어 뒀다
AI가 장애 대응을 맡으면 평균 복구 시간은 줄지만 어려운 장애의 복구 시간은 오히려 늘어난다는 진단이 나왔다. 근거는 1983년 자동화 역설 논문이다. 항공은 이 문제를 6개월마다 강제 훈련으로 푼다.
Rootly의 AI 랩을 이끄는 Sylvain Kalache가 9월 4일 올린 글이 이튿날 해커뉴스 앞면에서 354점, 댓글 307개를 받았다. 주장은 한 줄이다. AI가 장애 대응을 잘할수록 사람은 자기 시스템을 모르게 된다.
그가 내놓은 예측은 갈라진다. 대부분 장애의 평균 복구 시간(MTTR)은 내려간다. 반대로 복잡한 장애의 복구 시간은 올라간다. 쉬운 장애를 사람이 안 겪으면 어려운 장애를 풀 감각이 안 생기기 때문이다.
한 줄 정리
AI가 반복 장애를 가져가면 사람이 감각을 쌓던 연습 무대가 사라지고 남는 건 연습 없이 맞이하는 최악의 사건뿐이다.
이건 새 발견이 아니다
인간공학 연구자 Lisanne Bainbridge가 1983년 논문 The Ironies of Automation에서 같은 구조를 적었다. 자동화는 사람이 일상 작업을 연습할 기회를 줄이면서 새롭고 비정상적인 상황에 대한 책임은 그대로 사람에게 남긴다. 그래서 자동화 이후의 운영자는 이전보다 더 숙련돼야 하고 더 많은 훈련을 받아야 한다는 게 논문의 결론이다.
43년 전 원자력과 항공 관제를 보고 쓴 문장이 지금 장애 대응 도구 설명서에 그대로 들어맞는다. Kalache는 이 격차를 "이해 부채(comprehension debt)"라고 부른다. 시스템이 실제로 도는 방식과 대응하는 사람이 아는 방식 사이가 매달 조금씩 벌어진다.
항공은 이 문제를 이미 풀어 뒀다
비행기도 자동화가 대부분을 맡는다. 사람은 자동화가 감당 못 하는 것만 맡는다. 엔진 정지, 계기 이상, 이륙 중단 같은 것들이다.
그런 사건은 극단적으로 드물다. 현대 터빈 엔진의 비행 중 정지는 10만 엔진 비행시간당 1건 미만이다. 상업 조종사가 시뮬레이터 밖에서 한 번도 안 겪고 경력을 마칠 수 있는 확률이다. 그런데도 미국 연방항공청 규정은 기장에게 6개월마다 정기 훈련이나 기량 심사를 요구하고 이륙 중 엔진 고장 같은 시나리오를 그 안에 넣는다.
드물다고 안 훈련하면 어떻게 되는지도 기록에 있다. TransAsia 235편은 이륙 직후 오른쪽 엔진 프로펠러가 자동 페더링됐다. 왼쪽 엔진만으로 날 수 있게 설계된 기체였다. 승무원이 문제를 잘못 짚었고 기체는 첫 경고 뒤 117초 만에 실속해 추락했다.
콘텐츠 팀에도 그대로 온다
이건 서버 얘기로만 읽히지만 구조는 같다. 초안, 자막, 1차 리서치, 썸네일 시안, 기본 카피. 신입이 감각을 쌓던 자리가 전부 반복 작업이었고 그게 지금 제일 먼저 자동화되는 구간이다.
남는 일은 판이 흔들릴 때다. 광고 계정이 갑자기 성과가 무너졌을 때, 클라이언트가 톤이 이상하다고 했을 때, 모델이 그럴듯하게 틀린 숫자를 넣었을 때. 셋 다 반복 작업에서 쌓은 감각으로 잡아내는 종류다. 그 감각을 쌓을 자리를 없애 놓고 그 감각을 요구하게 된다.
Kalache는 AI에게 "네가 어떤 신호를 봤고 왜 그렇게 판단했는지 설명해 봐"라고 시키는 방식도 검토했다가 접었다. 관찰과 설명은 연습의 대체재가 아니다. 세리나 윌리엄스 경기를 아무리 봐도 테니스는 코트에 서야 는다.
이 함정이 특히 작은 팀에서 잘 안 보인다. 사람이 적어서 각자가 여러 역할을 겸하고 그래서 겸한 역할마다 연습량이 원래 얇다. 얇은 연습량에서 반복 구간을 빼면 남는 게 거의 없다. 30명짜리 회사에서 광고 성과를 손으로 뜯어 본 사람이 두 명뿐이라면 그 둘이 쉬는 날 판단은 멈춘다.
반대로 이 문제를 늦게 알아채기도 쉽다. 지표는 계속 좋아 보인다. 처리량이 늘고 마감이 당겨지고 야근이 준다. 이해 부채는 청구서가 안 날아오는 종류의 부채다. 갚으라는 날이 오는 게 아니라 이상한 사건이 오는 날 한꺼번에 드러난다.
anyAX 관점
여기서 나올 법한 결론은 "그러니 AI를 덜 써라"인데 그건 틀렸다. Bainbridge의 처방은 자동화를 줄이라는 게 아니라 훈련을 일정에 넣으라는 쪽이었다. 항공이 실제로 고른 답도 그거다. 10만 시간에 한 번 나는 사고를 6개월마다 시뮬레이터에서 겪게 한다.
작은 팀이 여기서 베낄 건 6개월이라는 주기와 "일정에 박아 둔다"는 형식이다. 분기에 한 번, 두 시간, AI를 끄고 한 건을 처음부터 끝까지 손으로 한다. 편집팀이면 자막 하나를 통으로, 마케팅이면 캠페인 하나의 성과 분석을 대시보드 없이. 목적은 결과물이 아니라 "이게 어떻게 굴러가는지" 다시 만져 보는 것에 있다.
돈으로 따지면 사람당 분기 두 시간이다. 연간 여덟 시간. 그 여덟 시간을 안 쓰면 정작 이상한 사건이 왔을 때 팀에서 유일하게 손으로 해 본 사람이 대표 한 명이 된다. 117초 안에 판단해야 하는 상황은 소프트웨어에 거의 없지만, 아무도 원리를 모르는 채 하루를 태우는 상황은 흔하다.