AI가 짠 코드를 AI가 증명한다: Leanstral 1.5, 오픈소스 저장소 57곳에서 아무도 몰랐던 버그 5개를 찾았다

코드를 쓰는 일은 이미 싸졌다. 문제는 그 코드가 맞는지 확인하는 일이다. Mistral이 이달 초 공개한 Leanstral 1.5는 그 반대편을 겨눈다. 증명 보조 도구 Lean 4로 소프트웨어가 의도대로 동작한다는 걸 수학적으로 증명하는 모델이고, 라이선스는 Apache 2.0, 가중치는 그대로 공개됐다.

숫자는 이렇다. 1,190억 파라미터의 전문가 혼합(MoE) 구조에 토큰당 활성 파라미터는 65억. 컨텍스트 256,000 토큰. miniF2F는 사실상 포화시켰고, PutnamBench에서 672문제 중 587개를 풀었다. 실전 지표인 FLTEval에서 pass@8이 31.9에서 43.2로 올랐는데, 이는 Opus 4.6의 39.6을 앞지르면서 비용은 7분의 1이다.

한눈에 보기

구조	1,190억 MoE, 활성 65억, 컨텍스트 256k
PutnamBench	587 / 672
FLTEval pass@8	43.2 (Opus 4.6 39.6), 비용 1/7
라이선스	Apache 2.0, 가중치 공개 + 무료 API
실전 성과	오픈소스 저장소 57곳 스캔, 알려지지 않은 버그 5개 발견

벤치마크보다 중요한 건 버그 5개

증명 모델의 벤치마크 점수는 늘 의심스럽다. 경시대회 문제를 잘 푸는 것과 남의 코드에서 진짜 결함을 찾아내는 건 다른 일이기 때문이다. 그래서 눈여겨볼 숫자는 587이 아니라 5다. 이 모델은 실제 오픈소스 저장소 57곳을 훑어 그때까지 아무도 보고하지 않은 버그 다섯 개를 찾았다.

테스트는 "이 입력에서 안 터진다"를 보여준다. 형식 검증은 "모든 입력에서 이 성질이 성립한다"를 보여준다. 후자는 지금까지 항공·금융·암호처럼 실패 비용이 극단적인 곳에서만 값을 치를 만한 사치였다. 그 사치의 가격이 떨어지는 중이다.

왜 지금 이 방향인가

생성 쪽은 이미 포화 상태다. 지난주만 해도 오픈웨이트 코딩 모델이 주요 제품 라인업에 정식으로 편입됐고, 프런티어 랩들은 에이전트 성능을 반값에 파는 경쟁을 하고 있다. 코드가 쏟아지는 속도가 사람이 읽는 속도를 넘어선 지 오래다.

병목은 자연스럽게 옮겨간다. AI가 쓴 코드를 사람이 다 리뷰할 수 없다면, 리뷰 자체가 자동화 대상이 된다. Leanstral의 노선은 "더 그럴듯한 코드"가 아니라 "참이라고 증명된 코드"다. 그리고 그 도구가 Apache 2.0으로, 무료 API로 풀렸다는 사실이 확산 속도를 정한다.

좁은 도구가 큰 모델을 이기는 구간

주목할 대비는 파라미터다. Leanstral은 토큰당 65억 개만 켠다. 그런데도 Lean 4 증명이라는 좁은 과업에서 훨씬 큰 범용 프런티어 모델을 앞선다. 도메인을 좁히면 작은 모델이 큰 모델을 이긴다는 명제가 또 한 번 확인된 셈이다.

이게 AI 네이티브 팀의 제품 설계에 주는 함의는 분명하다. 모든 걸 하나의 거대 모델에 밀어 넣는 구조는 비싸고, 정확도도 특정 과업에서는 오히려 낮다.

anyAX 관점

7분의 1 가격에 Opus 4.6보다 높은 점수라는 조합은 자랑이 아니라 원가표다. 그리고 이 표가 겨누는 건 증명이라는 좁은 칸 하나다. 1인 SaaS 개발자가 여기서 가져갈 건 Lean 4를 배우라는 조언이 아니다. 지금 자기 파이프라인에서 "생성"에 쓰는 예산과 "검증"에 쓰는 예산의 비율을 확인해 보라는 것이다. 대개 후자는 0이다. 코드를 뽑는 데는 모델을 붙였는데, 그게 맞는지 보는 데는 사람의 눈밖에 없다. 그 눈이 병목이면 출시 속도는 생성 속도가 아니라 리뷰 속도로 결정된다.

두 번째로, 알려지지 않은 버그 5개가 던지는 질문이 있다. 내 저장소를 이 모델에 통과시키면 무엇이 나오는가. 가중치가 공개돼 있으니 고객 코드를 남의 서버로 보낼 필요도 없다. 규제 산업을 상대하는 AI 에이전시라면, "우리 산출물은 형식 검증을 통과했습니다"는 경쟁사가 아직 못 쓰는 문장이다.

세 번째, 신뢰는 사후에 붙이는 게 아니라 처음부터 설계하는 항목이다. 에이전트에게 코드 배포 권한을 주는 팀이 늘고 있는데, 권한을 넓히기 전에 검증 층을 먼저 깔지 않으면 사고는 확률이 아니라 일정 문제가 된다.