“3년 동안 GPT 세 세대, 세대마다 연산 10배, 그래서 1,000배.” 9월 팟캐스트에서 나온 이 셈법을 Epoch AI 추정치로 다시 계산했습니다. GPT-3에서 GPT-6 Astra까지는 약 3,000배였지만, 걸린 시간은 3년이 아니라 6.3년이었습니다.
마이크로소프트 AI를 이끄는 무스타파 슐레이만이 9월 27일 공개된 영국 팟캐스트 ‘The Rest Is Politics: Leading’에 나왔습니다. 대화 중 GPT-3에서 GPT-6까지 세 세대 동안 연산이 세대마다 대략 10배씩, 모두 1,000배 늘었다는 말이 오갔습니다.
다만 공개된 받아쓰기에는 말한 사람 표시가 없어, 이 문장이 슐레이만의 말인지 진행자 로리 스튜어트의 말인지는 확인하지 못했습니다. 슐레이만이 직접 쓴 1,000배는 다른 숫자입니다. 4월 MIT 테크놀로지 리뷰 기고에서 2028년 말까지 유효 연산이 1,000배쯤 더 늘 거라고 내다봤는데요.
두 숫자를 공개 자료로 차례로 맞춰 봤습니다. 지난 1,000배는 기간이, 앞으로의 1,000배는 속도가 관건이었습니다.
1. 방송에서 나온 말과 기고에 쓴 말
받아쓰기 맥락상 슐레이만의 말로 보이는 대목은 이렇습니다. 지난 15년 동안 최전선 모델 훈련에 쓴 연산이 1조 배 늘었고, 연산을 10배 늘리고 그만큼 데이터를 더하면 새 능력이 꽤 예측 가능하게 생긴다는 설명입니다.
4월 8일 기고에는 근거 숫자가 더 구체적으로 적혀 있습니다. 2020년 이후 최전선 모델의 훈련 연산은 해마다 5배 늘었고, 같은 성능에 필요한 연산은 약 8개월마다 절반으로 줄었다고 썼습니다.
그는 이 두 흐름을 합쳐 “2028년 말까지 유효 연산이 1,000배쯤 더 늘 것”이라고 봤습니다. 유효 연산은 칩을 더 많이 쓴 몫과 알고리즘이 효율적으로 바뀐 몫을 함께 센 값입니다.
2. GPT-3에서 GPT-6 Astra까지는 약 3,000배였습니다
Epoch AI는 공개 자료로 주요 모델의 훈련 연산을 추정해 공개합니다. 11월 5일 내려받은 자료에서 GPT-3는 3.14×1023 FLOP, GPT-4는 2.1×1025 FLOP, 9월 3일 나온 GPT-6 Astra는 9.4×1026 FLOP입니다.
GPT-3에서 Astra까지 나누면 약 2,994배입니다(다대구 계산). 세대 셈법의 1,000배보다 오히려 3배쯤 큽니다. 그런데 GPT-3는 2020년 5월에 나왔으니 걸린 시간은 6.3년입니다.
세대마다 늘어난 폭은 들쭉날쭉했습니다. GPT-3에서 GPT-4는 약 67배, GPT-4에서 GPT-5는 3.1배, GPT-5에서 Astra는 14.2배였습니다. 세대당 평균으로 따지면 약 14배입니다.
3년으로 자르면 숫자가 확 줄어듭니다. 2023년 9월까지 공개된 모델 가운데 연산이 가장 큰 건 GPT-4였고, 2026년 9월 기준으로는 Astra였습니다. 그 차이는 약 45배입니다(다대구 계산).
Epoch 값은 공개 정보로 낸 추정치이고, GPT-5 값은 ‘추측’ 등급입니다. 회사가 밝히지 않은 내부 모델도 빠져 있습니다.
3. 연 5배라는 속도도 기록보다 빨랐습니다
슐레이만은 2020년 이후 훈련 연산이 해마다 5배 늘었다고 썼습니다. Epoch 자료에서 최대 연산 기록만 이어 보면, GPT-3부터 Astra까지 6.27년 동안 연평균 3.59배였습니다(다대구 계산).
5배와 3.6배는 비슷해 보여도 쌓이면 차이가 큽니다. 같은 6.27년 동안 연 5배씩이면 약 2만 4,000배, 연 3.6배씩이면 약 3,000배가 됩니다.
기록만 이으면 속도가 낮게 나오는 이유는 자료에 보입니다. 2023년 12월 Gemini 1.0 Ultra가 세운 기록은 2025년 2월 Grok 3가 나올 때까지 1년 넘게 깨지지 않았습니다. 연산이 꾸준히 늘기보다 큰 학습이 몇 년에 한 번씩 몰려 나온 셈입니다.
4. 2028년 1,000배는 연 5배가 이어져야 맞는 숫자입니다
슐레이만이 기고에 쓴 두 비율로 그의 전망을 검산했습니다. 8개월마다 효율이 2배면 1년에 약 2.83배입니다. 여기에 훈련 연산 연 5배를 곱하면 유효 연산은 해마다 약 14.1배 늘어납니다.
기고일인 4월 8일부터 2028년 말까지 2.73년을 적용하면 약 1,392배가 나옵니다. 그의 숫자 안에서는 1,000배가 오히려 보수적으로 잡은 값입니다.
훈련 연산 증가율을 Epoch 기록 속도인 연 3.59배로 바꾸면 결과는 약 562배로 줄어듭니다. 1,000배에 닿으려면 유효 연산이 해마다 12.5배씩 늘어야 합니다(다대구 계산).
저는 1,000배가 칩만으로는 어렵고, 알고리즘 효율이 지금 속도를 지켜 줘야 나오는 숫자라고 봅니다. 그가 기고에서 메모리 대역폭, 서빙 비용, 전력 이야기를 길게 쓴 것도 칩 수 바깥의 몫이 크다는 뜻으로 읽힙니다.
5. 마이크로소프트의 자체 모델은 어디쯤 있을까
슐레이만이 이끄는 마이크로소프트 AI도 자체 모델을 만듭니다. Epoch 자료에는 10월 15일 공개된 MAI-Base-2가 올라 있는데, Epoch 정리 기준 GB200 1만 6,000개로 훈련했고 연산은 약 2.4×1025 FLOP입니다.
2023년에 나온 GPT-4(2.1×1025 FLOP)와 비슷한 규모입니다. GB200을 최소 10만 개 쓴 GPT-6 Astra와 비교하면 약 39분의 1입니다(다대구 계산).
공개된 숫자만 보면 슐레이만이 말하는 연산 규모와 자기 회사 공개 모델 사이에는 아직 간격이 큽니다. 다만 공개 모델 하나만 본 비교라, 회사의 내부 계획까지 말해 주지는 않습니다.
6. 1,000배라는 숫자는 기간과 연산의 범위에 따라 달라집니다
같은 1,000배라도 3년이면 해마다 10배, 6년이면 해마다 약 3.2배입니다. 무엇을 셌는지도 다른데요. 훈련에 쓴 연산, 알고리즘 효율까지 더한 유효 연산, 세계 전체 AI 연산은 서로 다른 숫자입니다. 같은 기고에 나온 “2027년 H100 환산 1억 개, 3년 사이 10배”는 세계 전체 연산 이야기입니다.
연산이 성능으로 얼마나 이어졌는지도 이 배수만으로 알 수는 없습니다. 연산이 3,000배 늘었다고 답이 3,000배 좋아지지는 않습니다. 앞서 다룬 GPT-6 Astra 보고서처럼, 가장 큰 모델도 특정 과제에서는 예상과 다르게 움직였습니다.
본문 그래프 2점은 Epoch AI 추정치와 슐레이만 기고 수치로 다대구가 직접 계산·작성했습니다. 대표 이미지: 다대구 생성 이미지.
