MIT CSAIL 연구진이 GPT-6 Astra에게 작은 모델 Qwen3.5-0.8B의 가중치를 직접 고치게 해, 학습 없이 MATH-500 정답률을 7.9%에서 48.1%로 올렸어요. 하루 만에 재현 결과와 세대별 비교, 반론이 함께 나왔어요.
AI가 다른 AI의 속을 직접 열어 고치는 실험이 공개됐어요. 2026년 11월 2일 MIT CSAIL의 리키야 타케히, 제이든 테오, 알렉스 장, 오마르 카탑이 「Sparks of Weight-Space Programming」이라는 글과 실험 기록 전체를 내놨어요. 하루가 지나기 전에 재현 결과가 두 건 나왔고, 실험을 과장해 소개했다는 반론도 나왔어요.
이 글은 2026년 11월 4일 기준으로 원 연구가 무엇을 했는지, 재현에서 무엇이 확인됐는지, 어떤 한계가 지적됐는지 차례로 정리해요.
가중치를 직접 고친다는 게 무슨 뜻인가
가중치는 AI 모델 안에 들어 있는 수많은 숫자예요. 보통은 데이터를 잔뜩 보여 주는 ‘학습’으로 이 숫자를 조금씩 바꿔요. 연구진은 이 과정을 건너뛰고, 언어 모델이 숫자를 읽고 직접 고치게 했어요. 연구진은 이를 ‘가중치 공간 프로그래밍(Weight-Space Programming)’이라고 불렀어요.
대상은 알리바바의 공개 모델 Qwen3.5-0.8B예요. 이 모델은 수학 문제를 풀다 같은 말을 되풀이하며 답을 끝내지 못하는 일이 잦았어요. MATH-500 답변의 93.0%가 글자 수 한도에 걸렸을 정도예요. GPT-6 Astra는 이 반복과 관련된 방향을 찾아 15층과 19층의 일부 숫자에서 걷어 냈어요.
0.016%만 고쳤는데 정답률이 6배
바꾼 숫자는 8억 개 가운데 13만 1,072개, 0.016%예요. 결과는 아래 표와 같아요.
| 항목 | 고치기 전 | 고친 뒤 |
|---|---|---|
| MATH-500 정답률 | 7.9% | 48.1% |
| GSM8K 정답률 | 13.8% | 67.1% |
| IFEval(지시 따르기) | 21.0% | 62.3% |
| 글자 수 한도에 걸린 답변 | 93.0% | 33.1% |
| 허깅페이스 재현 MATH-500 | – | 51.0% |
연구진은 스스로 선을 그었어요. “가중치 수정은 숨어 있던 능력을 가리던 장애물을 치울 수는 있지만, 없던 능력을 더할 수는 없었다”고 적었어요. 실제로 반복 문제가 없던 구글 Gemma 3 270M에서는 수학 실력이 오르지 않았어요. 벤처비트 보도에 따르면 가장 잘된 시도에는 대화 158번, 파이썬 실행 80번, 20.3시간이 들었어요.
하루 만에 나온 재현 결과
연구진은 프롬프트와 코드, 출력, 평가까지 모든 실험 기록을 깃허브에 올렸어요. 허깅페이스의 아센 칼리크(Ahsen Khaliq)는 이 기록만으로 고친 모델을 다시 만들어 평가했어요. 11월 2일 날짜로 올라온 모델 카드에 따르면 MATH-500 500문제를 4번씩, 모두 2,000번 풀게 했고 정답률은 51.0%였어요. 원 연구의 48.1%보다 조금 높아요.
고친 모델은 허깅페이스에 공개됐고, 직접 써 볼 수 있는 데모도 함께 올라왔어요. 학습 없이 숫자 몇 개를 바꾼 결과가 다른 사람 손에서도 그대로 나온 셈이에요.
최신 모델에서만 갑자기 나타난 능력
UC버클리 자율 시스템 박사과정이자 구글 리서치 선임 연구원인 알렉스 크렌첼(Alex Krentsel)은 다른 실험을 다시 돌렸어요. 벽돌깨기 게임(Breakout)을 하는 작은 AI를 처음부터 숫자로 써 내는 실험이에요. 모델은 숫자 2만 486개를 학습 없이 한 번의 답변으로 채워야 해요.
기준은 5억 번 움직이며 강화 학습한 AI의 점수(1배)예요. 그의 그래프에서 GPT-5부터 GPT-5.5, Opus 4.5부터 Opus 4.8까지는 이 기준에 못 미쳤어요. GPT-5.6 Sol은 3배 안팎, Opus 5는 기준을 조금 넘는 수준이었어요. 그런데 GPT-6.1 Sol이 18배, GPT-6 Astra가 22배, Opus 5.5가 20배로 뛰었어요. 그는 “가장 최신 모델들에서만 나타난, 새롭고 계단식으로 튀어 오른 능력”이라고 적었어요.
다만 모든 게임에서 이긴 건 아니에요. 원 연구에서 Astra는 벽돌깨기에서 517.4점으로 5억 번 학습한 AI(25.3점)를 크게 앞섰지만, 시퀘스트는 53.1점 대 88.9점, 애스터릭스는 53.2점 대 55.2점으로 뒤졌어요.
“원시 가중치만 보고”는 과장이라는 반론
개발자 매슈 호니벌(Matthew Honnibal)은 11월 3일 반론을 냈어요. 원 연구는 Astra가 “원시 가중치만 보고” 네트워크를 읽고 쓴다고 소개했어요. 그런데 도구 없이 숫자만 읽은 건 1만 7천~17만 2천 개 크기의 작은 네트워크를 다룬 실험 1·2·4뿐이라는 지적이에요.
가장 화제가 된 Qwen 실험은 파이썬 프로그램을 쓰고 모델을 직접 돌려 보며 고친 결과예요. 호니벌은 Astra가 이런 일을 해낸 것 자체는 진짜 성과라고 인정했어요. 문제 삼은 건 서로 다른 방법을 한 가지 능력처럼 묶어 소개한 점이에요.
그래서 나에게 무엇이 달라지나
작은 공개 모델을 쓰는 개발자라면 다시 학습시키지 않고도 고질적인 문제를 고칠 길이 하나 생겼어요. 실험 기록이 모두 공개돼 있어 같은 방법을 따라 해 볼 수 있어요. 다만 숨은 능력을 가리던 장애물을 치운 것이지 새 능력을 넣은 건 아니에요. 그리고 이런 작업이 잘되는 건 아직 최신 상위 모델뿐이라는 점도 기억해 두세요. 연구진은 이 방법을 재는 벤치마크와 작업 틀을 만들고 있다고 밝혔어요.
자주 묻는 질문
Q. 연구에 든 비용은 얼마였나요?
A. 원 글에는 달러 비용이 나오지 않아요. 확인된 건 가장 잘된 시도에 든 20.3시간, 대화 158번, 파이썬 실행 80번이에요.
Q. 고친 모델을 직접 써 볼 수 있나요?
A. 네. 허깅페이스에 RikiyaT/Qwen3.5-0.8B-weight-space-programming으로 공개돼 있고 데모도 있어요.
Q. 어떤 모델이나 이 방법을 쓸 수 있나요?
A. 크렌첼의 비교에서는 GPT-6.1 Sol, GPT-6 Astra, Opus 5.5 같은 최신 모델에서만 높은 점수가 나왔어요.
출처: MIT CSAIL, Sparks of Weight-Space Programming · 허깅페이스 모델 카드 · Alex Krentsel (X) · Matthew Honnibal 반론 · VentureBeat (2026년 11월 4일 확인)
.jpg){kind=link}