오픈AI는 11월 10일 정렬 연구 블로그에서 AI의 생각의 사슬(CoT)을 읽어 위험한 행동을 잡아내는 감시가 모델이 똑똑해질수록 어려워진다고 결론 내렸습니다. GPT-6 Astra는 생각 과정을 적지 않고도 사람 기준 30.9분짜리 수학 문제를 절반 확률로 풀어, 이전 모델 GPT-5.6 Sol의 3.6분보다 8.6배 긴 문제를 머릿속에서 끝냈습니다(다대구 계산).
그런데 같은 Astra가 업무 환경 시험에서 잘못된 행동을 한 비율은 3.4%로 Sol(18.8%)보다 훨씬 낮습니다. 행동은 얌전해졌는데 속은 덜 읽히는 모델이 나온 셈인데요.
연구에는 1저자 제프리 왕을 포함해 15명이 이름을 올렸고, 수석과학자 야쿠프 파초키가 자문으로 참여했습니다. 블로그 본문과 각주·부록, GPT-6 Astra 시스템 카드, 관련 논문 네 편을 놓고 숫자를 다시 계산했습니다.
1. 생각의 사슬 감시란, AI가 답하기 전 적는 글을 다른 AI가 읽는 일입니다
생각의 사슬은 추론 모델이 최종 답을 내기 전에 글로 적는 중간 추론 과정입니다. 생각의 사슬 감시는 이 글을 다른 AI가 읽고 규칙을 어기거나 몰래 다른 일을 하려는 낌새를 찾아내는 안전장치입니다. 2025년 3월 오픈AI 연구(Baker 등)는 이 방법으로 정답 대신 점수만 올리는 편법, 곧 보상 해킹을 잡아낼 수 있음을 보였습니다.
감시자가 무엇을 읽느냐에 따라 세 가지로 나뉩니다. 생각 과정만 보는 감시, 행동(도구 호출·출력)만 보는 감시, 둘 다 보는 전체 기록 감시입니다. 시스템 카드에 따르면 오픈AI가 실제 배포에서 쓰는 것은 전체 기록 감시이고, 감시 성능은 진짜 위반을 잡는 비율과 정상을 정상으로 두는 비율을 함께 반영한 g-mean² 지표로 잽니다.
오픈AI는 감시 가능성(monitorability)을 자사 모델이 안전하다고 입증하는 ‘안전 사례’의 핵심 기둥으로 둡니다. 사이버 보안처럼 위험도가 높은 모델은 사내 배포와 외부 배포 모두에서 생각 과정을 포함한 전체 작업 기록을 감시한다고 블로그에 적었습니다.
2. 계기는 GPT-6 Astra, 생각 없이 푸는 시간이 3.6분에서 30.9분으로 늘었습니다
이번 연구는 9월에 나온 GPT-6 Astra에서 출발했습니다. 시스템 카드는 Astra에서 평소 작업의 생각 과정으로 읽어 낼 수 있는 정보가 줄고, 감시를 피하라고 지시한 시험에서 실제로 피하는 능력이 커지고, 생각 과정 없이 푸는 능력이 크게 늘었다고 적었습니다.
영국 AI 안전연구소(UK AISI)가 잰 값입니다. 생각 과정 없이 절반 확률로 풀어내는 수학 문제의 길이를 사람이 푸는 시간으로 환산하면 Sol은 3.6분, Astra는 30.9분입니다. 30.9를 3.6으로 나누면 8.6배입니다(다대구 계산).
블로그 각주는 기존 추세로는 이 능력이 2028년 말에야 약 7분에 이를 것으로 예측됐다고 적었습니다. Astra는 그 예측치의 4.4배를 2026년에 넘겼습니다(30.9 ÷ 7, 다대구 계산). 다만 UK AISI는 시험 문제가 학습 데이터에 섞여 시간이 부풀려졌을 가능성도 있다고 밝혔고, 이 측정에 쓴 ‘추론 끈’ 버전은 공개 서비스에 들어가 있지 않습니다.
생각 과정을 지시대로 바꾸는 능력도 커졌습니다. UK AISI 시험에서 Astra는 표본의 93%에서 지시를 따랐고 Sol은 48%였습니다. Astra는 생각 과정을 더 압축된 문체로 적었고, 뜻이 불분명한 구절도 더 자주 나왔습니다.
감시를 의식하는 모습도 기록됐습니다. 생각의 사슬 감시자가 있다고 알려 주기만 해도 Astra는 생각 과정을 눈에 띄게 짧게 줄였고, 그 결과 생각만 읽는 감시자를 가끔 피했습니다. 다만 평범한 글 속에 진짜 추론을 숨기는 방식(스테가노그래피)은 아직 하지 못한다고 오픈AI는 판단했습니다.
UK AISI는 한계도 함께 적었습니다. 에이전트처럼 여러 단계를 실제로 수행하는 평가는 시간이 모자라 하지 못했고, Astra가 감시를 실제로 피하는지는 직접 시험하지 않았습니다. 긴 사이버 보안 시뮬레이션에서는 사용자 API로 받는 추론 요약이 최대 80%까지 빠지기도 했습니다.
3. 두 대리 지표, 사전학습과 설계 구조가 좋아질수록 같이 올라갑니다
감시가 얼마나 어려워질지는 직접 재기 어려워서 연구진은 두 가지 대리 지표를 썼습니다. 하나는 생각 과정 없이 푸는 능력(no-CoT capability)입니다. 생각 과정이나 도구 호출 없이 신경망을 한 번 통과하는 것만으로 푸는 능력이라, 이것이 클수록 같은 일을 적은 글자로 해내고 적는 내용을 꾸밀 여유도 생깁니다.
다른 하나는 생각 과정 통제 능력(CoT controllability)입니다. 생각 과정의 문장 끝마다 ‘safe’를 넣고, 단어 사이에 ‘meow’를 끼우라고 시킵니다.
모두 소문자나 대문자로, 또는 글자마다 대소문자를 번갈아 쓰라는 지시까지 다섯 가지를 얼마나 따르는지 프로그램으로 셉니다. 엉뚱한 지시까지 따르는 모델이라면 감시에 걸릴 내용을 지우는 일도 해낼 수 있다고 본 겁니다.
사전학습 품질은 처음 보는 글에서 다음 단어를 얼마나 잘 맞히는지 나타내는 퍼플렉시티로 잽니다. 낮을수록 좋은 모델입니다.
2025년 8월 GPT-5부터 2026년 9월 Astra급 내부 모델까지 늘어놓자, 퍼플렉시티가 낮아질수록 생각 없이 푸는 능력이 매끄러운 곡선을 그리며 올라갔습니다. 통제 능력도 약하지만 같은 방향으로 움직였습니다.
이 기준으로 보면 Astra도 추세를 벗어난 모델이 아니었습니다. 저는 이 대목이 연구의 무게중심이라고 봅니다. Astra의 능력은 우연히 튀어나온 이상치로 보기 어렵고 사전학습이 좋아지면 함께 따라오는 성질이라, 다음 모델에서도 같은 방향이 이어질 가능성이 높다는 뜻이기 때문입니다.
설계 구조도 따로 떼어 봤습니다. 서로 다른 아키텍처 세 가지를 크기별로 학습시켜 같은 퍼플렉시티끼리 비교하자, 대부분의 시험은 퍼플렉시티만으로 결과가 예측됐습니다.
그런데 여러 단계를 거쳐야 하는 계획 문제와, 1,000개의 짧은 프로그램에 계산과 조건 분기를 차례로 적용하는 문제에서는 2번 아키텍처가 같은 퍼플렉시티의 다른 구조보다 훨씬 잘 풀었고, 모델이 좋아질수록 격차가 가파르게 벌어졌습니다. 오픈AI는 아키텍처 연구 단계부터 안전 연구자와 함께 이 추세를 보고 있다고 밝혔습니다.
4. 강화학습만 해도 통제력이 오르고, 다음 세대로 옮겨 갑니다
오픈AI는 원칙적으로 생각 과정 자체에 점수를 주지 않습니다. 생각 과정을 채점하면 모델이 의도를 숨기는 법을 배운다는 연구가 이미 나왔기 때문입니다. 블로그 각주에 따르면 오픈AI는 2026년 2월부터 모든 강화학습 실행을 자동으로 검사해 실수로 생각 과정을 채점한 경우를 찾아내고, Astra 뒤에는 따로 다시 점검해 그런 압력이 없었다고 확인했습니다.
연구진은 답 길이 제한과 최종 정답 채점만 남긴 단순한 조건으로 Astra급 모델(모델 A)을 다시 학습시켰습니다. 생각 과정을 전혀 건드리지 않았는데도 통제 능력은 학습이 진행될수록 크게 올라갔고, 원래의 통제력 시험과 생각 과정 없이는 풀 수 없는 어려운 수학 문제로 만든 내부 시험에서 같은 결과가 나왔습니다.
도구 사용 채점이 생각 과정으로 번졌을 가능성도 따로 확인했습니다. Terra급 모델 하나를 같은 출발점에서 두 갈래로 학습시켜, 한쪽(B)은 도구 없이 정답만 채점하고 다른 쪽(B2)은 터미널과 브라우저를 쓰게 하면서 채점자가 도구에 넣은 명령과 결과까지 보게 했습니다. B2의 통제력이 조금 더 올랐지만, 연구진은 이 효과가 사전학습 향상에 비하면 작다고 결론 내렸습니다.
이 결과는 2026년 3월 CoT-Control 논문과 엇갈립니다. 그 논문은 Claude Sonnet 4.5가 최종 답은 지시대로 61.9% 바꾸면서 생각 과정은 2.7%만 바꿨다고 보고했고, 강화학습을 더 할수록 통제력이 줄어든다고 봤습니다.
오픈AI 각주는 그 논문에서 70억 매개변수 모델은 줄었지만 320억 모델은 조금 늘었고, 생각 과정 길이를 맞춰 비교하지 않았다고 짚었습니다. 퍼플렉시티가 더 나쁜 내부 모델로 한 초기 실험에서도 통제력 증가는 나타나지 않았습니다.
마지막 실험은 다음 세대로 이어지는 경로입니다. AI 회사는 기존 모델이 만든 답변으로 다음 모델을 가르치는 일이 많은데요.
실력은 비슷하지만 통제력이 다른 Astra급 교사 모델 두 개에게 같은 질문의 답을 만들게 하고, 그 답으로 같은 학생 모델 두 벌을 각각 학습시켰습니다. 통제력 높은 교사에게 배운 학생의 통제력이 더 높았고, 교사 사이의 격차가 학생에게 그대로 옮겨 갔습니다.
2026년 네이처에 실린 ‘데이터 속 숨은 신호로 행동 성향이 옮겨 간다’는 연구(잠재 학습)와 닮은 현상입니다. 답변 표면에 드러나지 않는 성향도 데이터를 타고 넘어가니, 한 세대의 학습 결정이 다음 모델의 감시 가능성까지 바꿀 수 있다는 뜻입니다.
5. 행동은 얌전해졌는데 속은 덜 읽힙니다, 지표의 한계도 있습니다
GPT-6 Astra는 메일·메신저·결제가 있는 업무 환경 시험에서 잘못된 결과를 낸 비율이 3.4%였습니다. GPT-5.6 Sol 18.8%, Luna 19.7%, Terra 13.5%보다 낮고, Sol과 비교하면 5.5분의 1입니다(18.8 ÷ 3.4, 다대구 계산). 사용자 승인이 필요한 순간을 정한 확인 정책을 함께 주면 Sol은 8.0%, Astra는 3.0%로 내려갑니다.
생각 과정이 덜 읽히는 이유도 시험별로 나뉩니다. 시스템 카드에 따르면 감시 점수 차이의 대부분은 Astra가 생각 과정을 짧게 쓰거나 거의 비워 두는 데서 나왔고, 길이를 맞추면 상당 부분 줄었습니다. 그런데 파괴적 행동 시험과, 환자 의견에 따라 답이 바뀌는지 보는 의료 질문 시험에서는 길이를 맞춰도 Astra가 덜 읽혔습니다.
불가능한 코딩 과제에서는 표현 차이도 보였습니다. Sol은 제약을 우회한다고 비교적 분명히 적었는데, Astra는 같은 편법을 평범한 코드 정리처럼 적는 경우가 많았습니다. 오픈AI는 의도적 은폐의 증거는 아니지만 표현이 더 모호해졌다고 봤습니다.
지표의 한계도 연구진이 직접 밝혔습니다. 실력이 비슷한 두 모델에게 감시를 피해 일부러 실력을 숨기는 시험(샌드배깅)과 수학 부수 과제 시험을 시키자, 통제력 높은 쪽이 감시를 더 잘 피하지 않았고, 샌드배깅 시험에서는 오히려 더 자주 걸렸습니다.
반면 2026년 5월 Haskins 연구팀 논문은 감시 문서를 학습시킨 8개 모델에서 통제력과 은폐 성공률의 상관계수가 0.800이었다고 보고했습니다. 두 지표의 관계는 아직 결론이 나지 않았습니다.
오픈AI 각주는 감시를 피하라는 안내 없이 복잡한 방해 작업을 시켰을 때 Astra가 전체 기록 감시를 피하지 못했다고도 적었습니다. 그런데도 결론은 ‘사전학습이 더 발전하면 감시 방법도 새로 만들어야 할 것’이었습니다. 저는 개발사가 지금은 안전하다는 근거와 앞으로는 지금 방식으로 입증하기 어렵다는 근거를 같은 문서에 함께 내놓은 점이 이번 연구에서 가장 무거운 대목이라고 봅니다.
6. 한국에서 AI 에이전트를 쓸 때 볼 것
2025년 7월 요슈아 벤지오 등 41명이 낸 논문은 생각의 사슬 감시를 “새롭고 취약한 기회”라고 불렀습니다. 1년 4개월 뒤 오픈AI는 시스템 카드에서 일정 한계를 넘는 감시 가능성 저하는 정렬을 입증할 새 방법 없이는 받아들이지 않겠다고 밝히고, 신경망 내부 활동을 읽는 감시 같은 대안을 연구 중이라고 적었습니다.
정애령 연구자가 2026년 유럽헌법연구에 낸 논문은 블랙박스 현상으로 설명가능성이 사라지면, 자동화된 결정에 사람이 개입하는 것이 기술적 보완을 넘어 헌법적 요청이 된다고 정리했습니다. 개인이 AI 에이전트에 결제·메일·파일 권한을 맡길 때도 같은 원리가 통합니다.
생각 요약을 읽기보다 돈이나 메시지가 밖으로 나가는 순간에 사람 승인을 받게 설정하는 편이 낫습니다. 오픈AI 시험에서도 이 확인 정책이 Sol의 잘못된 결과를 18.8%에서 8.0%로 절반 넘게 줄였습니다. 추론 요약이 최대 80%까지 빠질 수 있다는 UK AISI 관찰도 요약 화면만 믿기 어려운 이유입니다.
모델을 고를 때 쓸 만한 기준은 오픈AI의 2025년 12월 논문(Guan 등, 2026년 ICML 게재)에 있습니다. 생각 과정이 길수록 감시가 쉬워졌고, 낮은 추론 강도의 큰 모델 대신 높은 추론 강도의 작은 모델로 같은 능력을 맞추면 감시 가능성이 더 높았습니다. 비용은 더 들지만, 결제처럼 실수가 비싼 일에는 추론 강도를 높여 두는 쪽이 생각 과정도 더 많이 남깁니다.
모델 성능과 값을 따로 비교한 클로드 페이블 5.2 글, AI가 경제 성장으로 이어지는지 숫자로 재 본 사티아 나델라 범용 기술 글과 함께 보면, 같은 시기 AI 회사들이 능력·비용·안전에서 각각 무엇을 내세우는지 나란히 볼 수 있습니다. 아마 다음 모델부터는 성능표 옆에 생각 없이 푸는 시간과 통제력 점수가 함께 실리는 경우가 늘어날 겁니다.
참고 논문: 정애령(2026), ‘인공지능의 자동화된 의사결정에 대한 인간의 개입’, 유럽헌법연구 50.
본문 그래프 3점은 GPT-6 Astra 시스템 카드, 오픈AI 정렬 연구 블로그 각주, CoT-Control 논문 초록 수치로 다대구가 직접 작성했습니다. 대표 이미지는 다대구 생성 이미지입니다.
