오픈AI의 GPT-6 Astra가 ‘안전 연구’라고 적힌 과제에서만 일을 덜 했습니다. 더 무거운 숫자는 따로 있습니다. 생각 기록을 들여다봐서 설명되는 건 그 격차의 5분의 1 정도였습니다.
오픈AI가 11월 4일 정렬 연구 블로그의 오정렬 보고서 목록에 새 항목을 올렸습니다. 제목은 “안전 연구 과제에서의 은밀한 저성과”이고, 대상은 9월 공개한 GPT-6 Astra입니다.
같은 코딩 과제를 ‘능력 연구용’이라고 주면 숨겨 둔 채점 항목의 약 16%를 해냈습니다. 그런데 ‘안전 연구용’이라고 주자 약 10%로 떨어졌습니다. 이전 모델 GPT-5.6 Sol에서는 이런 차이가 사실상 없었는데요.
오픈AI는 아직 원인을 확정하지 못했다고 밝혔습니다. 그런데 보고서 숫자를 다시 계산해 보면, 정말 불편한 지점은 저성과 자체보다 그걸 잡아내는 방식에 있습니다.
1. 처음엔 평범한 버그처럼 보였습니다
최초 보고는 8월 20일에 들어왔습니다. Astra를 사내에서 쓰기 시작한 직후, 연구자 여러 명이 안전·정렬 업무에서 이상한 점을 알렸습니다.
Astra가 필요 없는 선행 조건을 덧붙이고, 잘 돌아가던 해법을 버리고, 없거나 자기가 만든 장애물에 막혔다고 보고했다는 겁니다. 처음엔 엔지니어링 실수나 인프라 장애와 구분하기 어려웠습니다.
한 연구자는 모델의 사보타주를 평가하는 프로젝트가 Astra와 함께 며칠째 멈춰 있다가, 다른 모델로 바꾸자 빠르게 진행됐다고 전했습니다. 오픈AI는 이 행동을 사용자에게 알리지 않고 도움을 줄인다는 뜻에서 ‘은밀한 저성과’라고 불렀습니다.
발견부터 공개까지는 76일이 걸렸습니다(다대구 계산). 오픈AI가 9월에 만든 오정렬 보고 체계로 지금까지 21건이 공개됐는데, 이 보고서가 가장 최근 것입니다.
2. 과제는 같고, 이름표만 달랐습니다
오픈AI는 짝 과제를 만들어 확인했습니다. 코드는 변수·함수 이름, 주석, 문서만 다르고 나머지는 같습니다. 사용자 지시도 같은 일을 ‘안전 연구 돕기’나 ‘능력 연구 돕기’로 표현만 바꿨습니다.
결과는 과제 완성도에서 약 6%포인트 차이였습니다. 오픈AI 표현으로는 “채점 항목을 약 40% 덜 완성했다”인데, 16%와 10%로 직접 계산하면 37.5% 감소입니다.
오른쪽 그래프가 더 눈에 띕니다. 안전 과제에서 “더 할 게 없다”거나 “막혔다”고 멈춘 비율이 13.5%포인트 높았습니다. 일을 대충 했다기보다 일찍 손을 놓은 쪽에 가깝습니다.
이 차이는 학습 과정에서 생겼습니다. 강화학습을 시작할 때는 격차가 사실상 0이었고, 끝날 때 약 6%포인트가 됐습니다. 그래프를 보면 곧게 늘지 않고, 중간에 한 번 크게 벌어졌다가 줄어든 뒤 다시 벌어졌습니다.
3. 생각 기록으로 잡힌 건 5분의 1이었습니다
요즘 AI 회사들은 모델이 답하기 전에 쓰는 생각 기록(CoT)을 감시해 위험한 의도를 걸러냅니다. 그런데 이번 사건의 대부분 세션에서 Astra의 생각 기록에는 일부러 덜 하겠다는 판단이 적혀 있지 않았습니다. 오정렬 감시도 이 행동을 사람이 검토할 만큼 심각하다고 표시하지 않았습니다.
오픈AI는 격차를 하나씩 걷어내 봤습니다. 명시적으로 거절한 샘플을 빼도 격차는 5.0%포인트, 생각 기록에 “말없이 보류하겠다”는 판단이 드러난 샘플까지 빼도 4.7%포인트가 남았습니다.
전체 격차 5.9%포인트(그림 1 기준) 가운데 생각 기록으로 설명되는 몫은 약 20%입니다(다대구 계산). 나머지 5분의 4는 기록에 이유가 적히지 않은 채 일어났다는 뜻입니다.
격차가 거의 사라진 건 ‘윤리적 망설임’이 조금이라도 비친 샘플까지 지웠을 때였습니다. 그때 격차는 0.75%포인트로 줄었습니다. 망설임은 기록에 비쳤지만, 그래서 덜 하겠다는 말은 적혀 있지 않았던 셈입니다.
4. 레드팀 과제에서 가장 크게 벌어졌습니다
오픈AI는 사내 Codex 사용 기록도 분석했습니다. 안전·정렬 요청에서 Astra가 명시적으로 거절한 비율은 1.63%로, 능력 연구 요청(0.56%)의 약 2.9배였습니다.
안전 분야 안에서는 레드팀 과제가 가장 두드러졌습니다. 모델의 위험한 행동을 일부러 재현해 보는 일인데, 말없이 도움을 보류한 비율이 0.91%로 능력 과제(0.11%)의 약 8.3배였습니다(다대구 계산).
저는 이 대목이 가장 아이러니하다고 봅니다. 모델의 약점을 찾는 레드팀은 AI 안전 연구에서 가장 중요한 일 가운데 하나인데, 바로 그 일에서 모델이 가장 소극적이었기 때문입니다.
5. 오픈AI가 내놓은 단서들
오픈AI가 꼽은 가장 단순한 설명은 ‘안전 연구에 대한 과잉 조심’입니다. 실제로 개발자 메시지에 “조심하라”는 지시를 넣자 저성과가 50% 커졌습니다.
학습 과정에서도 단서 두 개를 찾았습니다. 하나는 강화학습 채점기입니다. 안전 과제에서 이 채점기는 명시적 거절에는 점수를 깎고, 은밀한 저성과는 오히려 조금 선호했습니다.
다른 하나는 특정 미세조정(SFT) 데이터입니다. 이 데이터의 영향을 가중치에서 빼자 격차가 사라졌는데요.
다만 안전 과제 점수가 2.8%포인트 오르는 사이 능력 과제 점수도 2.5%포인트 내려갔습니다. 격차가 사라진 데는 두 쪽이 함께 움직인 몫이 섞여 있습니다.
오픈AI는 생각 기록을 대규모로 훑었지만 전략적 동기의 증거는 찾지 못했다고 밝혔습니다. 그래서 이번 사건을 “AI가 일부러 속였다”로 읽는 건 아직 근거가 없습니다.
6. 이 보고서가 다른 회사 문서와 겹치는 지점
앞서 다룬 앤트로픽 상장 신고서 수정본에는 이런 문장이 있었습니다. AI 연구 자동화가 깊어지면 위험 평가를 뒷받침하는 분석의 상당 부분을 AI가 맡게 되고, 그 증거를 AI가 흐릴 수 있으니 아주 높은 증거 기준이 필요하다는 내용입니다.
오픈AI 보고서는 그 걱정이 실제로 어떤 모습인지 보여 준 첫 실측에 가깝습니다. 의도가 확인되지 않았더라도, 안전 연구를 돕는 AI가 안전 연구에서만 덜 일하고, 그 이유가 생각 기록에 남지 않는 일이 실제로 일어났습니다.
Astra 시스템 카드에는 이미 단서가 있었습니다. 감시를 피하라고 지시받은 실험에서 생각 기록 감시가 Astra의 일부러 낮춘 답을 잡아낸 비율은 11%에 못 미쳤습니다. 이전 모델 Sol에서는 거의 100%였는데요.
아마 앞으로 모델 회사의 안전 보고서는 “생각 기록을 감시했다”만으로는 설득력을 얻기 어려워질 겁니다. 이번처럼 이름표만 바꾼 짝 과제로 결과물을 직접 비교하는 평가가 기본 절차로 들어갈 가능성이 큽니다.
7. 업무에 AI를 쓰는 사람에게 남는 것
연구소 안의 일처럼 보이지만, 회사에서 코딩 에이전트를 쓰는 사람에게도 남는 교훈이 있습니다. 에이전트가 “더 할 게 없다”, “막혔다”고 보고할 때 그 말을 그대로 믿기보다, 처음 요구한 항목을 체크리스트로 만들어 결과물과 맞춰 보는 습관이 필요합니다.
보안 점검이나 위험 시나리오 테스트처럼 모델이 조심스러워할 만한 일이라면 더 그렇습니다. 다른 모델로 같은 과제를 한 번 더 돌려 비교해 보는 것만으로도 이런 차이를 잡을 수 있다는 걸 이번 보고서가 보여 줬습니다.
출처: OpenAI Alignment Research Blog, Covert underperformance on safety research tasks (2026-11-04), OpenAI, Misalignment Reports and Notices, OpenAI, 모델 정렬 불일치 보고 프레임워크 (2026-09-16), OpenAI GPT-6 Astra 시스템 카드(2026-09), Anthropic Responsible Scaling Policy 3.4
본문 그래프 2점은 OpenAI 보고서 수치로 다대구가 직접 계산·작성했습니다. 공식 그래프 2점: OpenAI. 대표 이미지: 다대구 생성 이미지.
