구글이 10월 28일 공개한 제미나이 4 카본은 자사 성능표 17개 항목 가운데 15개에서 1위였습니다. 아티피셜 애널리시스(AA) 지능 지수도 59점으로 1위였고, 11월 6일 다시 열어 본 AA 순위표에서는 60점으로 여전히 맨 위에 있습니다.
그런데 숫자를 하나씩 경쟁 모델과 맞대 보면 그림이 달라집니다. 10%포인트 넘게 앞선 항목은 3개뿐이고, 그중 하나가 취약점 악용입니다. 공개된 지 9일이 지났지만 일반 개발자와 사용자는 아직 이 모델을 쓸 수 없는데요.
딥마인드가 올린 성능표를 구글 밖 최고 모델(GPT-6 Astra와 Claude Opus 5.5 중 높은 쪽)과 항목마다 다시 견줘 봤습니다.
1. 1위 15개를 격차로 다시 줄 세우면
성능표에는 카본, 이전 모델 제미나이 4 아르곤, GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1의 점수가 나란히 있습니다. 카본이 1위가 아닌 곳은 코딩 시험 FrontierSWE 2와 컴퓨터 조작 시험 OSWorld-2.1 두 개입니다.
2주 전 나온 아르곤과 견주면 17개 항목이 모두 올랐습니다. 가장 크게 오른 곳은 ExploitGym(42.0%→54.8%, 12.8%포인트)과 GraphWalks(84.2%→96.2%, 12.0%포인트)입니다.
1위 15개는 격차 순으로 다시 세웠습니다(다대구 계산). 긴 문맥에서 정보를 찾는 GraphWalks가 24.4%포인트로 가장 크고, 취약점을 실제로 악용하는 ExploitGym이 12.4%포인트, 업무 자동화 AutomationBench가 11.4%포인트입니다.
반대쪽 끝도 봐야 합니다. 종합 평가 Vals Index는 70.4% 대 70.2%로 0.2%포인트, 코딩 과제 SWE-sweep은 9.6% 대 9.5%로 0.1%포인트 차이입니다. AA 지능 지수도 발표 당시 59점 대 58점, 1점 차였습니다.
1위 15개 가운데 퍼센트로 매긴 13개만 따로 보면, 격차가 3%포인트를 넘는 항목은 7개였습니다. 나머지 6개는 3%포인트 이하라, 시험을 조금만 바꿔도 순위가 뒤집힐 수 있는 폭입니다. 게다가 모두 구글이 직접 잰 값입니다.
2. 크게 앞선 세 곳이 가리키는 방향
세 항목은 성격이 닮았습니다. 아주 긴 자료를 끝까지 붙들고 여러 단계를 혼자 이어 가는 일입니다. 구글이 카본을 소개하며 내세운 말도 “사이버 보안과 장시간 작업 능력”이었습니다.
GraphWalks는 25만~100만 토큰 길이의 자료에서 연결 관계를 따라가는 시험입니다. 카본은 96.2%로 GPT-6 Astra(71.8%)보다 약 3분의 1 높았습니다.
보안 쪽은 갈립니다. 취약점을 찾는 SEC-bench Pro에서는 Astra와 2.8%포인트, 패치를 만드는 CWE-bench에서는 3.0%포인트 차이입니다. 찾고 고치는 일은 비슷한데, 찾은 구멍을 실제 공격으로 바꾸는 ExploitGym에서만 12.4%포인트가 벌어졌습니다.
저는 이 대목이 카본의 출시 순서를 설명한다고 봅니다. 가장 크게 앞선 능력 하나가 하필 방어보다 공격에 더 쓸모 있는 능력이기 때문입니다.
3. 진 두 항목은 하필 많이 쓰는 일입니다
FrontierSWE 2는 실제 소프트웨어 문제를 고치는 코딩 시험입니다. 카본은 61.2%로 GPT-6 Astra(65.5%)와 Opus 5.5(62.3%)에 모두 뒤졌습니다. 구글이 밝힌 웹 개발 대결 순위 WebDev Arena에서도 1위가 아닌 4위(1768점)였습니다.
OSWorld-2.1은 AI가 컴퓨터 화면을 보고 마우스와 키보드로 일을 처리하는 시험입니다. 여기서는 Opus 5.5가 87.2%로 카본(81.5%)을 5.7%포인트 앞섰습니다.
코딩과 컴퓨터 조작은 에이전트에게 일을 맡길 때 바로 체감되는 능력입니다. 해커뉴스 발표 스레드에도 “결국 사람들은 코딩 1위를 최고 모델로 치는데, 그 기준이면 아직 Opus 5.5와 Astra 뒤”라는 댓글이 올라왔습니다.
4. 환각은 줄었다는데 외부 측정은 반대로 나왔습니다
구글은 카본이 근거 없는 주장을 아르곤의 약 절반으로 줄였다고 밝혔습니다. 외부 문서에 숨긴 지시로 모델을 조종하는 공격 시험(Gray Swan)에서는 공격 성공률이 아르곤 0.7%에서 0.0%로 내려갔고, 터미널 시험에서 편법으로 점수를 얻은 비율도 0.0%였습니다.
AA가 따로 잰 결과는 반대입니다. AA-Omniscience 환각률에서 카본은 11%, 아르곤은 4%로 나왔습니다. 모르는 질문에 모른다고 하지 않고 답을 지어낸 비율이 오히려 높았다는 뜻입니다.
두 숫자는 잰 방법이 다릅니다. 구글은 실제 코딩 작업 중 근거 없는 주장을, AA는 지식 질문에서 지어낸 답을 셌습니다. 다만 지식 점수와 정직함을 합친 AA의 Omniscience 지수에서는 카본이 54점으로 Opus 5.5(48점)보다 높았습니다.
5. 지금 쓸 수 있는 곳은 없습니다
구글은 발표 주부터 일부 사이버 보안 방어 담당자에게 카본을 열고, 페어윈드(Fairwind) 프로그램으로 신뢰할 수 있는 협력사에 차례로 넓힌다고 밝혔습니다. 개발자, 기업, 일반 사용자에게는 “가능한 한 빨리”라고만 했습니다.
11월 6일에 확인한 곳은 모두 비어 있었습니다. Gemini API 변경 기록은 11월 5일 항목까지 올라와 있지만 카본은 없고, 가격표와 OpenRouter 모델 목록에도 이름이 없습니다.
아르곤과 견주면 속도가 보입니다. 아르곤은 9월 30일 페어윈드 협력사에 먼저 풀린 뒤 10월 13일 API로 정식 공개됐습니다. 13일 걸린 셈인데, 카본은 발표 뒤 9일이 지났습니다.
페어윈드는 정부와 국가 사이버 기관, 의료·통신·에너지·금융 같은 기반 시설 운영사를 먼저 받습니다. 협력사는 650곳이 넘고, 신청은 구글 클라우드 계정 담당팀을 거쳐야 합니다.
해커뉴스 발표 스레드(1,019점, 댓글 803개)의 최상위 댓글 앞 60개를 분류해 보니 ‘발표만 하고 못 쓴다’는 불만이 11건으로 가장 많았습니다. 이름이 헷갈린다는 댓글이 9건, 벤치마크와 순위를 의심하는 댓글이 8건이었습니다(다대구 집계).
6. 공개되면 얼마일까, 개발자가 볼 숫자
카본의 도입가는 입력 100만 토큰당 2달러, 출력 10달러입니다. 입력과 출력을 100만 토큰씩 쓰면 12달러로, GPT-6 Astra(60달러)의 5분의 1입니다(다대구 계산).
도입 기간이 끝나면 입력 4달러, 출력 20달러로 두 배가 됩니다. 이때는 Opus 5.5와 같은 24달러입니다. 카본의 도입가가 언제 끝나는지는 발표문에 없습니다.
같은 가격 틀을 먼저 쓴 아르곤을 보면 짐작은 됩니다. 아르곤의 도입가는 11월 30일까지이고 12월 1일부터 입력 4달러, 출력 20달러로 오릅니다. AA가 잰 지수 과제 1개당 비용도 카본 7.76달러, 아르곤 9.95달러, Opus 5.5(최고 설정) 10.04달러였습니다.
아마 일반 공개가 늦어질수록 개발자가 도입가로 쓸 기간은 짧아질 겁니다. 지금 아르곤을 쓰고 있다면 12월 1일 가격 인상이 먼저 닥칩니다. 카본으로 옮길지는 내 작업이 긴 문서 분석인지, 코딩 에이전트인지부터 나눠 보면 답이 빨리 나옵니다.
앞서 다룬 GPT-6 Astra 안전 연구 글과 텐센트 Hy4 점수표 글에서도 같은 상위 모델들의 점수를 다른 각도로 비교했습니다. 앱에서 쓰는 제미나이 요금은 제미나이 요금제 글에 정리했습니다.
본문 그래프 2점은 구글 발표 성능표·가격표와 OpenRouter 모델 목록으로 다대구가 직접 계산·작성했습니다. 점수는 구글 자체 측정값입니다. 대표 이미지: 다대구 생성 이미지.
