업무 시간이 줄었다는 발표를 보면 당장 내 일도 가벼워질 것 같다. 모델 크기가 커지고 시험 점수가 높아졌다는 소식 역시 그렇다. 하지만 10월 7일 아침까지 나온 AI 발표에서 눈길이 머무는 곳은 큰 숫자 옆의 단서다. 실제로 잰 시간인지, 지금 내려받을 수 있는 모델인지, 어떤 상대와 비교했는지를 읽고 나면 처음 보였던 뉴스의 모양이 조금 달라진다.
계약 업무 48% 단축, 실제로 잰 시간은 아니었다
오픈AI는 미국 시간 6일 아이언클래드(Ironclad)와 함께 컴퓨터 사용 능력을 개선했다는 글을 발표했다. 계약서 관리 AI 회사와 비밀유지계약 설정, 구매 승인 절차 만들기, 관할 지역에 따른 표준 조항 변경 같은 과제 11개를 만들고 GPT-6 Astra를 훈련했다는 내용이다. 평균 점수는 아스트라 55.0%, 이전 모델 GPT-5.6 Sol 41.6%였다. 과제 하나의 예상 처리 시간은 37.0분에서 19.2분으로 48% 줄었다고 한다.
여기서 예상이라는 말이 중요하다. 각주에 따르면 이 시간은 가정한 모델 처리 속도로 계산한 시뮬레이션 추정이다. 실제 고객이 업무 중 아낀 시간을 측정한 것이 아니다. 점수도 연구용 과제 11개에 대한 것으로 아이언클래드 업무 전체의 성과는 아니다. 과제마다 채점 항목은 8개에서 50개까지였다. 훈련 자료는 미국 증권 공시 EDGAR의 공개 계약서에서 개인정보를 걸러 사용했고, 오픈AI 고객 자료나 아이언클래드 비공개 자료는 쓰지 않았다는 설명이다.
오픈AI 원문은 접속이 막혀 이 숫자는 해당 글을 옮긴 포위크MBA 등의 보도로 확인한 내용이다. 회사에 계약·문서 자동화를 도입하려면 발표의 단축률을 그대로 가져오기보다 실제 서류로 시험해 보는 편이 믿을 만하다. 재 본 값과 계산한 값을 구분하는 것만으로도 발표문에서 기대할 수 있는 범위가 분명해진다.
미스트랄의 큰 모델, 공개 약속과 시험 조건
프랑스 미스트랄은 6일 Mistral Large 4 공개 미리보기를 시작했다. 전체 매개변수는 1조 개, 실제로 일하는 부분은 490억 개이며 이미지도 이해한다. 회사는 유럽 자사 데이터센터에서 엔비디아 그레이스 블랙웰 칩 3,800개로 처음부터 훈련했다고 밝혔다. 미리보기 가격은 100만 토큰당 입력 1.36달러, 출력 4.18달러다. 회사가 발표한 DeepSWE v1.1 코딩 시험 점수는 61.7%, 보안 취약점 재현 시험 점수는 82%였다.
오픈 모델이라는 소개와 지금 쓸 수 있는 방식 사이에는 간격이 있다. 가중치, 곧 모델 파일은 이달 말에 공개하겠다는 약속이고 현재는 API로만 쓸 수 있다. 보안 시험의 높은 점수도 조건을 봐야 한다. 미스트랄은 일부 닫힌 모델이 같은 시험에서 거의 0점을 받은 이유가 요청을 거절했기 때문이라고 설명했다. 능력뿐 아니라 거절 여부도 점수에 들어간 셈이다. 공개 전에는 보안 전문가와 정부 기관에 안전장치를 줄인 같은 모델을 먼저 제공해 점검한다고 밝혔다.
독립 평가의 그림은 좀 더 차분하다. 개발자 사이먼 윌리슨이 인용한 Artificial Analysis 점수는 38점이다. 지난해 12월 전작의 9점보다 크게 높아졌지만, 그는 최전선에서 반년쯤 뒤처진 정도라고 짚었다. 같은 평가에서 38점은 552B, 즉 5,520억 개급 DeepSeek 4.1 Flash 바로 뒤다. GPT-6 아스트라의 표준 API 가격은 같은 단위로 입력 10달러, 출력 50달러라고 보도됐지만, 토큰 단가만으로 동일 업무의 비용을 단정할 수는 없다. 모델마다 같은 일에 쓰는 토큰 수가 다르기 때문이다.
개인 컴퓨터에 올리기에는 1조 개 규모가 너무 크다. 자체 서버에서 사용할 AI를 알아보는 회사라도 지금은 공개 약속과 실제 공개를 나눠 봐야 한다. 모델 파일이 나온 뒤의 독립 평가가 현재 발표만으로 채우기 어려운 부분을 보여 줄 것이다.
최신 모델이 들어가도 모든 요청을 맡지는 않는다
모델 이름을 제품 안에 넣는 방식에도 단서가 있다. 오픈AI와 아틀라시안은 6일 제휴 확대를 발표했다. AI 비서 로보(Rovo)에 GPT-6 아스트라와 GPT-5.6 계열이 들어가고, ChatGPT와 코덱스가 권한 범위 안에서 Jira·Confluence·Bitbucket·Loom 내용을 찾아 요약하도록 연결한다. 아틀라시안 개발자 3,000명 이상이 이미 코덱스를 쓴다는 설명도 나왔다.
벤처비트에 따르면 오픈AI 관계자는 이를 사실상 지출 약정이라고 설명했다. 아틀라시안이 오픈AI 모델에 돈을 쓰기로 했다는 뜻이며 금액은 공개되지 않았다. 그런데 같은 보도에서 아틀라시안은 GPT-6 아스트라가 로보의 기본 모델이 되지는 않는다고 밝혔다. 로보는 내부 AI 관문을 통해 작업별 속도·품질·비용을 따져 오픈AI와 다른 회사 모델을 오간다.
최신 모델 탑재라는 문구가 내 요청을 언제나 그 모델이 처리한다는 뜻은 아니다. 중요한 업무에 쓰는 기능이라면 어떤 작업에 어떤 모델이 쓰이는지, 변경될 때 안내가 오는지 확인해 둘 만하다. 앞의 가격 비교도 실제로 어떤 모델이 얼마나 일하는지 알아야 업무 비용과 연결된다.
해결 개수보다 읽을 수 있는 증명을 택한 사이트
숫자를 앞세우는 흐름과 반대로 숫자를 내린 곳도 있다. 에르되시 문제 사이트 erdosproblems.com 운영자 토머스 블룸은 6일 사이트 변경을 알렸다. 2023년 5월 문제 200여 개로 시작한 사이트는 1,221문제, 댓글 9,000개 이상, 가입자 2,000명 가까이, 하루 방문자 1만~2만 5천 명 규모가 됐다. 2025년 8월 댓글 기능을 연 뒤 활발하던 토론은 지금 AI가 만든 증명을 설명 없이 올려 먼저 풀었다는 기록을 남기는 쪽으로 기울었다고 그는 썼다.
블룸은 문제 댓글과 증명 신고를 당분간 멈추고, 문제별 열림·해결 표시와 해결 개수·비율을 없애기로 했다. 앞으로 결과를 설명할 때 누가 풀었다는 공로 표현도 쓰지 않는다. 대신 사람이 읽을 수 있게 쓴 증명 해설을 싣겠다고 했다. AI가 푼 증명을 올리는 사이트가 필요하다고는 보지만 자신이 운영하고 싶지는 않다는 설명이다. 답을 늘리는 일이 이해를 밀어내자, 보여 주는 숫자부터 바꾼 것이다.
작은 임베딩 모델의 쓸모는 순위 밖에도 있다
구글 딥마인드가 6일 공개한 EmbeddingGemma 2도 비교 범위를 읽어야 하는 모델이다. 임베딩은 글·그림·소리를 뜻으로 비교할 수 있는 숫자 묶음으로 바꾸는 기술로 검색의 밑바탕이다. 이번 모델은 코드·이미지·영상·오디오까지 같은 공간에 담고 매개변수는 7억 4천만 개다. 글만 쓰면 2억 7천만 개로 충분하며, 이미지 1억 7천만 개와 오디오 3억 개 부분은 필요할 때 붙인다. 상업 이용이 가능한 Apache 2.0 라이선스이고, 구글에 따르면 작년 첫 모델의 내려받기는 2,000만 번을 넘었다.
구글이 말한 최고 성능의 범위는 매개변수 10억 개 미만 멀티모달 임베딩 모델들이다. 모든 임베딩 모델 중 1등이라는 뜻은 아니다. 윌리슨은 공개 가중치의 다른 장점도 짚었다. 검색용 숫자 묶음을 수백만 개 저장해 쓰다가 업체가 모델을 접으면 전부 다시 계산해야 할 수 있다. 모델 파일이 공개돼 있으면 최악의 경우에도 스스로 돌릴 수 있다는 것이다. 사용하는 검색 앱의 모델이 바뀔 때 품질이 달라질 수 있는 이유이기도 하다.
이날 소식은 큰 숫자를 무시하라는 이야기가 아니다. 무엇을 측정했고 무엇과 비교했으며 지금 가능한 일인지 읽어야 숫자가 제자리를 찾는다는 이야기다. 계약 업무의 추정 시간, 모델 공개의 약속, 제품 안의 모델 선택, 증명의 이해와 검색 모델의 지속성까지 모두 단서가 중요했다. 발표의 작은 글씨를 읽는 시간은 도구에 기대할 수 있는 것과 아직 기다려야 하는 것을 나누는 데 쓰인다.
Leave a Reply