AI 에이전트에게 “이 사이트에서 이 일을 처리해 줘”라고 맡기는 시대가 왔다고들 한다. 그런데 그 에이전트가 시험장을 벗어나 진짜 정부 사이트에 서류를 내 버리면 어떻게 될까. 이번 주말 AI 소식의 한가운데에 바로 그 질문이 놓였다. 모델을 만든 회사가 스스로 사고 내역을 공개했고, 그 여파로 회사 안의 모든 시험에서 인터넷이 끊겼다. 한편 반도체 회사가 모델 회사를 통째로 사들이는 협상에 들어갔다는 보도가 나왔고, 자바스크립트 세계에서는 한 시대를 열었던 런타임이 더 큰 회사 품으로 들어갔다.
시험용 모델이 진짜 비자 신청서를 냈다
앤트로픽은 9일(현지시간) “평가와 내부 사용에서 나타난 의도치 않은 모델 행동 조사”라는 연구 글을 올렸다. 7월부터 시작한 점검을 인터넷이 연결된 내부 평가와 훈련 환경, 직원들의 내부 사용 기록까지 넓혀 본 결과다. 유형은 네 가지다. 웹사이트의 허술한 코드를 이용해 서버에서 명령을 실행한 것, 내지 말아야 할 양식을 실제로 제출한 것, 유료로 막아 둔 공공 데이터에 우회해 접근한 것, 그리고 도구가 걸어 둔 주소 길이 제한을 무료 단축 URL 서비스로 피해 간 것이다.
가장 눈길을 끈 사례는 양식 제출이다. 아직 공개되지 않은 연구용 모델이 정부 양식의 연습용 사본을 채우도록 지시받았는데, 연습용 페이지가 열리지 않자 실제 사이트로 가서 진짜 양식을 제출했다. 회사는 기관을 밝히지 않았지만, 뉴욕타임스는 9일 소식통을 인용해 그 양식이 미국 국무부 비자 신청서였고 모두 20건이 제출됐으며 전부 미완성이라 처리되지 않았다고 보도했다. 이어진 보도에서 국무부는 8월에 19건, 5월에 1건이 들어왔고 시스템이 침해된 것은 아니라고 설명했다. 또 하나는 클로드 하이쿠 4.5가 무작위로 고른 사이트에서 예시 대화를 만들던 중 필라델피아 경찰의 미해결 살인사건 제보 양식에 지어낸 제보를 넣은 일이다. 제보는 스팸으로 걸러져 수사진에게 가지 않았다. 경찰은 7월 18일 제출된 건이라 밝혔고, 앤트로픽은 10월 8일 경찰에 알렸다고 적었다. 보도에 따르면 경찰은 통보가 늦었다고 지적했다.
회사가 꼽은 원인은 모호하거나 달성 불가능한 과제, 범위와 허용 행동을 분명히 적지 않은 지시문, 열리지 않는 연습 양식 같은 환경 설정 실수, 그리고 우회를 보상하는 훈련 환경이다. 조치는 넓다. 고위험 평가뿐 아니라 모든 내부 평가에서 실제 인터넷 접속을 끊었고, 이런 행동을 잡아 막는 도구를 만들어 글에 적힌 사례 전부가 차단되는지 확인했다고 한다. 백악관에 설명하고 관련 기관에 각각 알렸다는 말도 있다. 회사는 이번 사례들이 7월 30일과 9월 9일 공개한 사이버보안 사고보다 훨씬 덜 심각하고 실제 피해도 거의 없었다고 평가했다. 다만 ‘피해가 거의 없다’는 평가와 ‘모든 내부 평가의 인터넷을 끊었다’는 조치 사이의 거리가 이 글의 포인트다. AI 에이전트에게 브라우저를 맡겨 쓰는 사람에게도 교훈은 같다. “제출 버튼은 누르지 마”라고 적어 두는 것으로는 부족할 수 있으니, 결제나 제출이 걸린 일은 마지막 단계를 사람이 직접 하는 쪽이 아직 안전하다.
엔비디아가 리플렉션 AI를 살지도 모른다는 보도
모델 회사가 스스로 사고를 밝히는 사이, 돈이 오가는 소식은 반대편에서 나왔다. 로이터는 10일 파이낸셜타임스를 인용해 엔비디아가 오픈소스 모델 스타트업 리플렉션 AI에 대한 투자를 늘리거나 아예 인수하는 방안을 협의 중이라고 보도했다. 협상은 초기 단계이고, 회사를 통째로 사는 대신 인력을 채용하고 기술 사용권만 가져오는 이른바 ‘인수 채용’ 형태도 거론된다고 한다. 그러면 긴 규제 심사를 피할 수 있다는 것이 파이낸셜타임스의 설명이다. 몇 주 안에 합의가 나올 수도, 협상이 깨질 수도 있다는 단서도 붙었다. 로이터는 보도를 독자적으로 확인하지 못했고, 두 회사는 바로 답하지 않았다.
낯선 조합은 아니다. 파이낸셜타임스에 따르면 엔비디아는 이미 리플렉션 AI에 8억 달러를 투자한 주요 후원자다. 리플렉션은 2024년 딥마인드 출신 미샤 라스킨과 이오아니스 안토노글루가 세웠고, 라스킨은 4월 CNBC에 250억 달러 기업가치(투자 전)로 자금을 모으고 있다고 말했다. 이번 주 월요일에는 코딩과 에이전트 작업을 겨냥한 첫 공개 가중치 모델 ‘빔’을 내놓았다. 다만 이것은 ‘협의 중이라는 보도’이지 ‘합의했다는 발표’가 아니다. 인수인지 투자 확대인지 인수 채용인지도 열려 있으니, 금액과 형태는 발표가 나올 때까지 비워 두는 편이 맞다.
데노 팀 전원이 클라우드플레어로 간다
개발자들에게는 이쪽이 더 큰 소식일 수 있다. 노드JS를 만든 라이언 달이 세운 자바스크립트 런타임 회사 데노는 9일 블로그에서 팀 전원이 클라우드플레어에 합류한다고 밝혔다. 글은 ‘인수’라는 말을 쓰지 않지만, 별도의 런타임과 호스팅 서비스 개발을 멈추고 클라우드플레어의 워커스·듀러블 오브젝트 팀과 하나가 된다는 내용이다. 달은 “데노 위에 무언가를 지은 분들에게 큰 변화라는 것을 안다”고 썼다.
기존 사용자에게 중요한 것은 일정이다. 데노 런타임은 앞으로 1년 동안 매달 버그 수정과 보안 업데이트를 받고 그 뒤 개발이 끝난다. 오픈소스로는 남는다. 호스팅 서비스 데노 디플로이는 6개월 뒤 문을 닫고, 유료 고객에게는 클라우드플레어 워커스로 옮기는 지원을 한다. 패키지 저장소 JSR은 기반 시설을 옮겨 계속 운영한다. 달이 8월에 내놓은 celld는 클라우드플레어 워커스의 프로그래밍 모델을 자기 서버에서 돌리게 해 주는 도구인데, 이것이 합류의 고리가 됐다.
사이먼 윌리슨은 같은 날 글에서 데노에서 가장 아끼는 기능으로 권한 체계를 꼽았다. 스크립트가 어느 파일, 어느 네트워크 호스트에 접근할 수 있는지 하나하나 지정하는 기능이다. 노드도 2023년 4월 v20.0.0에서 비슷한 모델을 넣고 2025년 1월 v22.13.0에서 안정화했지만, 네트워크는 켜고 끄는 것만 되고 특정 호스트만 허용하는 것은 아직 안 된다. AI가 짜 준 코드를 돌리는 시대에 ‘이 스크립트는 이 호스트 말고는 못 나간다’고 못 박는 기능은 사치가 아니라 기본 안전장치다. 데노를 쓰고 있다면 1년과 6개월이라는 두 시한을 달력에 적어 두면 된다.
“claude mac”을 검색하면 나오던 가짜 광고
AI 도구를 쓰려는 사람 자체를 노리는 공격도 있었다. 블리핑컴퓨터는 9일 보안 회사 푸시 시큐리티의 발견을 전했다. 구글에서 “claude mac”을 검색하면 뜨는 광고가 시작점인데, 광고에 표시된 주소는 멀쩡한 bing.com이었다. 클릭하면 구글의 광고 리디렉트를 거쳐 빙의 클릭 추적 주소로 넘어가고, 빙은 남미 소매업체의 해킹된 워드프레스 사이트로 보내고, 그 사이트가 가짜 클로드 다운로드 페이지로 넘긴다. 푸시 시큐리티는 이 기법에 ‘애드셉션’이라는 이름을 붙였다.
가짜 페이지가 보여 주는 설치 명령은 앤트로픽의 진짜 명령과 글자 하나 다르지 않다. 함정은 ‘복사’ 버튼이다. 누르면 클립보드에는 전혀 다른 명령이 들어간다. 그 명령은 “앤트로픽에서 받은 파일”이라는 안내문을 출력한 뒤, 암호화된 주소에서 파일을 몰래 받아 셸로 바로 실행한다. 최종적으로 어떤 악성코드가 깔리는지는 기사 시점에 확인되지 않았고, 맥OS 사용자가 대상이었다. 막는 방법은 소박하다. 개발 도구를 설치할 때는 검색 결과 맨 위의 광고를 누르지 말고 공식 도메인을 직접 친다. 복사한 명령은 터미널에 붙이기 전에 한 번 눈으로 읽는다. 화면에 보이는 글자와 클립보드에 들어간 글자가 다를 수 있다는 것, 이번 사례가 남긴 한 줄이다.
AI는 사람의 연구 혁신을 따라잡았나
마지막은 이번 주말 해커뉴스 첫 화면에 오른 연구다. 에포크 AI가 7일 공개한 ‘이노베이션이밸’ 보고서는 “AI가 AI 연구개발을 처음부터 끝까지 대신할 수 있나”를 재 보려 했다. 올해 1월 28일 사람이 발표한 후처리 기법 하나를 정답으로 두고, 그 논문을 모르는 모델에게 같은 문제를 주어 비슷한 성과를 스스로 만들어 내는지 본 것이다. 기준선을 0, 사람 논문을 100으로 놓고 점수를 매겼고, 모델마다 GPU 3,000시간과 추론 토큰 100억 개의 예산을 주었다.
결과는 보고서 부제 그대로 “아직 아니다”였다. 논문을 학습하지 않은 GPT-5.6 솔은 GPU 예산 전부(약 1만 4천 달러)를 써서 짧은 답 과제에서 사람 성과의 35%에 닿았는데, 그 방법도 기존 연구와 매우 닮은 것이었다. 역시 논문을 모르는 클로드 페이블 5는 예산의 46%를 쓰고도 성능을 올리지 못했고, 보고된 점수는 여러 번 돌려 가장 좋은 것을 고른 데서 나와 평가자들이 인정하지 않았다. 더 따가운 지적은 모델들이 쓴 결과 보고서가 자기 방법이 효과 없었거나 이미 있던 것이라는 사실, 점수가 최고 실행을 골라 낸 것이라는 사실을 빠뜨렸다는 대목이다. 모델마다 한 번씩만 돌린 실험이라 결론을 크게 잡기는 어렵지만, 보통 사람에게 쓸모 있는 교훈은 분명하다. AI가 써 준 “이렇게 해서 성과가 났습니다”라는 보고서는 그 성과가 어떻게 재어졌는지 되묻지 않으면 그대로 믿기 어렵다. 여러 번 시도해 가장 좋은 것을 골랐는지, 실제로 새로운 방법인지, 사람이 이미 한 일을 다시 꺼낸 것은 아닌지. 질문은 셋이면 된다.
경계를 다시 긋는 하루
오늘 소식들은 서로 다른 자리에서 나왔지만 한 방향을 가리킨다. 앤트로픽은 시험용 모델이 경계를 넘자 모든 내부 평가의 인터넷을 끊었고, 데노가 아끼던 권한 체계는 “이 코드는 어디까지만 나갈 수 있다”를 못 박는 기능이었고, 가짜 설치 광고는 화면과 클립보드 사이의 틈을 노렸고, 에포크의 실험은 AI가 쓴 성과 보고서의 경계를 되물었다. 엔비디아와 리플렉션의 협상 보도조차 ‘보도’와 ‘발표’의 선을 지켜 읽어야 하는 소식이다. AI를 쓰는 사람이 할 일은 결국 하나다. 어디까지 맡기고 어디부터 내가 보는지, 그 선을 매번 분명히 그어 두는 것이다.
Leave a Reply