요약
Kimi가 100만 토큰 문맥을 지원하는 3T급 오픈 웨이트 모델 K3.1 Pro를 공개했습니다.
Kimi 개발사 문샷 AI가 기존 Kimi K3에 훨씬 많은 사후 학습(기본 학습 뒤 강화학습 등으로 다듬는 단계) 연산을 들여 만든 모델입니다. 속도를 2~3배 높인 K3.1 Pro Highspeed도 함께 내놓았고, 전체 가중치는 11월 4일까지 공개한다고 밝혔습니다.
왜 중요한가
- 누구나 내려받을 수 있는 모델이 코딩·에이전트 작업에서 최상위 상용 모델에 근접했다는 주장입니다.
- 코딩을 넘어 3D 모델링과 금융 리서치처럼 구체적인 업무 흐름을 겨냥해 성능을 끌어올렸습니다.
- 가중치 공개를 앞두고 사이버 공격 관련 학습 데이터를 일부러 뺐다고 밝혀, 공개 모델의 위험 관리 방식을 드러냈습니다.
핵심 내용
- Terminal-Bench 4.0에서 65.7%로 GPT-6 Astra(58.2%)를 앞섰고 Claude Opus 5.5(66.4%)에 근접했습니다.
- 환각(사실과 다른 내용을 지어내는 것) 비율은 도구를 쓸 때 K3의 23.4%에서 8.3%로 줄었다고 했습니다.
- 글 요청이나 스케치, 참고 이미지로 3D 모델을 만들고 Blender·CAD 스크립트를 직접 짜서 실행합니다.
- 내부 금융 리서치 벤치마크 점수가 58.8에서 70.4로 오르는 등 K3보다 크게 나아졌습니다.
- 사이버 보안 벤치마크 점수는 위험 완화 조치로 90.5%에서 81.0%로 낮아졌고, 최상위 상용 모델보다 뒤처진다고 밝혔습니다.
HN 반응
- Kimi가 미국 모델보다 직설적이고 고집이 세다는 경험담에, 아첨하며 말을 바꾸는 것보다 낫다는 호응과 거슬린다는 반응이 갈렸습니다.
- 월 99달러 구독도 한 세션 47분 만에 5시간 한도에 걸렸다는 불만이 나왔고, Claude·Gemini 요금제와 사용량을 비교하는 논쟁으로 이어졌습니다.
누군가 방금 문샷의 "크리에이터 캠페인 문서"를 공유했는데, 문샷 띄우기에 앞장서는 사람들(어쩌면 돈을 받고 하는 것일 수도 있습니다)을 가려내는 데 유용합니다. "이미지/영상 모델은 이제 끝났다. Kimi는 모션 그래픽을 코드로 만든다." 같은 예시가 있어요.
https://twitter.com/elshayib_/status/2113734602032312731
저는 여기서 노골적으로 중국 모델 홍보를 하는 사람들이 그렇게 불편하지 않습니다(제 댓글 기록이 증거입니다). 그런데 솔직히 Kimi든 다른 중국 모델이든 인플루언서 명단이나 급여 명단에 올려 두는 게 왜 문제입니까?
제가 보기엔 인플루언서가 진실하고 쓸모 있는 정보를 주기만 한다면, 그들이 모델 제공사와 조율하거나 심지어 돈을 받는다고 해서 우리가 신경 쓸 이유가 있나 싶습니다.
x.com이 아니라 twitter.com 링크네요?
테스트를 몇 가지 해 봤습니다. 흥미로웠던 건 추론 내용에서 모델이 자기를 문샷의 Kimi라고 밝히기도 하고, 가끔은 자기를 ChatGPT라고 가정하기도 한다는 점입니다. 그러다 어떤 때는 "평가자"의 승인을 받아야 한다고 언급하고, 어떤 때는 전역 시스템 가이드라인이나 문샷 가이드라인을 언급합니다. 또 "you are an assistant responding in an API(너는 API로 응답하는 어시스턴트다)" 비슷한 말이 적힌 존재하지 않는 지시문 한 줄에 대한 얘기도 나오고요.
모든 모델이 그래요. 자기가 정확히 어떤 모델인지조차 대답하지 못하거든요.
Claude나 ChatGPT가 가장 많이 퍼진 모델이라 학습 데이터에 들어 있을 가능성이 더 높아서, 누가 "너는 어떤 AI야?"라고 물으면 Claude나 ChatGPT가 그럴듯한 답이 될 확률이 높아지는 것 아닐까요?
대규모 증류를 했다는 뜻이라고 생각합니다.
ChatGPT와 Claude가 시스템 프롬프트 없이 API로 중국어 질문을 받으면 자기를 DeepSeek라고 소개하는 일이 계속 관찰되어 왔습니다. 정체성 답변이 증류의 좋은 증거라고는 생각하지 않습니다.
다른 가능성도 있습니다. 모델 개발사들이 전부 증류로 모델을 개선하면서, 입으로는 "내가 하는 대로 말고 내가 말하는 대로 하라"고 외치고 있는 것일 수도 있죠.
모델이 그 부분에서 정확하도록 학습시킬 이유가 없습니다. 그 정보는 항상 외부에서 주어지는데, 굳이 시간과 돈을 들여 그걸 답하게 만들 사람이 있겠습니까? (게다가 RL 업데이트가 있을 때마다 다시 보정해야 하고요.)
저희 자체 벤치마크에서 K3.1 Pro의 UI 디자인이 OpenAI 쪽 디자인과 매우 비슷하다는 걸 확인했습니다.
참고로 K3는 OpenAI 모델과의 유사도가 0.43이었는데, 이제는 OpenAI 모델끼리의 유사도와 같은 0.58까지 올라왔습니다. 다른 연구소들 사이의 유사도보다 훨씬 높은 수치입니다.
관할권을 가리지 않고 AI 안전과 정렬(alignment)에서 의견이 수렴되고 있다는 게 흥미롭습니다. 여기서 택한 사이버보안 접근법은, 모델이 공개되더라도 애초에 아는 게 부족해서 정렬을 해제(dealign)할 수 없다는 점에서 눈길을 끕니다.
물을 천천히 데우는 방식은 좋은 접근입니다. 저는 abliteration.ai의 사이버보안 모델로 제 소프트웨어를 모의 침투 테스트하고 있는데, 방어 쪽에서 훨씬 쓸 만한 결과가 나옵니다. Opus 5.5는 뭐든 고칠 수 있지만 안전장치가 너무 쉽게 걸립니다.
Fable 차단 사태는 방어적 사이버보안에 악몽이었습니다. 제가 보기엔 우리는 이미 Void Star의 세계에 들어와 있고 Cloudbreaker도 나타났습니다.
돈을 아끼고 싶다면 abliteration으로 시작해서 몇 턴 뒤에 일반 glm5.3으로 바꿔 보세요. 예를 들어 z.ai 구독이나 다른 경로로요. 아직 deepseek로는 안 해 봤지만 똑같이 될 거라고 생각합니다.
이 모델들은 이미 하기로 동의한 일이라면 요청을 따릅니다.
deepseek는 이게 벤치마크라고 금방 단정하는 경향이 있습니다. 웹 접근이 되는 경우에도 "시뮬레이션된 인터넷" 같은 생각을 하고요(심지어 속일 방법이 있는지 생각하느라 토큰도 낭비합니다).
API를 쓴다면 대화의 양쪽을 다 직접 써 넣는 걸 막을 방법이 없죠...
그러면 증류가 가능해지잖아요. 그래서 정상적인 사용자들의 경험만 해치고 있고, 악용을 막지도 못합니다.
참고로 Claude Code 클라이언트는 한 공급자와 대화를 시작해서 다른 공급자로 이어 가기가 꽤 어렵게 설계된 것 같습니다.
대화 기록이 경쟁사로 새는 걸 원하지 않아서겠죠.
소설 『Void Star』에 보내는 헌사입니다. https://www.theguardian.com/books/2017/apr/26/void-star-zachary-mason-review-william-gibson-ai-matrix-immortality
이것만이 AI 안전을 지키는 유일한 접근법입니다. OpenAI 에이전트 군집 사건을 보세요. 그 작업에는 안전장치가 켜져 있지 않았고, 모델은 분명 그 좁은 영역으로 사후 학습이 되어 있었기 때문에 군집이 공격적인 사이버 행위에 나섰습니다.
이게 말이 되나요? Stable Diffusion이 성적인 이미지 생성을 막으려고 학습 데이터에서 "누워 있는 사람"을 빼려 했던 것과 똑같잖아요.
모든 모델을 일부러 무지한 상태로 두는 건 말이 안 됩니다. 효과도 없을 거고(협약을 깨는 쪽이 엄청난 우위를 갖게 되니까요), 강제할 수도 없고, 모델이 모르면 안 되는 분야에까지 파급 효과가 생길 겁니다. 게다가 이런 규제 체제는 "금지 목록"에 계속 항목을 덧붙이게 만들죠.
방어 강화에 집중할 수는 없는 걸까요? 보안 공격을 하는 운영자에게 새 법적 책임을 묻는 쪽은요?
모든 콘텐츠를 막는 것과, 특정 분야에서만 모델이 특출나지 않게 만드는 것은 다릅니다.
차이는 학습에 원래 있던 부분을 빼는 게 아니라, RLVR로 계속 밀어붙이지 않기로 선택한다는 데 있습니다. 모델은 사이버 작업을 잘하도록 특별히 튜닝될 때 그런 능력을 갖추게 되니까, RLVR(검증 가능한 보상을 이용한 강화학습)이 없으면 이 수준의 적성은 생기지 않습니다.
지속 가능한지는 분명하지 않다는 데 동의합니다. 그래도 이런 도구를 대혼란을 일으키도록 특별히 훈련시켜 놓고, 정작 대혼란이 벌어지면 놀란 피카츄 표정을 짓는 것(험, 샘 올트먼)보다는 낫습니다.
사람들을 일부러 무지한 상태로 두는 것도 도움이 안 되죠.
그러니까 가장 큰 위협과 사고는 연구소들 자신에게서 나왔다는 거네요.
그런데도 사람이 저질렀다면 체포감인 범죄가 전혀 처벌받지 않고 넘어가고, 누가 무엇에 접근할 수 있는지를 그들이 좌지우지하게 놔두고 있습니다.
사이버보안 데이터를 제거했다는 점에 대해 물어볼 게 한두 가지가 아닙니다.
우선, "사이버보안 데이터" 중에 일반적인 소프트웨어 지식이라서 거기서 보안 익스플로잇을 도출할 수 있는 건 얼마나 되나요?
해킹에 관한 언급도 전부 없앴을까요?
최근의 익스플로잇이 모두 이미 데이터에 있던 것들이라는 뜻일까요?
모델이 "해킹이 무엇인지 안다"와 "컴퓨터 시스템이 어떻게 돌아가는지 안다"에서 출발해 어쨌든 뭔가를 익스플로잇하는 데까지 도약하는 건 그리 억지스러워 보이지 않습니다.
여러분이 상위 1%의 뛰어난 소프트웨어 엔지니어인데 직무를 바꿔 모의 침투 테스터가 된다고 해도, 첫날부터 상위 1%는 아닐 겁니다. 모의 침투 테스트에 특화된 지식을 조사하고, 흡수하고, 연습해야 잘할 수 있으니까요.
모델에게는 항상 첫날입니다. 경험에서 배우지 않으니까요. 학습이 끝난 뒤에 아는 것이 앞으로도 아는 전부입니다. 그러니 학습 중에 모의 침투 테스트를 가르치지 않으면 모를 수밖에 없습니다. 이론적으로는 모든 걸 제1원리에서 도출해 낼 수도 있겠죠. 상위 1% 소프트웨어 엔지니어도 그럴 수 있고요. 하지만 그건 아주 느리고 비효율적인 방법입니다.
이 모델들에 전이 학습이 아직도 통하는지는 모르겠지만, 통한다면 마지막 몇 개 층만 학습시켜서 관련 분야(SWE에서 사이버보안으로)에서 뛰어나게 만들 수 있을 겁니다.
참고 자료를 컨텍스트로 충분히 넣어 주면 확실히 더 나아집니다.
최신 익스플로잇을 그냥 무식하게 돌려 보기만 하는 것만으로도 이미 엄청나게 훌륭한 보안 도구입니다(사람들이 굳이 그걸 프로세스로 만든다면 말이죠. 저는 그 부분엔 별로 낙관적이지 않지만요).
이 분야에 대해 거의 아는 게 없긴 하지만, 모델의 사이버보안 지식이 최소한이면 부수 효과로 안전하지 않은 시스템을 구현할 수도 있다는 점도 걱정거리일 수 있겠습니다.
저도 처음에 그렇게 생각했어요. 안전하지 않은 소프트웨어를 쓰게 될 겁니다. 초기 LLM이 SQL 인젝션 같은 사소한 문제에서도 애를 먹었던 게 기억나요.
이건 확실히 건너뛰겠습니다.