요약
문샷 AI가 2.8조 매개변수 멀티모달 모델 Kimi K3.1 Pro의 가중치를 공개했습니다.
문샷 AI가 허깅페이스에 Kimi K3.1 Pro의 가중치와 모델 카드를 올렸습니다. 이 모델은 Kimi K3를 수백 개 분야의 강화학습으로 추가 학습한 K3.1 시리즈의 첫 모델입니다. 회사는 자사 3조 매개변수급 모델 가운데 가장 뛰어나다고 소개했습니다.
왜 중요한가
- 회사가 밝힌 점수로는 일부 에이전트·코딩 벤치마크에서 Claude Opus 5.5 같은 최상위 비공개 모델과 맞먹습니다.
- 거액의 학습 투자 없이 약 100만 달러어치 GPU로 최상위급 모델을 서비스할 길이 열렸다는 평가가 나왔습니다.
- 공개 직후 여러 추론 업체가 호스팅을 시작해, 업체 간 경쟁으로 가격이 내려갈 여지도 생겼습니다.
핵심 내용
- 전체 매개변수는 2.8조 개지만 토큰마다 1,040억 개만 쓰는 전문가 혼합(MoE, 입력마다 일부 하위 신경망만 켜는 구조) 모델입니다.
- 맥락 창(한 번에 처리하는 입력 길이)은 약 100만 토큰이고, 텍스트와 이미지를 함께 입력받습니다.
- K3의 전체 어텐션 층을 희소 어텐션 층(Gated DSA)으로 바꿔 긴 문맥을 더 효율적으로 처리합니다.
- BrowseComp에서는 92.1점으로 Opus 5.5를 앞섰지만, Program Bench에서는 31.5점으로 Opus 5.5(65.0점)의 절반에 못 미쳤습니다.
- 환각률이 낮아졌다고 했지만, 여러 점수는 회사 내부 벤치마크나 자체 평가 환경에서 나왔습니다.
HN 반응
- 외부 감사 보고서를 근거로 시험 문제를 학습했다는 의심이 나왔고, 오픈 모델끼리 보면 과장이 아니라는 반론도 있었습니다.
- 훨씬 싼 DeepSeek-V4.1-Flash보다 확실히 낫다는 경험과, 거의 차이가 없는데 더 느리고 비싸다는 경험이 엇갈렸습니다.
DeepSeekV4.1-Flash를 크게 앞서는 것 같지는 않네요. Hy4도 모델을 발표했는데 자체 벤치마크가 엄청 많고, K3.1은 거기서 점수가 그리 높지 않은 반면 Opus5.5는 높게 나오니까, K3.1은 벤치맥스(benchmaxxed)한 모델로 보입니다.
매일 써 보면 K3(와 K3.1)가 DS4.1-Flash-1017보다 훨씬 강하다는 게 분명히 느껴져요. 벤치마크가 못 잡아내는 뭔가가 있어요. DS4.1-Flash-1017은 가격 대비 놀라운 모델이지만, 비교하면 그리 큰 모델은 아니거든요.
경쟁사가 내놓은 자체 벤치마크가 벤치맥스를 주장한다고 해서 거기에 너무 큰 비중을 두지는 않을 거예요. Kimi K3는 오픈 웨이트 모델 중에서 Design Arena 최상위를 아주 오랫동안 지켜 왔고, K3.1도 오랫동안 거기에 있을 것 같습니다. 그건 결과물에 대한 실제 사람들의 선호도라서 조작하기가 꽤 어렵거든요.
K3.1과 DS4.1-Flash의 아레나 비교 얘기가 나왔으니 말인데, 저희는 디자인보다 더 관련성이 높다고 생각하는 아레나를 만들고 있습니다. https://agentduel.com/leaderboard
여기서는 DS4.1-Flash와 K3.1이 사실상 비슷하고, K3.1이 더 느리고 더 비쌉니다. 다만 오차 범위가 크긴 합니다.
오차 범위를 감안해도 DS4.1-flash는 분명 인상적인 모델입니다.
벤치마크에서 DS4.1-Flash가 K3나 K3.1과 같은 급으로 나온다면, 안타깝지만 그 벤치마크가 고장 난 겁니다. 그렇지 않았으면 좋겠지만 현실은 그래요.
저희는 조기 투표를 허용합니다. 대부분의 아레나와 다르지만 의도한 겁니다. 간단한 작업을 더 빨리 끝내는 모델이 있다면 그 모델이 선택받아야 하니까요. 그런 점에서 DS4.1-Flash는 많은 작업에서 더 낫습니다.
리더보드에서 조기 투표를 빼면 두 모델은 더 이상 같지 않습니다.
Kimi 3.1 같은 비싼 모델을 고르는 시점이면 속도는 전혀 중요하지 않아요.
보통은 다른 방법이 다 실패해서 어쩔 수 없이 더 비싸고 더 좋은 모델에 토큰을 태우는 상황이라, 몇 분 정도 더 걸리는 건 정말 상관없습니다.
작업 완료 시간이 중요하지 않다고 생각하는 건 당신뿐일 것 같은데요.
그분 말씀은 더 빠른 모델이 작업을 만족스럽게 끝내지 못했다는 거잖아요.
저도 직접 겪었어요. DeepSeek 4.1 Flash는 범위가 정해진 구현이나 검색 같은 데서는 정말 좋고 믿기 힘들 만큼 저렴합니다. 그런데 반드시 다뤄야 할 모든 경우를 빠뜨리는 구현이 자주 나와요. 그러면 제가 직접 나서서 아주 세밀하게 방향을 잡아 주거나, 더 무거운 모델에게 리뷰를 맡겨 구체적인 피드백을 받아야 하죠. 리뷰어로 GPT 6.1 Sol을 쓰는 이 혼합 워크플로로 좋은 성과를 봤습니다. 그러면 제 일은 대부분 처음(아키텍처, 목표, 제약 조건)과 끝(최종 리뷰나 아주 빠른 중간 리뷰)에 몰립니다. 이런 식으로 여러 모델을 섞어 쓰는 워크플로를 시뮬레이션하는 벤치마크는 제가 아는 한 없어요.
그런데 난이도 분포가 공정하거나 대표성이 있다는 건 어떻게 검증하나요?
사람들이 실제 업무를 하고 있는지는 LLM 심사위원으로 검증합니다.
두 모델 모두 에이전트 코딩에 써 봤는데, 제가 쓰는 제공업체 기준으로 거의 10배나 되는 가격을 정당화할 만큼 K3가 더 낫다는 느낌은 못 받았습니다.
사실 결과물에서 차이를 거의 못 느꼈어요. 두 모델이 비슷하게 나온다는 게 제 경험에는 맞는 것 같습니다.
다만 3.1은 아직 안 써 봤습니다.
kimi K3.1이 Opus 5.5와는 대등하게 겨루는데 DS V4.1F에는 조금 뒤처진다니 꽤 웃기네요. 정작 DS는 Opus한테 고전했는데 말이죠.
그걸 매일 어떻게 쓰시는 거예요? 구독은 한 번에 몇 분어치밖에 못 쓰고, API 비용은 말도 안 되게 높잖아요. Anthropic 구독 대신 이걸 쓸 이유가 전혀 없어요. 더 빠르지도 싸지도 않거든요. DeepSeek 4.1, MiMo 2.6 같은 다른 플래시 모델과는 다르죠.
deepseek의 flash 버전을 실수로 쓸 때마다 모델 때문에 진짜 짜증이 나다가, 나중에야 모델을 잘못 골랐다는 걸 깨닫곤 해요. 그리고 비교 글들을 보면 DS가 더 이상 고추론 모델 계열에 집중하지 않는 것 같아서 좀 헷갈리기도 합니다…
1017은 예전 DeepSeek Flash 모델들과는 전혀 달라요. 모든 면에서 훨씬 뛰어납니다.
저는 최신 DS4 flash도 여전히 별로예요. 실수가 더 많고 놓치는 것도 많습니다. Ember-1(생각을 줄이도록 Kimi K3를 파인튜닝한 모델)과 아주 비슷하게, 믿고 맡길 만한 어시스턴트는 아닙니다(내 경험상).
저도 DS4 flash(사실상 모든 버전)는 같은 경험을 했는데, Ember-1은 어시스턴트로서 정말 마음에 들었어요. 요점만 말하거든요. 지시를 따르고, 매번 엉망이 되지 않을 만큼은 유능합니다.
(> K3.1은 벤치맥스한 모델로 보입니다.)
그보다 더 심해 보입니다. 이 [1]에 따르면 아예 테스트 세트로 학습시킨 것 같아요.
[1] - https://r40.org/papers/kimi_k31_benchmark_audit.pdf
세상에, 아주 고약한 보상 해킹(reward hacking)이네요. 알려 주셔서 감사합니다!
와, 정말 흥미로운 연구네요. 흔한 벤치마크는 특히 에이전트 소프트웨어 개발 밖에서는 실제 성능을 재기에 너무 얕았어요.
이 논문과 K3.1 말고, 이 분야의 현황을 높은 수준에서 소개해 주는 글을 읽을 만한 곳이 있을까요? 이런 모델들이 실패하는 결함의 유형이라든가, 이상적으로는 그런 걸 어떻게 찾아내는지 같은 거요.
무엇에 쓰느냐에 따라 달라요. DSf는 계획된 코딩 작업을 실행하는 데는 꽤 좋지만 그다지 똑똑하지는 않습니다. K3.1은 fable의 대체재가 될 수 있다면 굳이 코딩 달인일 필요가 없어요.
집에서 돌릴 수 없다 해도, 이건 여전히 추론의 범용화와 다변화, 그리고 집중된 권력을 깨뜨리는 쪽으로 한 걸음 나아간 일입니다. 수십억 달러를 들여 여러 해 동안 학습과 연구에 투자하지 않고도, GPU에 100만 달러만 투자하면 최첨단급 모델을 서비스할 수 있다는 건 큰 차이예요.
고사양 노트북에서도 초당 0.1토큰쯤으로 돌릴 수는 있죠.
그래도 저는 qwen 3.8 같은 더 작은 모델이 훨씬 중요하다고 생각해요.
이제 서드파티 추론 제공업체들이 호스팅하고 있고, 시간마다 더 늘어나고 있습니다. https://openrouter.ai/moonshotai/kimi-k3.1-pro
Together는 같은 가격대에서 Moonshot AI 엔드포인트의 두 배 처리량을 내는 것 같고(Modal은 그것의 두 배), 그래서 추론 제공업체들이 최적화할 여지가 있고, 따라서 경쟁을 위해 비용을 낮출 여유도 있다고 봅니다.
이 모델이 벤치맥스했다는 얘기가 많은데, 저희가 테스트할 때는 그런 걸 발견하지 못했습니다.
프런티어에서 조금 떨어져 있지만 대부분의 용도에는 정말 훌륭한, 아주 강력한 오픈 모델 출시입니다.
https://x.com/danielmckinn0n/status/2115213822957117535?a=fOnT23O3ybHYeBwR1xU&s=46
AA가 비공개 평가로 바꿨을 때 K3.1의 상대 순위가 다른 모델에 비해 그렇게 크게 떨어진 이유가 뭘까요? 주로 FrontierCode, CritPt V2, 그리고 새 비공개판 AA Omniscience에서 공개 벤치마크 성능에 비해 모델이 크게 못 미치던데요.
좀 더 정확하게 말씀드렸어야 했네요. 서구권 폐쇄형 모델들과 비교하면 이 모델이 벤치맥스한 건 분명하지만, 오픈소스 경쟁 모델들과 비교하면 그렇지 않습니다.
AA 재채점도 그걸 반영한다고 생각해요. Kimi는 여전히 최상위 모델들의 끄트머리에 들어 있고 DS, GLM 등보다 훨씬 앞섭니다.
그리고 새 AA 지수도 나름대로 이상한 건 분명해요. Haiku가 Grok 4.7을 앞선다는 건 말이 안 됩니다.
"얘기가 많다"는 표현은 너무 순화한 거라고 봅니다. 이 연구 [1]에는 설명하기 힘든 증거가 많아요. 적어도 모델을 벤치맥스하려다 실패한 사례이고, 더 그럴듯하게는 테스트 세트로 대놓고 학습시킨 것입니다(그리고 그걸 숨기려던 시도는 실패했고요). 그쪽 설정에서 뭔가가 상당히 새어 나갔어요.
또 여기 [2]를 보면 oAI 형식의 가짜 암호화 데이터를 태연하게 응답으로 내놓는 정황도 있습니다. [1]보다는 결정적이지 않지만, 그래도 수상쩍어요.
[1] - https://r40.org/papers/kimi_k31_benchmark_audit.pdf
[2] - https://x.com/PeterNutter1/status/2118084568419045704
좀 더 정확하게 말씀드렸어야 했네요. 서구권 폐쇄형 모델들과 비교하면 이 모델이 벤치맥스한 건 분명하지만, 오픈소스 경쟁 모델들과 비교하면 그렇지 않습니다. AA 재채점도 그걸 반영한다고 생각해요. Kimi는 여전히 최상위 모델들의 끄트머리에 들어 있고 DS, GLM 등보다 훨씬 앞섭니다. 그리고 새 AA 지수도 나름대로 이상한 건 분명해요. Haiku가 Grok 4.7을 앞선다는 건 말이 안 됩니다.
https://xnotme.com/PeterNutter1/status/2118084568419045704