요약
AI 칩 설계 기업 리커시브가 미국산 오픈 웨이트 모델 중 에이전트 코딩 1위라는 Ripple-65B Preview를 공개했습니다.
AI로 칩 설계를 자동화하려는 연구소 리커시브 인텔리전스가 자사 칩 설계 플랫폼에 쓰는 비공개 모델의 범용 버전을 내놓았습니다. 가중치는 Hugging Face에 공개했고, OpenRouter와 Together AI 등에서도 쓸 수 있습니다.
왜 중요한가
- 회사는 이전 최고 모델의 약 10분의 1인 3,200만 달러로 같은 수준에 올랐다고 추산하며, 거대 예산 없이도 경쟁할 수 있음을 내세웠습니다.
- 미국 관할 밖 회사의 모델을 쓸 수 없는 조직에는 쓸 만한 선택지가 하나 늘어납니다.
핵심 내용
- TerminalBench 2.1에서 80.52점을 받아 Reflection Beam(80.1점)과 Meta Muse Spark Open(76.4점)을 앞섰습니다.
- 전문가 혼합(MoE, 토큰마다 파라미터 일부만 쓰는 구조)이 아닌 밀집 트랜스포머이며, NVIDIA DGX Spark에서 로컬로 돌릴 수 있다고 했습니다.
- 사전 학습에 12조 토큰을 썼고, 문맥은 최대 100만 토큰까지 지원합니다.
- 강화 학습 롤아웃(모델이 과제를 한 번 끝까지 풀어 보는 시도)은 약 140만 회로, Reflection Beam의 약 70분의 1이었다고 했습니다.
- 후속 학습 데이터는 사지 않고 자체 합성 데이터 파이프라인으로 만들었습니다.
HN 반응
- 비교 대상을 미국산으로 좁혀 84.3점인 Qwen 3.8 Flash Next 같은 실제 선두를 뺐다는 비판에, 미국 회사 모델만 써야 하는 곳엔 의미가 있다는 반론이 맞섰습니다.
- 65B를 매번 모두 계산하는 밀집 모델이라 개인 장비에서는 느리다는 지적이 많았고, MTP(여러 토큰을 한 번에 예측하는 기법)로 충분히 빨라졌다는 반론도 있었습니다.
경쟁력 있는 오픈 웨이트 모델이 또 나와서 반갑습니다. 축하합니다!
다만 이 모델은 65B 밀집(dense) 모델이라 일반 소비자용 하드웨어에서는 추론이 감당하기 어려울 만큼 느릴 겁니다. 그래서 Qwen의 27B급 모델이나 MoE 모델처럼 취미로 쓰는 사람이나 로컬 모델 애호가 사이에서 인기를 끌기는 어려울 듯합니다. 게다가 이 모델을 만든 회사의 목표이자 사명이 칩 설계 자동화인 것 같고요.
그러니 짐작해서 점을 이어 보면, 칩 설계에 망 분리 환경에서 AI를 쓰고 싶은 기업을 위한 모델로 보입니다. 서드파티 AI 연구소나 적대적인 쪽으로 IP가 새어 나가지 않게 지키면서, 서버급 추론 하드웨어를 넉넉히 마련할 여력이 있어 큰 밀집 모델로 빠르게 성능을 끌어올리려는 곳이겠죠.
멋지네요!
시대가 바뀌고 있습니다. MTP와 DFLASH 덕분에 밀집 모델이 다시 유행입니다. Qwen 3.8 27B는 MTP를 쓰면 토큰 생성 속도가 아주 좋게 나오고, 품질은 비슷한 크기의 MoE보다 훨씬 낫습니다.
도움이 되는 건 맞습니다. 하지만 보조/초안 모델이 필요한 추측 디코딩(speculative decoding)은 대가가 따릅니다(KV 풀이 작아집니다). 그래서 VRAM이 아주 넉넉하지 않으면 사실상 남는 선택지는 MTP뿐인 경우가 많습니다. 이미 아시겠지만 이런 방식들(MTP, DFlash, DSpark 등)은 MoE 모델에도 똑같이 쓸 수 있고요. 1tk/s가 3tk/s가 되는 정도라면 도움이 된다고는 할 수 있어도 얼마나 많은 사람이 반길지는 모르겠습니다. 저라면 50tk/s가 150tk/s가 되는 쪽이 훨씬 반갑겠습니다!
좀 틈새일 수는 있지만, 이런 밀집 모델을 돌릴 만큼 RAM이 충분한 사람은 꽤 많을 거라고 확신합니다. 얼마나 느려야 느린 건지는 모르겠지만, 좋은 모델을 로컬에서 돌릴 수만 있다면 속도쯤은 기꺼이 포기하는 사람들이 있습니다.
HuggingFace의 "SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF"를 보세요. 이번 달 다운로드가 350만 건이라고 나오는데, 2비트·3비트로 양자화한 모델(66GB~83.9GB)을 제공하고 있습니다.
이 모델을 4비트(Q4_0)로 양자화하면(보통 원본 모델에 비해 지능 손실이 거의 없습니다) 크기가 40GB 안팎일 테고, 사람들이 그보다 최소 20GB는 더 큰 모델을 내려받고 있다는 점을 보면 더 큰 모델을 돌리는 사람이 훨씬 늘어날 수도 있습니다.
다만 취미로 쓰는 사람들 사이에서 인기를 끌려면 주장하는 만큼 성능이 좋아야겠죠.
그런데 Qwen 3.8 Flash Next는 전문가 혼합(MoE) 모델입니다. 토큰당 활성 파라미터가 6B라서 모델의 상당 부분을 RAM에 캐시해 두고 필요할 때 VRAM으로 넣고 빼면서 쓸 수 있습니다. 밀집 모델에 그렇게 하면 훨씬 느려집니다.
추론 중에 전문가(expert)를 VRAM과 시스템 RAM 사이에서 옮기는 일은 보통 없습니다. 너무 느리거든요.
실제로는 라우터처럼 모델의 "밀집" 부분을 VRAM에 올리고, 남은 VRAM은 KV 캐시와 들어갈 만큼의 전문가가 차지합니다.
나머지, 대개는 전문가들이 RAM에 있는데 크게 문제될 건 없습니다.
또 일부 모델은 n-gram 테이블을 쓰는데, 토큰마다 한 행만 읽으므로 디스크에 둬도 아무 문제가 없습니다. 예시입니다.
https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
요즘 엔진들은 그 "들어갈 만큼의 전문가" 부분을 최적화하려 하고, 남는 VRAM을 캐시로 써서 추론 중에 자주 쓰이는 전문가를 GPU로 옮기기도 합니다(덜 쓰이는 전문가는 계속 CPU에서 실행되긴 하지만요).
예를 들어 llama.cpp에 최근 이를 위한 플래그가 추가됐습니다. https://github.com/ggml-org/llama.cpp/pull/29887
저는 몰랐던 기능이라 최신 릴리스를 받았는데(이 플래그가 포함돼 있는데도 문서에는 없더군요), 제 경우엔 안타깝게도 성능이 곤두박질쳤습니다.
캐시가 없으면 VRAM이 남을 정도로 fit 목표값을 잡아도 평소 토큰 속도의 3분의 1 정도밖에 안 나옵니다.
"보통"을 어떻게 정의하느냐에 따라 맞는 말이지만, 어떤 성능 손해까지 감수할 수 있느냐에 달린 문제입니다. Strata LLM은 필요할 때마다 가중치를 스트리밍하는 방식으로 설계됐습니다. 덕분에 저는 강하게 양자화한 DeepSeek-4.1-Flash 1031(ISTA-DASLab의 2.25 bpw 양자화)을 Radeon R9700 한 장과 호스트 RAM 256GB로 돌립니다. 프리필 500 tps, 디코드 30 tps로 대단한 속도는 아니지만, 짧은 프롬프트에서 VRAM에 통째로 들어가게 양자화한 Qwen3.8-27B로 얻는 속도의 상당 부분은 나오고, 컨텍스트가 약 80k를 넘으면 오히려 더 빠르며, DS4.1F는 1M 토큰 컨텍스트를 쓸 수 있습니다. 그걸 채우는 데는 한참 걸리고 KV 캐시가 맞지 않아 다시 채워야 할 때도 마찬가지지만, 어쨌든 돌아가긴 합니다.
llama.cpp의 새 --moe-cache-mib 플래그를 써 봤는데, 플래그 없이 돌릴 때보다 성능이 3분의 1 정도로 떨어집니다.
사실 놀랍지도 않습니다. PCIe 4.0 x16의 단방향 대역폭이 약 31.5GB/s인데, 시스템 RAM보다 훨씬 느리거든요. 제 경우엔 3분의 1 속도인데, 느려지는 비율이 딱 그만큼인 게 우연은 아니라고 봅니다.
뭔가 이상한데요. 순정 llama.cpp로도 R9700에서 50 t/s가 나옵니다. Q6이면(컨텍스트 64k로 제한한 경우이고, KV 캐시를 양자화하면 더 늘릴 수 있습니다) 카드에 통째로 들어갑니다.
무슨 말씀인지 알겠습니다. 모델이 좋기만 하면 0.1 토큰/초로도 쓰면서 밤새, 혹은 며칠에 걸쳐 작업을 돌릴 사람들이 있겠죠. 하지만 Qwen3.8 Flash Next는 MoE 모델(활성 6B)이라서 토큰 하나를 계산하는 데 필요한 메모리 대역폭과 연산량이 65B 전체가 활성인 밀집 모델과는 전혀 다릅니다!
전반적으로 경쟁력이 있다는 건가요, 아니면 "에이전트 코딩을 꽤 잘하는 다른 미국산 오픈 웨이트 모델들"과 비교했을 때만 경쟁력이 있다는 건가요? 후자가 전자를 뜻하는 건 아니잖아요.
저희 중에는 미국 관할권 밖에 있는 회사의 모델을 쓰는 것이 명시적으로 금지된 경우가 여럿 있습니다. 전 세계 기준으로 보면 이 모델들이 경쟁력 있다는 뜻은 아니지만, 그렇다고 의미 없는 구분도 아닙니다.
Mistral도 똑같은 포지셔닝을 하죠.
이 모델은 Terminal Bench 2.1에서 80.5점을 받았습니다.
참고로 Qwen 3.8 Flash Next(이 모델보다 크지만 MoE라서 아마 돌리는 비용은 더 쌀 겁니다)는 84.3점, Qwen 3.8-27B는 73.0점입니다.
이 모델이 경쟁력이 있을 수도 있다고 봅니다. Qwen에 비해 벤치마크에 얼마나 최적화(benchmaxxed)했느냐에 달렸겠지만요.
openrouter에 올라온 GMI cloud 호스팅 모델은 신뢰가 가지 않습니다. 131k 컨텍스트 길이 제한을 무시하더라도 도구 호출 실패율이 용납할 수준이 아닙니다.
저희 벤치에서 'submit_html' 도구를 호출하라고 했더니 페이지 전체를 평문 답변으로 써 놓고는 "This is the complete submit trigger."라는 내용으로 submit_html을 호출했습니다. 도구 호출 8번 중 4번이 실패했습니다.
자기가 정한 범주에서 가장 좋아 보이고 싶은 마음은 이해합니다. 하지만 오픈 웨이트의 실제 선두 모델과의 비교를 하나도 보여 주지 않으면, 실제 사용자(진짜 경쟁 구도 안에서 실제 성능 비교를 궁금해하는 사람들)에게는 벤치마크 전체가 아무 정보도 주지 못합니다.
아, 저는 크기에 비해 아주 좋은 모델 Flint를 공개했던 recursive.com이 만든 건 줄 알았습니다.
HF 모델 페이지 https://huggingface.co/ricursiveAI/Ripple-65B-Preview 를 보고 있는데, Apple Silicon 버전은 하루쯤 기다려야 할 것 같네요.
에이전트 코딩 벤치마크 결과가 대단합니다.
시장은 결국 옴니 멀티모달 모델로 갈 거라고 봅니다. 텍스트, moe, 에이전트 작업, 음성, 이미지, 비디오를 하나의 LLM에서 전부 다루는 모델이요.
새 모델은 언제나 반가운 소식입니다!
다만 기존 모델들과 파라미터 수 대비 점수를 비교한 차트는 오해를 부릅니다. 다른 모델은 전부 MoE이고 이 모델은 아니니까요. 기사에서는 NVIDIA 카드에 맞춰 최적화하려는 아키텍처상의 결정이라고 설명하는데(미국 연구소는 이런 고성능 칩을 상대적으로 쉽게 구할 수 있으니 합리적으로 들립니다), 그렇다면 MoE에는
유효 파라미터 크기 ≈ sqrt(전체 파라미터 크기 * 활성 파라미터 크기)같은 경험칙을 적용하는 식으로 차이를 반영해서 차트를 조정했어야 합니다.고용량 메모리 Mac Studio를 쓰는 사람으로서, 마침내 쓸 만한 속도로 고품질 결과를 내며 돌아가는 모델이 나왔다는 게 정말 반갑습니다. 제 경험상 Mac 클러스터의 적정선은 가중치 200GB 안팎인데, 이 모델은 그보다 한참 작습니다. 실제로 돌아가는 오픈 모델을 만들어 준 recursive 팀에 축하를 보냅니다!
밀집 모델이라 Mac에서는 느릴 겁니다.
ricursive의 주특기가 LLM으로 EDA와 칩 설계를 자동화하는 것 아니었나요? 그런데 왜 오픈 웨이트 에이전트 코딩 모델을 내놓고, EDA나 칩 설계만 빼고 다른 모든 것으로 벤치마크를 하는 거죠?
저도 모델 카드에 RTL 벤치마크가 하나도 없어서 놀랐습니다. 예를 들어 CVDP에서는 점수가 어떻게 나올지 궁금하네요.
오픈 웨이트 모델이 또 나와서 반갑습니다.
성능 표만 봐서는 이 모델이 얼마나 가치 있는지 판단할 수 없습니다. 비교 대상이 좀 좁거든요. 더 많은 정보를 줄 서드파티 벤치마크를 기다리겠습니다.
저는 아주 강한 양자화(q2 정도) 없이 제대로 돌릴 하드웨어가 없습니다. 게다가 아키텍처도 로컬 사용에 최적화돼 있지 않고요(슬라이딩 윈도 어텐션도 KV 캐시가 필요합니다). 저는 그냥 넘어가야겠네요.
그러니까 Recursive와 Ricursive가 둘 다 LLM을 만들고 있다는 거네요?
이제 Rickursive를 세울 때네요. 절대 당신을 포기하지 않고, 절대 실망시키지 않을 연구소로요.
그리고 기존 두 곳을 인수해야죠.
말하자면 싹 롤업(roll up)해 버리는 거죠.