요약
값싼 판정 모델 Jev가 헷갈리는 건만 Opus에 넘기면 Opus 수준 정확도를 4분의 1 비용으로 얻습니다.
고객 데이터 플랫폼 기업 하이터치의 연구진이 쓴 글입니다. 신원 통합(흩어진 기록을 실제 한 사람에게 묶는 작업) 결과를 사람이 검수하면 시간당 50건 남짓이라, LLM이 대신 채점할 수 있는지 시험했습니다.
왜 중요한가
- 모든 건을 비싼 모델에 맡기지 않고 어려운 건에만 쓰면, 정확도를 거의 잃지 않고 비용을 크게 줄일 수 있음을 수치로 보였습니다.
- 이런 혼합 방식에서는 작은 모델의 단독 정확도보다 확신도가 실제 정답률과 얼마나 맞는지(보정)가 승패를 가른다는 점이 드러났습니다.
- 연구진은 문제가 어려울수록 Opus로 넘기는 건이 저절로 늘어, 프롬프트를 바꾸지 않아도 지출이 난이도에 맞춰진다고 봤습니다.
핵심 내용
- Jev는 조건이 참일 확률을 0~1 점수로 내는 판정 모델로, 건당 0.15초에 1,000건당 약 0.05달러가 듭니다.
- 쉬운 시험에서 Jev가 확신도 30~90%인 22%만 Opus에 넘기자 정확도 98.8%, 1,000건당 0.88달러가 나왔습니다.
- 같은 시험에서 Claude Opus 5.5 단독은 99.0%에 3.86달러였으니, 비용이 약 4.4배 줄어든 셈입니다.
- 쌍둥이·동명이인 같은 함정을 넣은 어려운 시험에서는 혼합 Jev가 95.3%로 Opus(95.1%)와 맞먹었지만 절감 폭은 약 1.8배로 줄었습니다.
- GPT-6 Luna는 쉬운 시험 단독 성적은 Jev보다 나았지만 틀린 답에도 크게 확신해, 혼합하면 어려운 시험에서 91.6%에 그쳤습니다.
HN 반응
- 작은 모델이 큰 모델에 묻는 구조와 큰 모델이 작은 모델을 부리는 구조 가운데 무엇이 나은지를 두고 경험담이 엇갈렸습니다.
- 일부 이용자는 값싼 모델이 도움을 청할 때를 잘 알아채지 못한다며, 큰 모델이 작은 모델의 결과를 검토하는 편이 더 믿을 만하다고 했습니다.
Qwen3.8 27B로 관리와 오케스트레이션, 가벼운 조사를 시키고, 거기서 claude에게 물어보게 해 보세요. Qwen이 Haiku, Sonnet, Opus에서 거의 그만큼 좋은 답을 뽑아내는 걸 보실 수 있을 거예요... 저는 모델 답변이 얼마나 좋은지 조사하고 있었는데, Fable 말고는 제대로 쓸 수가 없었어요. 그런데 Qwen은 어느 모델에서든 좋은 결과를 얻어내더라고요. 제 가설은 이래요. Qwen이 나를 이해하게 만들면, Qwen이 세부 사항을 채워 넣는 거니까 필요한 만큼 풀어 써서 어떤 모델에서든 좋은 결과를 얻어낼 수 있다는 거예요. 그러니 Qwen으로 claude를 지휘하면 훨씬, 훨씬 싼 값에 놀라운 결과를 얻을 수 있어요...
추가 설명할게요. 저는 Qwen 5개로 이뤄진 팀이 fable에 가까운 품질을 낸다는 HN 글을 읽고, 제 하네스(https://github.com/alainnothere/privibe 다들 하나씩은 있잖아요?)에 그걸 붙여 보기로 했어요. 오케스트레이션 도구를 추가하고 나니 이게 품질을 실제로 끌어올리는지 어떻게든 측정해야 했죠. 그래서 claude에게, 그다음엔 Qwen에게 실험을 시켰어요. 사용할 모델을 지정해서 제 하네스를 호출하고 뭔가를 시키게 한 다음, 3라운드였던 것 같은데, 결과 품질이 어땠는지 보게 했어요... 채점 결과, qwen과 claude 둘 다 오케스트레이션을 쓴 하네스에서 나온 응답의 품질이 아주 비슷하다고 평가했어요. opus와 fable은 "제 생각에는 이렇게 하셔야 합니다" 같은 의견을 더 많이 내놨는데, 이 둘이 더 낫다는 제 경험과 맞아떨어지는 부분이에요.
한 가지 더요. 저는 copilot 모델은 제대로 쓰지 못하겠어요. 제 작업 방식 탓일 수도 있지만... Qwen은 제가 하려는 걸 알아듣게 만들 수 있거든요. Qwen이 제 말을 이해하면 copilot cli를 실행해서 copilot으로 놀라운 결과를 얻어낼 수 있어요. 덤으로 copilot cli는 AIC(요청 비용) 기준으로 더 싼 것 같아서, copilot 구독을 더 오래 쓸 수 있어요.
저는 반대로 해요. Qwen3.8-27B를 서브에이전트로, Opus 5.5를 오케스트레이터 겸 기획자로 쓰고 구현은 절대 시키지 않는데, 토큰 사용량이 상당히 줄어요. 그러니까 Claude로 Qwen을 지휘하는 거죠. 반대 방향은 생각해 본 적이 없었네요. 최대한 빨리 해 볼게요.
두 방식의 오케스트레이션 모두 분명히 잘 됩니다.
똑똑한 에이전트가 노동을 맡을 더 싼 에이전트들을 지휘하는 방식이 있고,
덜 똑똑한 에이전트가 깊은 정보가 필요한 요청을 더 똑똑한 에이전트에게 아주 명시적으로 묻도록 하는 방식이 있습니다.
이건 실제로 통하는 방식입니다. SOTA 모델은 정보를 많이 줄수록 확 살아나는데, 사람은 매 프롬프트마다 그렇게 하기엔 너무 게으르거나 그럴 능력이 없으니까요.
결국 무엇을 하려는지에 전적으로 달려 있습니다.
수정: 똑똑한 에이전트가 또 다른 똑똑한 에이전트에게 물어보게 할 수도 있습니다. 당연히 개인 워크플로에는 이쪽이 좋습니다.
그러면 원래 프롬프트의 의도가 흐려지지 않나요? 똑똑한 모델이 의도를 제대로 이해하지 못했다면 덜 똑똑한 모델은 당연히 더 못 알아들을 텐데, 그 모델이 프롬프트를 다시 쓰고 부풀리면 오해만 증폭되는 것 아닌가요?
개인용 에이전트로 멍청한 모델을 써서 더 똑똑한 모델이 일하게 만드는 경우는 보통 없겠지만, 어떤 자동화 과정에서는 그런 메커니즘을 활용할 수도 있습니다.
그래도 분명히 쓸모 있는 경우가 있습니다.
GPT Pro는 정말 굉장한 모델인데, '프롬프트 도움' 없이는 거의 쓸 수 없습니다. 아니, 아주 정교한 프롬프트를 써야만 제대로 활용할 수 있고, 그러려면 다른 에이전트의 도움이 필요하다고 해야 맞겠네요.
저는 보통 Claude Code로 GPT Pro용 프롬프트를 쓰게 하고, 그걸 복사해서 붙여 넣은 뒤 GPT Pro가 20분 동안 일하게 합니다. 그러고는 응답을 다시 Claude Code로 가져와서 Opus와 함께 결과를 검토합니다.
Opus는 (명목상으로는) GPT Pro보다 '멍청'합니다.
GPT Pro가 뭔가요?
GPT Pro는 OAI의 소비자용 챗 모델에 있는 프로 설정입니다. 온라인이나 API로만 쓸 수 있습니다.
별개의 모델로 브랜딩되어 있지만, 실제로는 OAI 모델의 '울트라씽킹' 모드 같은 겁니다.
자세한 내용은 공개되지 않았지만, 병렬 테스트 타임 컴퓨트와 멀티 서치 방식입니다. 그러니까 모델이 여러 벡터를 따라 추론하고 답을 서로 비교합니다.
더 똑똑한 모델처럼 '느껴지는데', 제 생각에는 거의 확실히 Astra를 합성적으로 변형한 겁니다.
벤치마크를 돌려 본다면 단연코 '가장 똑똑한 모델'이고, OAI가 내놓은 것 중 상당수가 이것을 기반으로 했습니다.
벤치마크 점수는 거의 없거나 아예 없는데, 하네스 테스트나 코딩에는 적합하지 않기 때문입니다. 거의 '원샷'이나 '퓨샷'용으로 설계된 모델입니다.
답하는 데 8-25분이 걸리고, 충분히 정교한 프롬프트를 주면 1시간 동안 생각하기도 합니다.
OAI의 'pro' 계정, 즉 월 200달러짜리가 있어야 합니다.
AI 업계 최고의 공공연한 비밀이고, 아무리 추천해도 모자랍니다.
와, OpenAI 문서에 대한 지식의 깊이를 자랑으로 여기는 사람으로서 이걸 몰랐다니 부끄럽네요! Pro는 5.6 계열이 나온 뒤에 지원 중단된 기능이라고 생각했거든요. 6과 6.1에서도 Mode:Pro를 쓸 수 있는 줄은 몰랐어요, 감사합니다!
싼 모델에게 오래 걸리거나 노력이 많이 들어서 비용이 큰 작업을 돌릴지 말지 판단하게 하는 것도 말이 될 수 있습니다. 그러면 낮은 비용으로 많은 결정을 내리다가, 중요한 결정을 내릴 때만 깊이 생각할 수 있습니다.
'똑똑한' 에이전트가 그냥... 자기 자신에게 묻게 하는 가장 좋은 방법은 뭘까요?
보통은 다른 똑똑한 에이전트가 좋습니다. 강점이 서로 다르거든요(예: Opus의 결과물은 Sol에게 리뷰를 맡기기).
https://github.com/pingdotgg/t3code 를 claide/codex/pi/... 하네스 위에 얹는 래퍼로 쓰거나, 아래에 두는 프록시를 쓸 수 있습니다(Theo가 여러 claude 구독을 분산하는 데 쓰는 게 어느 건지 기억이 안 나네요, 에이전트한테 물어보세요).
그 주장은 상당히 의심스럽습니다. 엄밀하게 검증된 적이 있습니까? 특정 작업에 더 싸고 빠른 모델을 써서 비용과 시간을 아끼려고 모델을 섞는 건 이해합니다. 하지만 정확도를 높이려고 서로 다른 모델을 쓴다는 건 그럴듯하지 않아 보입니다.
모델을 섞으면 많은 경우 정확도가 올라가는 게 거의 확실합니다. 저는 매일 하루 종일 그렇게 쓰고 있고, 객관적인 벤치마크가 아니라 경험으로만 말씀드릴 수 있습니다.
저는 하루 종일 codex/claude code를 쓰는데, 둘이 서로를 서브에이전트로 쓸 수 있게 하는 MCP를 만들었습니다.
설계 변경이 들어가는 작업은 codex가 감사하지 않으면 claude code가 제 코드에 손대지 못하게 하고, 반대도 마찬가지입니다.
그 이유는 단지 서로 다른 모델이라 다양한 관점을 내놓을 수 있고, 서로의 작업에서 문제를 찾아낼 만큼 똑똑하기 때문이라고 믿습니다.
이를 뒷받침하는 연구가 있는지는 모르겠지만 꽤 자명하다고 생각합니다. 참고로 한계수익은 체감하기 때문에, '세 번째 관점'이 대부분의 경우 그만한 가치가 있을지는 잘 모르겠습니다.
그냥 물어보세요. 에이전트는 이미 방법을 알고 있습니다. 더 끌어올리려면 OAI/앤트로픽이 제공하는 문서를 그대로 읽게 하세요.
Claude에게 프롬프트를 만들어 달라고 하는 건, 카페에서 일하게 된 수학 선생님에게 수학 문제를 묻는 것과 같습니다. 그냥 눈이 반짝입니다.
정말 잘합니다.
저도 이렇게 해요. 3단계로 돌리고 있어요.
Muse Spark에 맞는 프로젝트와 샌드박스만 갖춰 주면, 이게 제 구성의 진짜 비법이고 OpenCode Go에서는 엄청 싸요.
GPT 6.1 Sol도 놀랄 만큼 효율적이라 인상 깊었어요.
제 오케스트레이션 스킬 구성은 https://github.com/beefsack/processed-beef/ 입니다.
한 가지만요.
가장 강력한 모델이 오케스트레이터가 되고 나머지 서브에이전트가 점점 덜 강력해지는 구조가 최적이라는 증거가 있나요? 그냥 상식인가요, 아니면 어떻게든 측정된 건가요?
제 생각에는 이런 구조 때문에 코드 자체가 엉성하게 쓰이거나 장황해지거나 결함이 생길 수도 있을 것 같아요.
상향식이든 하향식이든 핵심 원칙은 같다고 생각합니다. 허드렛일에는 싼 모델을, 전문성과 방향 설정에는 최상위 모델을 쓰는 겁니다.
제 구성에서는 오케스트레이터가 설계와 기획도 많이 주도하고, 덜 강력한 모델들은 사슬을 따라 위로 응답을 올려 보내면서 더 강력한 모델들로부터 입력을 받습니다. 더 강력한 모델들은 싼 모델이 만든 모든 산출물도 리뷰합니다.
반대로 싼 모델이 필요할 때 더 강력한 모델을 호출하게 하는 시스템도 써 봤지만, 제가 보기엔 언제 호출해야 하는지조차 잘 모르더군요. 싼 모델을 감싸는 방식이 좀 더 믿을 만하다고 봅니다. 문제가 사용자에게 올라오기 전에 걸러지는 경향이 있기 때문입니다.
토큰은 확실히 아껴지고, 100달러짜리 구독만으로도 엄청난 개발 역량을 얻을 수 있습니다. 모델을 섞는 건 어차피 좋은 생각일 수도 있다는 점도 짚어 둘 만합니다. 그렇게 하면 모델들의 엔트로피가 섞이고, 그게 결과 품질을 높여 준다고들 하니까요.
https://www.nature.com/articles/s42256-026-01268-y/ 아마 찾으시는 게 이걸 겁니다. 요약하면 약한 오케스트레이터 + 강한 워커가 그 반대보다 점수가 높았습니다. 단, 오래된 논문이라는 단서가 붙습니다. "고성능 모델: GPT-5, Claude Sonnet 4.5, Gemini-2.5 Pro, 저성능 모델: GPT-5 nano, Claude Sonnet 3.7, Gemini-2.0 Flash."
그렇긴 한데, 다중 에이전트 시스템의 '모범 사례'에서 최근 선을 넘었다는 증거가 있습니다. 'n개의 에이전트가 협업하는' 형태와 '에이전트 1개가 n개를 띄워 각기 다른 일을 맡기는' 형태를 비교하면, Opus 5.5[1]와 Opus 5[4]는 전자에서, Sonnet 5.5[2]와 Opus 4.8[3]은 후자에서 더 좋은 성능을 보입니다.
[1] https://www-cdn.anthropic.com/fc1b44717c85dc068bc6ba5024219938094694bd/Claude%20Opus%205.5%20System%20Card.pdf#page=190
[2] https://assets.claude.com/870c8f525702625d2c62fc6dd04c857e3250bec1.pdf#page=123
[3] https://assets.claude.com/0f0c97ad20d8005706296bd92aa1c27c6b2f4f61.pdf#page=213
[4] https://assets.claude.com/ceaf5c7ff2783855203fde8208ec311252dced5b.pdf#page=170
그러면 워커가 한 작업은 어느 에이전트가 검사하나요? 쓰레기가 나오면 오케스트레이터나 피처 리드가 토큰만 더 쓰게 되는 것 아닌가요?
복잡한 기능을 만들 때 이 구성과 Opus를 바로 쓰는 경우의 비용 차이가 어느 정도인지 궁금하네요.
제 목표는 로컬 모델을 시스템의 '안정적인' 부분, 아니면 적어도 제가 완전히 통제할 수 있는 부분으로 두고, 그 모델이 클라우드에 있는 Opus에게 도움을 청하게 하는 것이었어요(지금도 그렇고요). 실제로 결과를 내려면 말씀하신 방식대로 하고 있어요.
지금 노력도 시간도 전혀 들이지 않고 뭐든 할 수 있다면, Opus 5.5가 큰 그림을 짜서 로컬 모델에 넘기고, 로컬 모델이 다시 Opus에게 연락할 수 있는 권한까지 주겠어요.
저는 옛날 규칙 기반 봇 기술을 가장 먼저 부딪히는 첫 계층으로 두고, 결정론적으로 이해하지 못하는 상황이 나오면 외부의 '더 똑똑한' 에이전트에게 도움을 요청하는 식으로 비슷하게 하고 있어요.
그러면 옛날 방식의 의도 매칭과 규칙 기반 봇이 아주 잘 돌아가고, 더 깊은 작업에만 외부를 부르면 되거든요.
그게 그냥 지금 쓰는 모델에게 빈틈을 직접 채우라고 시키는 것과 뭐가 다른가요?
중간 단계를 직접 검토하지 않는다면, 그게 어떻게 "나를 이해하는 것"에 도움이 되죠?
차이는 없어요... 경우마다 다를 수 있죠. 저는 로컬 qwen GPU 환경이 있는데, 빠르긴 해도 claude만큼 빠르진 않아요. Fable은 놀라운 모델이고, 가격이 제 qwen 환경과 같다면 애초에 qwen은 안 쓰고 fable만 돌렸을 거예요. 하지만 Fable은 미친 듯이 비싸고, Qwen은 덜 빠르지만 더 싸요... Haiku는 제 손에서는 진짜 더럽게 멍청해요. 그래도 제 로컬 qwen은 브리핑을 받고, 취지를 파악하고, 위임할 만큼은 충분히 빨라요. 저는 주로 Fable로 작업하면서 opus/sonnet에 위임하는데, 이게 fable만 쓰는 것보다 싸요. opus나 다른 모델들과 일하는 건 못 참겠어요.
Qwen이 다른 모델들을 지휘하는 이유요? claude가 거부하는 것들이 있는데, Qwen은 아주 구체적인 질문을 만들어서 그 거부 반응을 건드리지 않고도 답을 얻어낼 수 있어요.
저는 Haiku 5를 쓰는데 가격 대비 놀라워요. 간단한 작업이면 거의 항상 Opus5.5 대신 이걸 써요. 제 경험으로는 Qwen 모델들보다 훨씬 나아요!
그분 생각은, 준비와 세팅 작업의 상당 부분이 뇌를 쓸 필요 없는 상용구 같은 일이라서 더 얕은 모델이 처리할 수 있다는 것 같아요.
예를 들면 Google 검색과 논문 MCP로 관련 논문을 찾고 내용을 요약하는 식이죠. 그러고 나서 큰 모델이 들어와서 그 결과물을 놓고 실제로 생각하는 거예요.
큰 모델이 이 작업은 luna한테 쉽게 위임할 수 있어요.
제가 작업 x를 요청하면 -> 큰 모델이 생각하고, 머리 안 쓰는 힘든 일은 luna에게 위임하는 거죠.
와, 저도 작은 모델 -> 큰 모델 방식과 큰 모델 -> 작은 모델 방식의 서브태스킹을 이것저것 갖고 놀아 보는 중이에요.
지금까지 느낌으로는 문제 영역의 '취향'에 크게 달려 있고, (토큰 비용 면에서 효율적인) 정답은 하나가 아니에요.
가장 똑똑한 에이전트가 실제로 진전을 내려면 문제 맥락의 전체 결, 즉 뭘 시도했고 내가 접근 방식에 어떻게 영향을 줬는지를 다 알아야 할까요, 아니면 명확한 문제 정의와 일할 수 있는 맥락의 여유만 있으면 될까요?
저도 같은 게 궁금해요...
현실 세계에는 이런 큰 쪽 -> 작은 쪽, 똑똑한 쪽 -> 덜 똑똑한 쪽 워크플로의 예가 많죠. 예를 들어 우리는 보통 주니어나 중급 SDE에게 극도로 어려운 문제의 해법 설계를 맡기지 않는데, 이유가 있어요. 하지만 경험이 적은 사람도 더 경험 많은 엔지니어가 작업을 검토해 준다면 비교적 위험 없이 다룰 수 있는 영역이 일부 있고, 그래서 결국 작업에 따라 다르다고 결론 내리게 돼요.
MCP와 도구를 이리저리 만지는 일 상당수는 더 작은 에이전트에게 맡길 수 있을 것 같아요. Astra가 웹 검색 결과 300개를 직접 볼 필요도, 원시 HTML에서 텍스트를 뽑을 필요도 없잖아요.