요약
바이두가 사전학습만 마친 2,800억 매개변수 모델 ERNIE 5.5 Flash Base를 공개했습니다.
바이두 ERNIE 팀이 11월 5일 내놓은 모델입니다. 사전학습이 끝난 시점의 모델을 그대로 공개해 개발자들이 도메인 적응, 지시 학습, 강화학습 연구를 같은 출발점에서 시작하게 하겠다고 밝혔습니다.
왜 중요한가
- 큰 비용이 드는 사전학습을 직접 하지 않고도 자기 목적에 맞게 후속 학습을 할 수 있는 바탕이 생깁니다.
- 같은 조건으로 비교한 비슷한 크기의 공개 기반 모델들보다 대부분 앞섰다고 밝혔지만, 모두 바이두의 자체 평가입니다.
핵심 내용
- 전체 2,800억 개 매개변수 가운데 토큰마다 140억 개만 쓰는 MoE(여러 전문가 망 중 일부만 골라 쓰는 구조) 모델입니다.
- 33.5조 토큰으로 처음부터 학습했고, 미세조정과 추론에서는 최대 100만 토큰 길이의 문맥을 지원합니다.
- 43개 층 가운데 37개 층은 토큰 128개를 하나로 압축해 저장하는 방식이라 긴 문맥에서 메모리를 덜 씁니다.
- MMLU-Pro에서 78.4점을 받아 DeepSeek-V4-Flash-Base 등 비교 모델의 최고치 69.2점을 넘었다고 했습니다.
- 가중치는 Hugging Face에 FP8과 BF16 두 형식으로 올라왔고, 후속 학습을 마친 ERNIE 5.5 Flash도 낼 예정입니다.
HN 반응
- 라이선스가 유럽연합·영국·한국에서의 사용을 막는다는 지적이 나왔고, 이들 지역의 AI 규제에 따른 법적 부담을 피하려는 조치라는 해석이 많았습니다.
- 기반 모델 공개의 의미를 두고 사전학습이 비용의 90%라는 주장과, 요즘은 강화학습 등 후속 학습이 절반 이상이라는 반론이 맞섰습니다.
그 위에 뭔가를 만들라고 내놓은 것치고는 라이선스가 정말 빡빡해 보입니다. 나라 전체(유럽연합, 영국, 한국)가 아예 사용 금지이고, 그 지역에서 아무도 파생 모델을 쓰지 못하게 할 책임까지 사용자에게 있습니다.
유럽연합, 영국, 한국의 특정 법규 때문에 오픈 웨이트 모델에 적대적인 환경이 된 것 같습니다. 비슷하게 이 지역을 제외한 다른 모델도 본 기억이 있고요.
꽤 그럴듯한 이유네요. 오픈 웨이트 모델은 예외로 두었어야 하는 건 아닐까요?
"하위 개발자에게 정보 제공"이나 "저작권 준수 정책"은 순식간에 비용이 커질 수 있잖아요.
제2조 12항입니다. "이 규정은 자유·오픈소스 라이선스로 공개된 AI 시스템에는 적용되지 않는다. 다만 고위험 AI 시스템으로, 또는 제5조나 제50조에 해당하는 AI 시스템으로 시장에 출시되거나 서비스에 투입되는 경우는 예외로 한다."
그러니 예외가 어느 정도는 있습니다.
바이두에서 AI 모델 출시를 맡은 엔지니어인데 체크리스트에 '현지 법규를 확인해서 해당 국가를 제외하거나, 현지 변호사를 구해 준수 여부를 점검할 것'이라는 항목이 있다고 해 보세요. 나라마다 법을 맞추자고 변호사를 200명 넘게 고용하느니, AI 관련 법이 따로 있는 나라를 통째로 빼 버리는 쪽이 아마 훨씬 쉬울 겁니다.
모델을 공개해서 얻을 수익이 사실상 없을 가능성이 높다면 더 그렇죠. 라이선스에 뭐라고 쓰여 있든 학계에서의 명성과 홍보 효과는 어차피 얻게 되니까요.
규제 포획에 예외 같은 건 안 넣죠.
무슨 소리예요? 이 사이트는 "AI 회사들이 다 훔쳐 간다, 처벌해라!" 하면서 완전히 이성을 잃었고, 이런 반(反)AI 법을 환호하며 반겼잖아요.
아마 실제로 추궁하지는 않겠지만, 규제 책임을 도입하는 쪽에 떠넘기는 건 분명하네요.
이 제한은 그 나라들의 AI 법과 얽힌 복잡한 법적 문제에서 손을 떼려는 장치입니다.
GDPR이 처음 나왔을 때, 모두가 규정을 어떻게 해석할지 갈피를 잡지 못하던 시기에 EU 방문자를 차단한 웹사이트들과 같은 상황이에요. GDPR에는 모호한 부분이 있어서 그 지역에서 서비스를 운영하기가 위험했고, 그래서 가장 쉬운 해법이 아예 빠지는 것이었습니다.
저는 그 지역에서 모델을 어떻게 쓰든 바이두가 신경 쓰지 않을 거라고 봅니다. 어느 규제 당국이 성급하게 방아쇠를 당겨 책임을 물으려 할 때, 자신들은 그걸 권장하지 않았다고 내세우기 위한 면책 조항일 뿐입니다.
ERNIE는 BERT처럼 구닥다리 느낌이에요. 이름을 바꾸든가, 아니면 아예 ML 여명기 레트로 감성으로 밀고 나가야 합니다.
BERT 모델은 맡은 일에서는 지금도 훌륭합니다. 최신 JEV/KEV/SEV/BEV/REV/TREV 모델이라 해도 잘 학습시킨 BERT는 못 이겨요.
하하, 이름이 참 중요하네요... 오늘 마침 Claude가 화자 식별용으로 BERT 모델을 추천하길래 한소리 했는데, 알고 보니 2025년 기준 SOTA라고 하더라고요!
https://arxiv.org/html/2510.04213v1
Hugging Face에 특정 용도로 학습된 오픈 웨이트 BERT 모델 예시가 있나요?
이런 작은 모델은 쓰려는 용도에 맞게 파인 튜닝해서 씁니다. https://huggingface.co/transformers/v4.8.2/training.html
훨씬 더 오래됐어요.. https://en.wikipedia.org/wiki/Premium_Bonds#ERNIE
버트와 어니요. 떠오르는 게 없나요? 세서미 스트리트요.
다음엔 빅 버드가 웨이트를 풀었으면 좋겠네요.
두 손을 하늘로 번쩍 든 ELMO가 나올 것 같은데요.
https://en.wikipedia.org/wiki/ELMo
... 저는 옛날 Xbox 폰트 익스플로잇이 생각났네요. Bert & Ernie Reloaded!
http://archiv.sega-dc.de/phoenix.maxconsole.net/docs/berternie.inc.htm
인피니밴드가 깔린 멀티 노드 클러스터에서 이 모델을 추가로 학습시킬 프레임워크를 추천해 주실 분 계신가요? NeMo Framework인가요? 아니면 "순정" HF TRL+Accelerate인가요? 주관적인 의견도 환영합니다.
ernie 4가 나왔을 때는 정말 탄탄한 모델이었고, 다른 모델들과 느낌이 확연히 달랐습니다. 군더더기 없이 곧장 요점으로 들어갔거든요. 안타깝게도 딱 그 무렵부터 deepseekv3와 glm이 뜨기 시작했죠. 저는 몇 달 동안 계속 써 봤는데, 이번에는 그 마법을 되살렸기를, 그리고 지나치게 생각이 많지 않기를 바랍니다.
훌륭합니다! 지금 우리에게 필요한 건 바로 베이스 모델 공개입니다. 이게 얼라인먼트를 이루는 믿을 만한 방법입니다. 베이스 모델을 공개해 지구상의 모든 사람이 마음대로 쓰게 하는 것이 지능 폭발 과정에서 극단적인 가치 표류를 막아 줄 가능성이 큽니다. 수백만 명이 저마다의 방식으로 이 베이스 모델들을 얼라인하려 들 테고, 아마 우리 모두 실패하겠지만, 그 모델들은 서로 다른 방향으로 표류하기 때문에 현실에서는 그 행동이 서로 상쇄될 겁니다. 그 결과는 문명 차원에서 인류의 평균적인 목적 함수에 맞춰지는 얼라인먼트입니다. 지저분하지만 아주 확실한 얼라인먼트 방법이죠.
지능이 높아지는 것 자체에서 오는 다른 종류의 가치 표류는 여전히 남겠지만, 우리가 뭘 하든 그건 피할 수 없습니다. 오픈 모델을 공개하면 이것도 늦출 수 있습니다. 앞으로의 학습 투자 의욕을 꺾기 때문이죠. 게다가 이 전략은 협력 없이 단독으로도 통합니다. 오픈 모델이 하나 공개될 때마다 속도가 조금씩 늦춰집니다. 앤트로픽과 OpenAI가 자기들의 도덕적 우월성을 설파하면서 벌이는 규제 포획 쇼와 달리, 이것이 프런티어의 속도를 조절하는 진짜 방법입니다.
그럼 베이스 모델로 정확히 뭘 할 수 있나요? 얼라인먼트나 추론 같은 최적화 없이 그냥 자동 완성만 하던, 추론 모델 이전의 모델 같은 건가요?
대형 베이스 모델은 프런티어 모델을 만드는 데 드는 노력과 비용의 약 90%를 차지하는데, 그것만으로는 쓸모가 별로 없습니다. 베이스 모델을 학습시킬 때는 논란이 될 결정이 많지 않아요. 사람이 만든 데이터를 최대한 많이 모아 가능한 한 큰 모델을 학습시키면 거의 끝입니다.
하지만 그렇게 하면 다른 곳에서 마지막 10%를 학습시켜 쓸모 있게 만들기가 훨씬 쉬워집니다.
다만 그 마지막 10%의 학습 과정에서 내리는 선택이 많고, 그 선택이 AI 안전성, 정치적 견해, 폭탄 제조를 도와주려는 의향 등 모델의 행동에 영향을 줍니다.
이런 수치가 자주 인용되는데, 이 추정은 어디서 나온 건가요? 사후 학습이 전부 지시 따르기와 RLHF뿐이던 시절의 낡은 수치 아닌가요? 요즘 세대의 강화 학습이 아직도 학습 비용의 몇 퍼센트에 불과하다면 놀랄 것 같은데요.
제가 알기로는 더 최근 추정치에서는 전체 학습 연산의 절반 이상이 사후 학습/파인 튜닝에 쓰입니다. 베이스 모델을 사후 학습시키려면(단순한 채팅은 물론이고 사고/추론이나 검증 가능한 과제의 성능은 말할 것도 없고) 강화 학습이 필요한데, 이게 꽤 어렵습니다.
베이스 모델은 다음 토큰 예측 학습만 거친 모델입니다. GPT-2/3에 규모만 더 키운 것이라고 생각하면 됩니다.
RLHF나 지시 따르기 학습, 추론 능력을 키우는 RLVR은 거치지 않은 상태고요.
모든 LLM은 다음 토큰 예측기입니다. 사후 학습은 레딧이나 4chan에서 아무렇게나 긁어 온 데이터가 아니라, 구조를 갖춘 의미 있는 대화에서 나올 법한 토큰을 예측하게 만드는 과정이고요.
아니요, 그건 사후 학습의 일부일 뿐이고, 2024년 가을부터 2025년 겨울 사이에 OpenAI의 o1과 Deepseek-R1이 나온 뒤로는 그렇지 않습니다.
지금은 사후 학습의 상당 부분(어쩌면 이 시점에서는 대부분일까요? 누가 알겠습니까)이 RLVR(검증 가능한 보상에 대한 강화 학습)에 쓰입니다. 이런 학습에서는 생성된 토큰 자체를 평가하지 않고 답변 전체를 평가합니다("이 프로그램이 컴파일되고 테스트를 통과하는가", "증명이 유효한가"). 지난 2년간 소프트웨어와 수학 분야에서 LLM이 이룬 진전은 전부 여기서 나왔습니다.
그러니 맞습니다, 핵심은 여전히 다음 토큰 예측기입니다. 하지만 이제는 학습 데이터를 통계적으로 그럴듯하게 흉내 내는 것보다 훨씬 많은 것을 학습하므로 더는 단순한 확률적 앵무새가 아닙니다.