요약
AI 사후 학습에 쓸 과제 데이터는 사전 학습 때와 달리 공개 공유지가 없어 일부러 만들어야 합니다.
오픈 아테나의 데이비드 홀이 쓴 해설입니다. 대형 언어 모델은 위키백과, 오픈소스 코드, Common Crawl처럼 사람들이 저마다의 이유로 쌓아 둔 공개 기록 덕분에 자랐습니다. 하지만 사후 학습(사전 학습을 마친 모델을 강화학습 등으로 다듬는 단계)에는 그런 자원이 없다고 짚었습니다.
왜 중요한가
- 학습용 과제와 환경을 몇몇 회사가 독점하면 AI가 할 수 있는 일과 그 이익을 누가 가질지도 그들이 정하게 됩니다.
- 공개 과제 공유지가 생기면 대학, 비영리단체, 독립 연구자도 대기업이 외면하는 능력을 모델에 가르칠 수 있습니다.
- 사전 학습 공유지는 우연히 생겼지만, 사후 학습 공유지는 목적과 비용을 따져 의도적으로 지어야 합니다.
핵심 내용
- 사전 학습은 문서를 읽지만, 사후 학습은 환경·목표·도구·채점기를 갖춘 반복 가능한 과제를 풉니다.
- 법률·의료·과학 등에는 공개 과제가 없어 최첨단 AI 연구소들이 전문가에게 돈을 주고 과제를 만들게 합니다.
- 가장 쉬운 분야인 소프트웨어에서도 SWE-bench는 풀 리퀘스트 9만여 건에서 과제 2,294개만 건졌습니다.
- 개발자 93명이 검수해 남긴 SWE-bench Verified 500개 중 약 6분의 1도 나중 감사에서 고장 난 것으로 드러났습니다.
- 홀은 저장소, 변경 추적 문서, 로그 같은 흔적에서 과제를 체계적으로 되살려 내자고 오픈 커뮤니티에 제안합니다.
HN 반응
- 일상에서 쌓이는 에이전트 작업 기록을 모으면 된다며 허깅페이스, 풀사이드의 공개 사례를 든 의견에는 익명화가 문제라는 지적이 따랐습니다.
- 전문가의 일을 공개 과제로 만들면 일자리를 위협한다는 반론에, 글쓴이는 그러지 않으면 소수 거대 기업이 데이터를 사들여 노동 시장을 쥐게 된다고 답했습니다.
인터넷을 통한 분산 포스트트레이닝은 분산 사전학습보다 훨씬 쉽습니다. 필요한 건 모든 사람이 일상적으로 쓰면서 남기는 에이전트 트레이스뿐입니다. Hugging Face는 이미 에이전트 트레이스 업로드를 지원합니다. https://huggingface.co/docs/hub/en/agent-traces 를 보세요.
저희는 누구나 에이전트 트레이스를 모을 수 있도록 DataClaw를 개발해 왔습니다. https://github.com/peteromallet/dataclaw 를 보세요. https://old.reddit.com/r/LocalLLaMA/comments/1u795pb/donate_your_coding_sessions_to_an_open_ccby40/ 처럼 비슷한 시도도 여럿 있습니다.
비공개 모델은 원본 CoT가 암호화되어 있지만, 이를 복호화하는 방법은 얼마든지 있습니다. CoT 내용이 없더라도 도구 호출과 CoT의 길이만으로 이미 포스트트레이닝에 쓸 만한 신호가 됩니다.
중국에서는 '환승역(transition station)'이라 부르는 중계 서비스를 통해 GPT와 Claude에 접속합니다. 이런 곳은 매일 수 GB의 평문 에이전트 트레이스를 수집하고, 그 데이터는 결국 오픈소스 커뮤니티의 몫이 됩니다. 제 추정으로는 이미 10~100TB의 에이전트 트레이스가 인터넷에 공개되어 누구나 내려받을 수 있는 상태입니다.
데이터 자체는 좋습니다. 그런데 익명화는 어떻게 하나요? 평범한 개발자라면 자신의 원본 트레이스가 인터넷에 공개 호스팅되는 걸 원하지 않을 것 같습니다.
DataClaw에는 자동 익명화 필터가 있고, Pi의 export 같은 다른 해법도 있습니다. 다만 저는 AI가 모든 사람의 데이터를 집어삼키면서 프라이버시라는 개념 자체가 바뀔 거라고 봅니다.
제 생각에 포스트트레이닝 데이터 커먼즈와 그 주변 인프라는 Postgres나 Linux 같은 다음 세대의 위대한 오픈소스 프로젝트가 될 겁니다.
스탠퍼드의 Marin 프로젝트(지금은 이 블로그 글을 쓴 Openathena가 운영하는 걸로 알고 있습니다)가 정말 유망하고 멋집니다. https://marin.community/
Marin이 공개한 평가(evals) 정책이 인상적이었습니다. https://github.com/marin-community/marin/issues/9409
정확하고 아주 명료하게 쓰여 있습니다.
안녕하세요, 몇 주 전에 이 글을 쓴 사람입니다. 여기서 보게 될 줄은 몰랐네요, 어쩌고저쩌고.
궁금한 점이 있으면 기꺼이 답하겠습니다. 저희는 디스코드도 운영합니다. https://marin.community/
흥미로운 프로젝트인데, 좋은 생각인지는 저도 마음이 반반입니다. 어쨌든 Poolside의 트래젝토리 같은 공개 포스트트레이닝 트래젝토리 코퍼스가 이미 있지 않나요? https://trajectories.poolside.ai/
포스트트레이닝 커먼즈는 어느 정도 보호되어야 할 것 같습니다. 이런 건 엄청난 노력으로 만들어지는 데다, 사람들이 일해서 돈을 버는 능력에 영향을 줄 수도 있으니까요.
경쟁력을 위해 국가 프로젝트로 추진되는 경우도 상상해 볼 수 있습니다.
저희가 고민하는 것 중 하나는 이걸 착취적이지 않고 참여적인 방식으로 하는 방법입니다. 과학자들이 에이전트로 자동화하고 싶어 하는 일이, 과학자를 자동화하려는 기업이 고르는 일과 같다는 법은 없습니다.
사람들이 허드렛일을 자동화하도록 돕고, 동시에 무엇이 만들어질지에 실질적인 발언권을, 자신의 작업이 어떻게 쓰일지에 통제권을 줄 수 있다면 지금의 흐름보다 훨씬 나은 결과가 나올 가능성이 있다고 봅니다. 우리가 그런 세계에 있는지는 확신이 없지만, 시도는 해봐야 한다고 생각합니다.
지옥으로 가는 길은 선의로 포장되어 있다고 하죠.
기여한 뒤에 어떤 식으로든 혜택이 돌아오는 구조라면, 그 참여는 결국 착취로 변질될 겁니다.
솔직히 시도하지 않는 게 맞다고 봅니다.
제대로 설명할 수 있을지 모르겠지만, 오픈 모델 이니셔티브의 기본 발상 중 하나는 전문 분야 포스트트레이닝이 경제에 미치는 영향은 이미 되돌릴 수 없는 기정사실이라는 겁니다. OpenAI와 앤트로픽은 비공개 포스트트레이닝 데이터를 사들이는 데 $수백만씩을 썼습니다.
여기서 따져볼 문제는 Open Athena 같은 프로젝트가 만드는 오픈 웨이트 모델이 같은 범위의 전문 분야에서 계속 경쟁력을 갖추기를, 혹은 갖추게 되기를 원하느냐입니다.
이미 어느 정도는 보호되고 있잖아요. 오픈 웨이트 모델이 공개될 때 데이터셋이 같이 나오는 일은 드물고, 포스트트레이닝 데이터셋은 특히 그렇거든요. 엔비디아가 아마 예외일 겁니다.
NSA가 '국가 안보'를 명분으로 도청 자료 같은 걸 연구소들과 공유하기 시작하는 건 언제일지도 궁금하네요. 솔직히 이미 벌어지고 있을 것 같지만요.
그게 NSA에 무슨 이득이 되나요? 앤트로픽 같은 연구소에 도청 기록을 넘기면, 모델을 탈옥시킬 수 있는 사람은 누구든 그 데이터에 접근하게 됩니다. 제가 아는 한, 데이터를 이해하고 해석하려고 그 데이터로 모델을 학습시킬 필요는 없습니다. 민감한 데이터를 다른 곳(특히 AI 연구소)에 넘기는 건 보안 위반이고, 아니면 제가 뭔가 놓치고 있는 걸까요.
제가 좀 더 구체적으로 말했어야 했네요. 제가 말한 건 산업 스파이 활동에 가깝습니다. 프런티어 연구소의 학습에 도움이 될 만한 내부 데이터를 손에 넣는 거죠.
NSA가 보잉을 돕기 위해 유럽연합의 에어버스를 상대로 첩보 활동을 벌인, 잘 알려진 사례를 보세요.
엔비디아가 오픈 데이터셋으로 훌륭한 일을 해왔고 정말 고맙게 생각하지만, 포스트트레이닝 데이터의 상당 부분은 공개되지 않았다는 점은 짚어 둘 만합니다. https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16#private-non-publicly-accessible-datasets-of-third-parties 를 참고하세요. 그래도 최소한 공개하지 않은 게 무엇인지는 밝혀 두긴 했습니다.
방향이 틀렸어요. NSA는 이렇게 나올 겁니다. "Fable의 가중치를 내놓고, TS-SCI 인가를 받을 수 있는 엔지니어도 몇 명 빌려줘. 우리가 자체 모델을 내부에서 직접 학습시킬 테니까. 안 주면 그냥 가져갈 거야. 어쩌면 이미 가져갔을지도 모르지. 국가 안보를 위한 일이니까."
아니요, NSA 프로그램은 SCI가 아닙니다. 몇 년 전부터 그렇지 않아요. SAP입니다.
NSA가 Fable을 포스트트레이닝할 필요도 없습니다. Maven으로 충분히 잘 돌아가고, 같은 인프라를 Fable에도 쓸 수 있으니까요. 현 행정부가 물러나는 2년 뒤쯤엔 그렇게 될 거라고 봅니다.
이 프로젝트가 저를 설레게 하는 건 자선 활동 측면에서 알아보기 쉽다는 점입니다. 할머니 다락방에서 나온 정체 모를 녹음 테이프가 결국 향하는 곳이 인터넷 아카이브인 것처럼요.
익명화와 평가 설계를 맡아 줄 믿을 만한 관리자가 있으면, 은퇴를 앞둔 세무사는 물론 현역이면서 마음 넓은 세무사까지 자기 데이터를 포스트트레이닝 커먼즈에 기꺼이 기부하는 세상이 열릴 수 있습니다. 그 규모는 이른바 '데이터 산업'보다 실제로 훨씬 클 수 있고요.
포스트트레이닝은 미래이면서 동시에 비장의 무기입니다.
AI의 도움을 받는 개발의 다음 단계에서는 지금처럼 모든 개발자가 같은 하니스와 모델을 쓰지 않을 겁니다.
대신 개발자들이 자기 분야의 전문가인 포스트트레이닝 모델을, 저마다의 비장의 무기가 담긴 모델을 직접 만들게 될 겁니다.
이유는 여러 가지지만, 개발자라면 그런 모델 대부분을 직접 호스팅할 수 있기를 바랄 거라고 생각합니다. 고용주나 고객이 클라우드에서 호스팅되거나 관리형으로 제공되는 모델의 사용에 동의하지 않을 수 있으니까요. 거기에 비용도 있고, 통제권도 있고요.
포스트트레이닝이 미래인 이유는 첫 번째 "충분히 쓸 만한" 모델이 어떤 모습이어야 하는지에 대해 아직 합의가 없기 때문이기도 하고, 지금의 AI 판이 계속 요동치는 상태라 포스트트레이닝에도 변화가 많을 것이기 때문이기도 합니다.
동의합니다.
오픈 BASE LLM, 즉 사전학습 결과로 나온 가중치가 더 많이 공개되면 좋겠습니다. 이미 학습이 끝난 모델을 다시 학습시키면서 내게 맞지 않게 되어 버린 부분을 되돌려야 하는 것보다, BASE 모델이 원하는 방향으로 학습시키기에 훨씬 적합하니까요.
BASE LLM은 자원이 많이 드는 부분을 이미 해냈습니다. 방대한 데이터셋을 모으고, 메모리가 많고 상호 연결이 빠른 대규모 GPU로 학습을 돌려서, 학습 데이터셋을 몇 자릿수나 압축해 LLM 가중치로 만든 것이죠.
거기서부터는 훨씬 적은 자원으로 원하는 방향으로 학습을 마무리할 수 있습니다.
방금 공개된 BASE 모델 baidu/ERNIE를 다루는 다른 HN 스레드가 지금 올라와 있는데, 꽤 괜찮아 보입니다. 구글, 엔비디아, 딥시크, 알리바바 같은 여러 회사도 과거에 자체 LLM을 학습시키기에 적합한 BASE 모델을 공개한 적이 있습니다.
좋은 글이지만 좀 순진합니다. 프런티어 AI 연구소 중에 합성 트래젝토리 롤아웃, 내부 사람 주석 선호도 쌍, 특화된 코딩 코퍼스 환경, 도메인별 RL 보상 세트로 이루어진, 상상을 초월하는 거대한 포스트트레이닝 데이터 커먼즈를 갖고 있지 않은 곳은 어떤 우주에도 없습니다.
여기서 "커먼즈"라는 부분을 놓치셨네요. 프런티어 연구소들이 내부용 비공개 포스트트레이닝 데이터셋을 갖고 있는 건 물론 맞습니다(안 그러면 우리가 쓰는 모델이 존재하지 못했겠죠). 하지만 그에 맞먹는 공개 데이터셋은 없습니다.
굉장히 학술적인 표현이지만 결국 "세상의 모든 데이터가 있지만 정작 필요한 데이터만 없다"는 얘기네요. 회사에 어떤 일이 어떻게 돌아가는지 물으면 이런 답이 돌아오잖아요.
"아, 프로세스가 있어요."
좋아요. 어디에 문서화되어 있죠?
"스프레드시트에요."
어떤 스프레드시트요?
"음, 옛날 스프레드시트, 새 스프레드시트, 그리고 카렌이 관리하는 스프레드시트가 있어요."
카렌은 어디 있는데요?
"2021년에 퇴사했어요."
네, 바로 그거예요. 저는 이 글이 승화된 푸념이라고 농담처럼 말하곤 하는데, 애초에 그런 데이터가 있을 거라 기대하는 게 왜 불가능했는지를 곱씹어 본 글이기도 합니다.
요즘은 학술적인 어조를 꺼낼 기회가 별로 없어서, 너그럽게 봐주셔서 고맙습니다.
의도는 좋고 이해도 합니다. 하지만 OpenAI도 똑같이 시작했는데 지금 어떤지 보세요. 이 프로젝트는 이미 구글의 후원을 받고 있고, 구글은 대가를 원할 겁니다.
그러니 고맙지만 사양하겠습니다. 우리에게 남은 일자리를 붙잡자고 이만한 규모의 공공 지식 자산이 또 생겨서는 안 됩니다.
회의적으로 보시는 건 이해하고, 생각을 바꿔 드릴 수 있으리라고 크게 기대하지도 않습니다.
다만 앞으로 10년 동안 우리가 바랄 만한 결과와 거기에 이르는 길을 생각해 보면, 여기서 아무것도 하지 않을 때의 대안은 "AI가 사라진다"가 아니라 "자본력이 막강한 소수 기업이 필요한 걸 사들이고 노동시장을 쥐어짠다"라고 저는 생각합니다.
이해합니다. 그리고 지금 시점에는 선의만 갖고 계시다고 믿습니다.
문제는 이 프로젝트가 얼마나 돈이 되는지 상어들이 알아차리는 순간, 온갖 수단을 동원해 권력을 쥐고 그걸 악용할 거라는 겁니다. 인류를 돕겠다는 풀뿌리 운동이 어느새 이윤 극대화로 변하는 패턴을 우리는 이미 너무 많이 봤습니다. 오픈소스도 그랬고요.
저는 공장 노동자들에게 카메라를 달기 시작하는 모습을 봤습니다. 이 방식이 그것과 뭐가 다릅니까?
그리고 AI가 정말로 사라지지 않을 수도 있겠죠. 하지만 그게 장기적으로 지속 가능하다는 뜻은 아닙니다. 동의, 소유권, 파괴적 혼란의 문제가 풀리기 전까지는 무모한 도입에 맞서 반대해야 합니다.
그래서 구글 같은 곳을 빼면, 이 프로젝트에 참여하는 게 누구에게 이익이 되는지 모르겠습니다.
그런데 왜 하는 거죠? 우리가 정말 바라는 미래가 아픈 사람이 로봇에게 진단받고, 맞춤 제조된 약을 처방받고, AI가 설계하고 만든 진단 기계에 들어가고, 로봇 외과의에게 수술받는 그런 세상인가요? 대체 목표가 뭔가요, 여러분? 좋은 결과가 나오길 바라는 마음 하나로 어마어마한 자원을 쏟아붓고 있는 느낌이에요. 그 사이에 지구의 생명이 인간 때문에 아주 빠르게 망가지고 있는 실존적 위기가 있잖아요. 그쪽에 집중하면 어떨까요?
그냥 전례 없는 규모로 벌어진 지적 재산 절도였죠.
Stack Overflow가 그런 원천이었는데, 죽어가고 있습니다.