요약
Astra가 신경망 가중치를 직접 읽고 고쳐 작은 Qwen 모델의 수학 점수를 여러 배 끌어올렸습니다.
오마르 카탑 등 MIT CSAIL 연구진이 GPT-6 Astra로 실험한 결과입니다. 연구진은 학습 없이 LLM이 신경망 각 부분의 역할을 추론해 가중치를 고치는 방식을 '가중치 공간 프로그래밍'이라 부르고, 아직 초기 단계라고 밝혔습니다.
왜 중요한가
- 모델을 다시 학습시키지 않고도 가중치를 직접 고쳐 잘못된 행동을 바로잡을 수 있다는 가능성을 보여 줍니다.
- 연구진은 평가 없이 모델을 점검하거나 특정 능력을 지우고 조정하는 데 쓸 수 있다고 봤습니다.
- 다만 편집은 걸림돌을 없앨 뿐이며, 모델에 없는 능력을 새로 넣지는 못했습니다.
핵심 내용
- Qwen3.5-0.8B가 같은 말을 끝없이 반복하는 원인을 15·19층의 한 방향에서 찾아 없앴습니다.
- 가중치의 0.016%만 고쳤고, MATH-500 정답률이 7.9%에서 48.1%로 올랐습니다.
- 반복 문제가 거의 없는 Gemma 3 270M에서는 MATH-500 점수를 6.8%에서 최대 7.7%로밖에 못 올렸습니다.
- 도구 없이 가중치만 보고 강화학습 정책 네 개가 어떤 게임을 배웠는지 모두 맞혔습니다.
- 0에서 출발해 한 번에 써 낸 브레이크아웃 신경망이 PPO(널리 쓰이는 강화학습 알고리즘)로 오래 학습한 모델보다 높은 점수를 냈습니다.
HN 반응
- 여러 이용자는 Qwen 개선이 이미 알려진 반복 버그를 스티어링 벡터(활성값의 특정 방향을 더하거나 빼는 기법)로 고친 수준이라며 글이 성과를 부풀렸다고 지적했습니다.
- 반면 날것의 가중치를 받아 스스로 고쳐 낸다는 점 자체가 놀랍고, 모델이 커지면 의미도 커질 것이라는 반론도 많았습니다.
저자분들과 여기 계신 모든 분께 정중히 부탁드립니다. 이성을 잃기 전에 논문을 실제로 읽어 보시고, 정 안 되면 하다못해 Claude에라도 넣어 보세요. 멋진 프로젝트인 건 맞지만 사람들 말처럼 그렇게까지 미친 수준은 아닙니다. 블로그 글과 뒤이은 게시물이 결과를 부풀렸다고 생각합니다.
제 연구 분야 중 하나가 가중치 공간 학습(weight space learning)입니다. 우선 가중치를 편집하고, 새 가중치를 생성하고, 가중치를 식별하는 일은 꽤 오래전부터 가능했습니다. 더 큰 모델 대상의 예로는 일찍이 2023년 사례가 있습니다: https://rome.baulab.info/
가중치 공간 해석과 학습은 지난 3년간 훌륭한 논문이 많이 나온 활발한 연구 커뮤니티입니다. 저자들이 자기 연구를 과장했고, 이 분야 밖의 사람들이 논문은 읽어 보지도 않고 X에 글부터 올리는 바람에, 해석 가능성(interp) 쪽 사람이 아닌 분들이 더 크게 충격을 받는 것 같습니다.
여기 실험 일부는 아주 작은 모델(파라미터 2만 개)로 했습니다. 작은 모델일수록 해석하기 쉽다는 건 이미 알려져 있습니다. 사실 여기서 한 편집 대부분은 손으로도 할 수 있습니다. Qwen의 경우 모델이 고친 건 사전에 알려져 있었을 법한 반복 루프 버그였고, 이건 사실상 스티어링 벡터(steering vector)이며 이미 확립된 기법입니다. 이어서 수학 능력을 "개선"하려 했을 때 잘 안 됐다는 점에서 이 사실이 분명해집니다. 제가 보기에 이 논문은 오히려 오픈AI가 기계적 해석 가능성(mechinterp) 환경에서, 어쩌면 공개되어 있는 가중치 공간 학습 데이터셋으로까지 학습을 시켰다는 걸 보여 줍니다. 블로그 글에 나온 "인간이나 기존 알고리즘에게 기대하는 수준을 한참 넘어선다"는 식의 엄청난 것을 보여 주지는 않습니다. 전용 하네스 없이 대형 모델이 할 거라고 제가 기대했던 수준을 넘어선 정도에 가깝습니다. 여전히 멋진 작업이라고 생각하지만, 기대치를 현실에 맞추려면 autointerp의 최근 발전을 꼭 살펴보세요.
개인적으로 덧붙이면, 자기 연구를 홍보해야 하는 사정은 이해하지만 건전한 회의론도 괜찮다고 생각합니다. 그러지 않으면 과학에서 어떤 문제를 풀어야 하는지에 대한 이해가 왜곡됩니다.
저를 포함해서 추천을 누른 사람 상당수는 이런 게 가능하다는 걸 이제야 실감한 것뿐이라고 생각해요. 초기 LLM도 처음엔 별로 인상적이지 않았지만 어디로 가고 있는지는 보였잖아요. 모델 크기가 커지면 이게 어떤 영향을 줄지도 비슷하게 짐작할 수 있고요.
규모는 흥미로운 지점입니다. 과대 파라미터화된 큰 네트워크는 작은 장난감 모델과 같은 식으로 동작하지 않습니다. 이는 해석 가능성 연구 상당수가 안고 있는 큰 단서이기도 합니다. 저는 가공하지 않은 날것의 가중치 편집이 대형 모델에서는 통하지 않을 거라고 예상합니다. 왜일까요? 에이전트가 무엇을 편집하는지 알고 그에 대해 추론해야 하기 때문입니다. 이론적으로는 모종의 가중치 인식을 바탕으로 모델을 개선할 수 있을지도 모릅니다. 될 수도 있고 안 될 수도 있겠죠. 하지만 여기서도 비용 대비 효과의 딜레마에 부딪힙니다. 이국적이고 공상과학 같은 얘기로 들리지만 실용성은 없을 가능성이 높습니다. 모델의 파라미터는 서로 연결되어 있고 영향을 주고받습니다. 그래서 현재 최신 자동 해석(auto-interp)은 직접 편집보다 모델이 자기 자신을 알 수 있게 해 주는 더 나은 도구가 필요하다고 봅니다. 즉 모델이 거대한 파라미터 기하 구조를 더 잘 이해하게 한 다음, 대규모에서도 모델을 망가뜨리지 않는 방식으로 편집하게 하자는 것입니다. 스티어링 벡터를 적용하는 것보다 훨씬 어려운 일입니다.
특정 주제에서 모델의 일부만 활성화되는 MoE 모델이라면 그래도 그럴까요?
여기서도 _작다_는 게 많은 부분을 좌우한다고 생각해요. 맞아요, MoE 모델이 가중치를 한꺼번에 전부 "쓰는" 건 아니에요. 하지만 실제로 쓰는 부분도 논문에 나온 2만 파라미터짜리 장난감 모델보다는 엄청나게 무겁잖아요.
동의해요. 저는 이 두 가지를 이어 붙였다는 발상 하나만으로도 인상적이에요.
저는 세부 내용은 보지도 않고 멋져 보여서 추천을 눌렀어요. 새로운 건지 아닌지는 상관없었고요.
서구의 폐쇄형 연구소들이 AI를 독점하며 앞서 나갈까 봐 걱정하는 사람들이 눌러 준 추천도 많을 거라고 생각해요. 오픈 웨이트 모델에 관한 긍정적인 소식이 올라온 다른 글들도 비슷하고요.
제가 틀렸을 수도 있지만, 이 글의 요점을 놓치고 계신 것 같아요. 예로 드신 건 네트워크 안의 "사실"을 식별하는 연구잖아요. 아주 흥미롭긴 해도 제게 핵심으로 와닿는 건 그게 아니에요. 신경망에 대해 이것저것 말할 수 있는 능력 자체는 분명 이미 있는 분야지만요, 그래도...
LLM에게 신경망 가중치를 날것 그대로 덤프해서 주면 즉석에서 여러 변경을 손수 배선해 넣는다는 사실은 대단한 일이에요. 저 개인적으로는 "세상에! RSI다!" 같은 얘기가 아니라, 극도로 불투명한 날것의 데이터 덩어리를 힘들이지 않고 성공적으로 추론하는 시스템을 우리가 마주하고 있다는 점이 더 중요해요. 그 능력은 이질적이고, 우리가 적응할 시간이 필요해요.
그런데 여기서 벌어지는 일은 전혀 그게 아니에요! 자세히 읽어 보시면 이질적인 일은 하나도 하지 않는다는 걸 아실 거예요. 신경망에 대한 지식이 조금이라도 있는 사람이 같은 과제를 받았을 때 할 법한 일을 그대로 해요. 가중치를 마법처럼 추론하는 게 아니라, 해석하기 쉬운 부분을 읽거나 방향성 제거(directional ablation)로 모델의 행동을 조정하는 거죠. ERP 하는 사람들이 지난 2년 동안 모델의 검열을 풀어 성인 콘텐츠를 만들어 낸 방식과 똑같아요.
ML 지식과 에이전트 능력을 보여 주는 흥미로운 시연이긴 해요. 하지만 결코 이질적이지 않고, 요즘 모델이 에이전트 작업에 얼마나 강한지를 생각하면 사실 놀랍지도 않아요.
어제 올라온 다른 글이 예시를 시각화해 놓았는데 꽤 도움이 됐다고 생각해요:
https://news.ycombinator.com/item?id=50344861
공유해 주셔서 고마워요. 과대 포장된 논문이 이렇게 큰 관심을 받는 동안 이 글은 눈에 띄지도 않는 곳에 파묻혀 버렸다니 안타깝네요.
공유 감사해요. 저도 과열된 분위기에 올라타서 이 글을 널리 알리고 다른 사람들도 끌어들일 준비가 돼 있었는데, 이제는 이 글을 대신 공유하려고요.
저는 보고서를 읽었어요. 복잡한 내용이 아니고요. 어딘가 기본적인 오해가 있는 것 같아요.
제가 "alien"이라고 할 때는 "마법"이라는 뜻도 아니고 "새로 생겨난 으스스한 능력"이라는 뜻도 아니에요. 속도와 분량이 인간과 다르다는 뜻이에요. 어떤 인간도 그만한 양의 날것 데이터를 그 시간 안에 성공적으로 처리하진 못해요. 그리고 맞아요, 마법은 전혀 아니에요. 사실 엄청나게 평범한 일이죠. 옛날 컴퓨터가 인간과는 비교도 안 되는 속도로 산술을 하던 게 떠올라요. 전혀 마법이 아니지만, 솔직히 기준점이 사방에서 휙휙 옮겨 다니는 느낌이 확실히 들어요. 이 정도 복잡도의 작업을 해내는 것... 여러분은 어떨지 모르겠지만 저는 컴퓨터가 이런 걸 해낸다는 사실, 그리고 그게 사실 "놀랍지도 않다"는 사실에 아직 적응해야 해요. 제가 나이가 들고 있나 봐요.
여기서 보이는 열광이 좀 지나치다 싶어서 눈높이를 맞추고 싶으신 마음은 이해해요. 하지만 저한테는 그럴 필요가 없어요. 저는 신경망이 스스로를 조정한다거나 RSI 같은 것에는 관심이 없어서 그렇게까지 들뜨지 않았거든요. 다 아주 기초적인 일이라는 건 저도 알겠어요. 다만 그런 일을 할 수 있다는 것 자체가 경계할 이유라고 생각해요. 이 작업을 성공적으로 해내는 데 필요한 능력 수준은 인정하되, 말씀하신 부분은 진지하게 받아들였어요. 생각할 거리를 주셔서 고마워요.
"alien"이라는 단어에 지나치게 매달리고 계신 것 같아요. 중요한 건 이 기법이 얼마나 확장 가능한지, 그리고 자율적이라는 점이에요. 대규모로 작동하도록 학습시킬 수 있다면 지속 학습(continual learning)의 돌파구가 될 수 있어요.
이 능력이 어느 정도는 Astra가 오픈AI 내부 개발용으로 쓰이고 학습되기 때문에 생긴 걸까, 그리고 다른 모델의 가중치를 개선해 달라고 요청하면 내부 지식이 어디까지 새어 나올까 궁금해요.
Astra에게 내 모델을 편집해 달라고 하는 게, 증류처럼 오픈AI의 모델 작업물을 뽑아내서 싼값에 내 모델을 학습시키는 새로운 방법이 된다면 흥미롭겠네요.
당신 글을 보니 다른 대화가 좀 떠오르네요. "새로울 것 없어, 1970년대에 유타 어레이로 다 했어." 회의론이 지나치면 깎아내리기가 되기도 해요.
모델이 기계적 해석 가능성 연구를 내재화했고, 아마 일반화까지 했을 거예요. 네, 예상할 만한 일이고 엄청난 일은 아니에요. 수학 연구를 내재화하고 일반화하는 것도 예상된 일이었고 엄청난 일은 아니었던 것처럼요. 하지만 후자의 결과는... 흥미롭죠.
이건 미쳤어요.
Astra는 별도 도구 없이도 작은 네트워크가 어떤 게임으로 학습됐는지 알아내고, 네트워크 가중치를 직접 편집해 결과를 개선하고, 작은 Qwen 모델을 손으로 편집해 수학 실력을 5배쯤 끌어올릴 수 있어요.
충격받았어요. 오늘 아침에 누가 LLM이 자기 가중치를 이해하는 정도가 인간이 뉴런을 이해하는 정도보다 낮은지, 같은지, 높은지 물었다면, 정의에 따라 다르겠지만 "같거나 낮다"고 답했을 거예요.
인간은 뇌를 편집해서 수학을 더 잘하게 만들 수 없어요. 이건 제게 정말, 정말 놀랍고 극도로 흥미로워요. 이게 꽤 많은 해석 가능성 이론과, 이 네트워크들 안에서 벌어지는 일에 대한 철학적 견해를 뒤흔들 것 같아요.
"Qwen에게 수학을 가르쳤다"는 부분은 글이 그렇게 들리게 쓰였더라도 정확하지 않다고 생각합니다. Qwen은 이미 수학을 알고 있었고, 문제를 풀려고 할 때 오류를 일으켜 무한 루프에 빠졌던 것입니다(처음 답변 96개 중 85개가 토큰 한도에 걸렸습니다). Astra가 numpy와 pytorch로 루프가 생기는 위치를 찾아 고쳤습니다.
Gemma 3 270M으로도 같은 시도를 했는데, 이 모델은 루프에 빠지지 않고 그냥 수학을 못합니다. Astra는 이를 개선하지 못했습니다. 그래도 인상적이긴 하지만, 연구소들이 아마 ML 연구와 해석 가능성 연구로 모델을 학습시킬 테니 제가 예상하던 범위 안의 일입니다.
동의합니다. 중요한 맥락이죠. 글에서도 분명히 밝히고 있고요. 그래도 특정 분야에 특화된 클러스터를 자동으로 찾아내고 학습 "오류"를 찾아 고치는 것만 해도 제게는 엄청나게 인상적입니다. 특히 200억~700억 파라미터 사이의 중간 크기 로컬 모델에는 능력과 효율을 크게 끌어올릴 수 있을 겁니다. 해석 가능성에 따라오는 잠재적으로 어마어마한 후속 효과는 말할 것도 없고요.
네, 실험이 여러 개라 오히려 흐려지는 면이 있다고 봅니다.
초기 실험들은 가중치를 직접 해석하는 일을 원샷으로 해내는데, 제게는 놀랍습니다. 다만 제가 이해한 바로는 초기 레이어에 한한 이야기입니다.
나중의 수학 결과에서는 LLM에게 순전파를 돌리고 활성화를 살펴볼 수 있게 했고, 다른 분들 말씀대로 고전적인 스티어링 벡터 개입에 가깝습니다. 얼마나 밑바닥(low to the metal) 수준까지 내려갔는지는 인상적이지만, 첫머리의 실험들만큼은 아닙니다. 게다가 말씀하신 대로 이건 알려진 결함인 반복 문제를 고친 버그 수정일 뿐이고, "반복 방향"과 가장 많이 발화하는 뉴런을 찾은 뒤 그 뉴런들이 반복을 억제하는 쪽으로 발화하도록 재배선한 것입니다. 새로운 기법도 아니고 수학이 어떻게 작동하는지에 대한 기계적 이해를 더해 주지도 않습니다.
그러니까 모델 디버거 같은 거네요?
모델 정신과 의사도 재밌긴 한데, 아마 덜 적절하겠죠.
디버깅을 할 수 있는 프로그래머입니다. 모델 가중치에 아키텍처를 합치면 소스 코드가 완성됩니다. 전체가 이상한 언어로 쓰인 프로그램일 뿐이고, 언어 모델은 온갖 형식 사이의 변환에 능합니다. SVG를 쓰거나 3D 모델을 생성하거나 심지어 간단한 3D 모델을 OBJ 형식으로 직접 출력할 때 하는 일이 바로 그것입니다.
그리고 그 블로그 글에서 보여 준 것보다 디버깅에 더 도움이 되는 도구도 작성할 수 있습니다.
제가 해석 가능성을 이것저것 만져 본 바로는, Fable이 처음으로 lisp 비슷한 문법에서 트랜스포머를 포함한 작은 신경망의 모델 가중치로 곧바로 트랜스파일하는 프로그램을 작성할 수 있었습니다. 어제 올린 글에서, 여러 종류의 작은 AI는 ML을 거치지 않고 LLM이 작은 신경망, 간결한 결정 트리, AD 트리, 베이즈 네트워크를 직접 쓰게 하면 된다고 지적했습니다. "손"으로 쓴 것이니 같은 크기를 학습시킨 것보다 훨씬 효율적이고 성능도 좋을 수 있습니다.
여기 뭔가 있어요…
정신과 의사보다 더 효율적으로 행동을 편집하고, 어떤 면에서는 뇌 수술 의사처럼 일하지만, 뇌 수술 의사는 행동이나 생각의 루프에 초점을 맞추지는 않잖아요…
어떤 뇌 수술이냐에 따라 달라요… 극단적으로는 로보토미가 있죠. 발작도 뉴런이 발화하는 루프로 볼 수 있고요.
LLM은 오래전부터 LLM을 조사하고 개선하는 데 쓰여 왔습니다. 인간의 뇌와 뉴런에 빗대는 건 철학적 추상으로서가 아니라면 그다지 흥미롭지 않습니다.
이 실험에서 한 작업은 의욕이 충분하고 탐색할 시간이 넉넉한 사람이라면 할 수도 있었을 겁니다. 물론 시각화하고 추적할 도구는 더 필요했겠지만요. 모델 내부를 들여다보고 무엇이 활성화되는지 보면서 그것을 일으키는 실험을 돌릴 수 있게 해 주는 흥미로운 LLM 내성(introspection) 도구가 많이 나와 있습니다.
거부 패턴이 나오지 않도록 가중치를 수정한 abliterated(무검열) 모델을 아십니까? LLM을 가져와 거부 패턴을 유발하는 테스트 케이스를 만들고, 그 응답에 관여하는 가중치를 관찰한 다음, 응답이 줄어들 때까지 그 가중치를 조정합니다. 이것도 같은 종류의 작업이고, Qwen 안에서 수학을 방해하던 특정 유형의 오류에 적용한 것입니다. 이 작업도 하네스 안에서 실험을 돌리는 LLM으로 할 수 있습니다. 여기서 놀라운 점은 Astra가 실험적으로 해 주는 다른 도구 없이도 문제를 따라가며 풀 만큼 충분히 크다는 것입니다.
그래서 사람이 뉴런을 수정하는 것에 빗댄 비유가 딱 들어맞지는 않는다고 생각합니다. LLM 가중치는 뉴런이 아니고, 사람이든 하네스 속 LLM이든 오래전부터 들여다볼 수 있었습니다.
제게 "놀랍다"는 말은 말문이 막히는 정도에 맞지 않아요. LLM은 근본적으로 여전히 다음 토큰 예측기잖아요? 그렇다면 이게 뜻하는 바가 뭘까요? 가중치에 보편적인 속성이 있다는 건가요? 예컨대 "벽돌깨기 게임 가중치"는 학습이나 모델이 달라도 항상 똑같이 생겼다는 건가요? 그리고 가중치에 대한 이런 메타 이해는 애초에 어떻게 가중치 속에 들어가게 되는 걸까요? 모르겠어요, 제게는 머리가 터질 것 같아요.
이제는 LLM을 "다음 토큰 예측기"라고 부르는 건 틀렸거나 의미가 없어요. 맞아요, 사전 학습에서는 다음 토큰을 예측해요. 하지만 그다음에는 RLHF, RLVR 같은 후속 학습의 세계로 넘어가요.
모델은 어떤 면에서는 텍스트 문자열의 다음 토큰을 예측하도록 설계됐죠. 하지만 단위 테스트 모음을 통과할 때까지 코드를 고치도록 설계됐다고 말해도 똑같이 정확해요.
네, 순차적으로 생성하니까 "다음 토큰 예측기"가 기술적으로 틀린 말은 아니에요(그래서 "의미 없다"는 단어를 골랐어요). 하지만 모델 안에 생성할 내용을 "계획"하게 해 주는 어떤 메커니즘이 있다는 건 꽤 분명해요. 그렇게 따지면 당신도 다음 단어 예측기라고 부를 수 있겠네요.
"다음 토큰 예측기"는 항상 학습이 아니라 추론을 가리키는 말이었어요. 학습 단계는 가중치를 만들고 휘게 하고, 추론은 그 가중치를 바탕으로 토큰을 예측해요.
"예측기"라는 부분은 기본 모델이 사실상 "다음에 올 가능성이 가장 높은 토큰은 무엇인가"라는 질문에 답한다는 사실을 가리켰어요. 그 기본 동작에서 벗어나도록 학습시켜도 그 말의 기술적 의미에서 벗어나지는 못해요. "나비에-스토크스 방정식의 해에서 다음에 올 가능성이 가장 높은 토큰은 무엇인가"에 답하는 것도 여전히 다음 토큰 예측이니까요. 다만 그 지경이 되면 그 라벨은 그저 텍스트를 순차적으로 출력한다는 뜻일 뿐이에요.
기본 원칙으로 돌아가서, 위키백과는 추론(inference)을 이렇게 설명해요 [0]:
다음 토큰 예측기가 정확히 이런 뜻인가요, 아니면 서로 관련이 있는 건가요?
[0] https://en.wikipedia.org/wiki/Inference