요약
존 랭퍼드가 마이크로소프트를 떠나며 약 50명 규모의 AI Frontiers 그룹이 끝났다고 밝혔습니다.
연구자 존 랭퍼드가 개인 블로그 hunch.net에 쓴 글입니다. 2023년 ChatGPT 출시 뒤 마이크로소프트 리서치(MSR) 안에 꾸린 AI Frontiers(AIF)가 9월 초 조직 개편으로 마이크로소프트 AI(MAI)에 합쳐진 뒤 사라진 과정을 설명했습니다.
왜 중요한가
- 연구보다 모델 규모 키우기를 앞세우는 경영 판단이 연구 조직 하나를 통째로 없앤 사례입니다.
- 랭퍼드는 MSR 연구가 실제 제품으로 이어질 길이 없다고 봤습니다. 좋은 연구를 하면 보상받는다는 기본 약속도 깨졌다고 했습니다.
- 창립 리더 전원이 떠났고, 내년에는 이 그룹의 인턴십도 없습니다.
핵심 내용
- 인플렉션 출신 MAI 지도부는 연구보다 규모 확장을 중시해 AIF와 철학이 맞지 않았다고 했습니다.
- 지도부가 AIF 팀을 원하지 않는다는 분명한 증거도 있었다고 했습니다.
- 바이트댄스 실험에서 AIF의 Full Bandwidth Transformer 변형은 두 배 큰 모델과 성능이 비슷했습니다.
- 랭퍼드는 이 성과로 학습·추론 비용을 절반으로 줄일 수 있어 업계 투자 규모를 생각하면 가치가 크다고 강조했습니다.
- AIF는 AutoGen, 컴퓨터 사용 에이전트 Fara 같은 에이전트 연구와 새 학습 목표·최적화 기법 같은 기초 연구를 해 왔습니다.
HN 반응
- 모두가 트랜스포머 확장에 집중하는 지금 탐색 연구를 줄이는 게 맞다는 의견과, 트랜지스터·레이저도 기업의 곁가지 연구에서 나왔다는 반론이 맞섰습니다.
- 일부 이용자는 연구자 인건비가 컴퓨팅 지출에 비하면 미미하다며, 마이크로소프트가 핵심 기술보다 응용에서 이익을 노린다고 해석했습니다.
지금은 대기업이라면 어디나 마찬가지입니다.
트랜스포머 기반 접근은 모델을 학습시키고 더 좋은 모델을 만드는 데 있어 전속력으로 달려야 할 고속도로로 여겨지고 있고, 조직 차원의 방해 요소는 최소한만 허용한 채 모든 회사가 이 고속도로에서 액셀을 밟고 있습니다. 다른 AI 방식에 대한 탐색적 연구는 지금으로선 강하게 말리는 분위기고, 조직들은 트랜스포머 기반으로 규모를 키우고 반복 개선하는 것을 최우선 과제로 밀고 있습니다.
예를 들어 메타는 트랜스포머가 스케일하지 않을 거라는 견해를 가졌던 전임 AI 총책임자를 말 그대로 해고했습니다. 그 사람은 고속도로에서 벗어나 새로운 유형의 모델에 대한 탐색적 연구에 돈을 크게 쏟고 싶어 했죠. 메타는 지금의 방식을 계속 키울 의지가 있는 사람을 데려왔습니다. 결국 메시지는 "액셀 밟아, 앞에 쭉 뻗은 고속도로가 있으니 딴 길로 새지 마"인 겁니다.
저도 이게 말이 된다고 봅니다. 지금 최상위 모델이 고작(대형 데이터센터 기준으로 '고작'입니다) 조 단위 파라미터거든요. 천장에 부딪힌 게 아닌 건 분명하고, 다들 "어, 파라미터가 늘어난 이번 Opus 5.5가 지난번보다 확실히 낫네" 하고 느끼고 있습니다. 그게 1조 파라미터짜리 모델이에요. 곧 수십조, 수백조 파라미터 모델로 가게 될 겁니다. 아무도 예상하지 못하는 천장이 있는 게 아니라면, 지금까지 해 온 대로 계속 키우는 게 맞습니다. 지금 이 시점에 탐색적 연구로 고속도로를 벗어나는 건 미친 짓이라는 데 정말로 동의합니다. 액셀을 밟고 10조 파라미터까지 가서 스케일링이 유지되는지 보고, 유지되면 100조로 갑니다. 스케일링이 계속 유지된다면 탐색적 연구는 곧 AI에게 시키게 될 테니까요.
얀 르쿤이 당시 했던 말(LLM은 이건 못 하고 저건 못 할 거라는 얘기)은 거의 전부 틀린 것으로 드러났습니다. 해고한 건 옳은 판단이었어요.
역사적으로 이런 일은 가끔 벌어집니다. 컬러 텔레비전 카메라와 형광등 안정기가 그런 예입니다.
RCA는 최초의 쓸 만한 컬러 TV 카메라를 개발했습니다. 그건 괴물이었습니다. 처음에 (기계식 주사 방식과 구분되는) 전자식 TV는 즈보리킨의 아이코노스코프를 썼습니다. 이건 엄청난 양의 빛이 필요했습니다. 감도를 높여 주는 광전자 증배 단계가 없었고, 대신 한 프레임 시간 내내 빛으로 전하를 축적했습니다. 또 다른 방식으로 판스워스의 이미지 디섹터가 있었는데, 이것도 엄청난 양의 빛이 필요했습니다. 이쪽은 광전자 증배 단계가 있었지만 그 순간 주사 빔이 훑는 점의 빛만 의미가 있었습니다.
그래서 RCA는 돈으로 문제를 밀어붙였습니다. 이미지 오시콘 카메라관을 개발한 겁니다. 한 프레임 전체에 걸친 적분과 광전자 증배 단계라는 두 방식의 장점을 합친 물건이었습니다. 가격은 터무니없어서 1950년대에 수천 달러가 들었습니다. 서로 다른 전압이 스무 가지쯤 필요했고 독립된 전원 장치도 여러 개 있어야 했습니다. 그래도 꽤 잘 작동했습니다.
그다음에 컬러가 왔습니다. 이미지 오시콘 세 개(RGB)가 작은 냉장고만 한 상자 안에 들어가야 했고, 들어오는 영상을 세 가지 색으로 나누는 광학계도 필요했습니다. 거기에 카메라 한 대마다 아날로그 전자회로 랙이 하나씩 붙었고, 굵은 케이블로 연결했습니다. 게다가 조정 손잡이가 엄청나게 많은, 지옥 같은 정렬 문제까지 있었습니다.[1]
스케일링은 통했습니다! 1950년대부터 1970년대까지 컬러 TV 방송은 그 괴물들로 돌아갔습니다.
한편 이와는 별개로 다른 사람들은 다른 접근을 연구하고 있었습니다. 비디콘, 카메라관 안의 실리콘 검출기, 그리고 마침내 완전한 고체 이미지 센서까지요. 이미지 오시콘이라는 괴물이 30년간 군림한 뒤인 1983년에야 RCA는 쓸 만한 고체 카메라를 내놓았습니다. 오늘날 휴대폰 카메라는 대량 구매 기준으로 10달러쯤 하는데 그 괴물들보다 훨씬 뛰어납니다.
거대한 이미지 오시콘 카메라를 넘어서기까지 우선순위가 낮은 개발이 30년 걸린 겁니다.
전자식 형광등 안정기는 문제의 성격이 달랐습니다. 발명이 묻힌 경우였죠. 자기식 안정기 업계는 매그네텍이 장악하고 있었습니다. 누군가 더 작고 더 싼 고체 소자 대체품을 발명해 특허를 매그네텍에 로열티를 받고 라이선스했습니다. 매그네텍은 핵심 시장이 무너지는 걸 원치 않아 그냥 깔고 앉았습니다. 발명가는 팰로앨토의 타운센드 앤드 타운센드 앤드 크루를 선임해 소송을 냈습니다. (그 로펌 사무실에 있던 자랑용 책자에서 읽었습니다.) 결국 발명가는 1억 달러쯤을 받아 냈고 고체 소자 안정기가 생산에 들어갔으며, 매그네텍은 사라진 듯합니다. (오늘날 크레인 제어장치를 만드는 매그네텍이라는 회사는 리턴 사업부에서 갈라져 나온 곳이고 무관한 것 같습니다.)
증기기관차 업계에도 비슷한 사례가 있는데, 가장 유명한 게 볼드윈 기관차 공장입니다. 볼드윈은 사실 최초의 디젤 기관차를 만든 회사입니다. 수십 년에 걸쳐 디젤을 몇 번 미적지근하게 시도하다가 포기하고 증기로 돌아갔습니다. 볼드윈은 1956년에 기관차 생산을 완전히 접었습니다. 회사 자체는 한동안 이렇다 할 활동 없이 명맥만 유지했습니다.
[1] https://www.tvcameramuseum.org/rca/tk40a/pix/rcatk40aart.pdf
(그러면 초기 TV 영상 특유의 이상한 현상, 예를 들어 금관악기와 색소폰 나팔처럼 반질반질하게 닦인 표면의 반사광이 검게 빛나는 현상도 그 오시콘 카메라 때문이겠군요? https://www.youtube.com/watch?v=2uTQQKU6ge0&t=111s )
그런 것 같아요.
http://www.electricalfun.com/electroncafe/Image_Orthicon_tube.aspx
(감사합니다!)
한정된 자원, 시간, 인력, 지식이 있고 그걸 어떻게 나눌지 결정해야 하는 곳이면 어디서나 나오는 얘기죠. 탐색-활용 트레이드오프(Explore-Exploit Tradeoff)입니다.
LA 타임스에 매그네텍 평결 기사가 있습니다: https://www.latimes.com/archives/la-xpm-1990-01-10-fi-282-story.html
좋네요, 언론에도 실렸고 로펌 파트너 중 한 명인 크루의 발언도 나오는군요.
묻힌 발명은 아주 드문데, 이게 그중 하나입니다.
몇 안 되는 다른 사례로 1973년의 에어라다(Airadar)가 있습니다.[1] "AI"가 아니라 "air radar"입니다. 소형 항공기용 위상배열 레이더였습니다. 시대를 한참 앞선 물건이었죠. 얼마나 앞섰느냐면, 군에서 쓰기도 전에 상업용으로 먼저 나오는 걸 미 공군이 못마땅해했을 정도입니다.
[1] https://books.google.com/books?id=NWzlTqj0gQ4C&pg=PA64&lr=&rview=1&source=gbs_toc_r&cad=2#v=onepage&q&f=false
묻힌 발명이 그 자체로 "아주 드문" 건 아닙니다. 발명가가 살아 있는 동안 해제되지 않는 것들은 그냥 우리 귀에 들어오지 않을 뿐이에요.
미국 특허상표청(USPTO) 공식 자료에 따르면 2026 회계연도 말 기준으로 유효한 비밀 유지 명령이 6,653건 있었습니다. 해마다 새로 추가되는 명령이 대략 100건에서 350건 정도이고, 상당수는 수십 년 넘게 묶여 있습니다.
미국 정부가 발명가의 뜻과 상관없이 특허 출원에 비밀 유지 명령을 걸면, 발명가는 그에 대해 말하는 것이 법적으로 금지됩니다. 작동 원리를 얘기할 수도, 그에 관한 연구를 발표할 수도, 팔거나 마케팅할 수도 없습니다. 보안 인가를 가진 변호사가 아니라면 일반 변호사와 기밀 세부 내용을 논의하는 것조차 안 됩니다.
혹시 Claude세요?
그 사람의 말이 틀렸다 해도, 다른 유형의 모델을 탐색하는 것 자체가 나쁜 일은 아닙니다. 특히 더 낮은 하드웨어 사양으로도 잘 돌아가는 모델을 찾을 수 있다면요.
나쁜 일은 아니지만, 이미 탐색적 연구로 닦아 놓은 길을 따라 다듬어 가는 연구가 아니라 진짜 탐색적 연구는, 그런 길이 있을 때 영리를 추구하는 제품 중심 회사에서는 대체로 잘 일어나지 않습니다. 그런 연구는 학계에서 하고, 기초 단계에서 상업적 가능성이 보이면 그때 기업 연구소가 가져다 씁니다. 컴퓨터 과학은 예외 격인데, 기초 연구의 자본 비용이 상대적으로 그리 높지 않고, 가능성에서 제품까지의 경로가 짧은 경우가 많아서 기초 작업을 자체적으로 해 두면 시장에 먼저 나가는 데 의미 있는 이점이 되기 때문입니다(다만 현대 AI의 상당 부분에서 구글이 반례입니다).
하지만 컴퓨팅에서도 기초 연구가 끝난 유망한 길이 앞에 있으면 곁가지 모험을 정당화하기는 어렵습니다.
업계에서 하던 그런 탐색적 "곁가지 모험" 덕분에 트랜지스터, 액정 디스플레이, 섀넌의 정보 이론, 레이저, 실용적인 태양전지가 나왔습니다. 그 밖에도 오늘날 우리가 기대고 있는 수많은 기반 기술이 그렇게 나왔고요.
청색 LED도 그렇죠. 조명과 디스플레이를 완전히 바꿔 놓았습니다.
청색 LED는 인류에게 엄청난 순손실이었습니다. 청색광 위험은 아주 실재합니다(그래서 사고로 노출됐을 때 청색 레이저는 시력을 순식간에 망가뜨리는데 녹색과 적색은 그렇지 않은 경우가 많죠).
CRT 이후의 모든 디스플레이 기술은 실수였습니다. 1980년대의 벡트렉스는 주사율도, 색 충실도도, 아름다운 형광체 발광도 더 낫지 않았습니까. 그런데 우리는 그걸 버리고 지금 같은 끔찍한 픽셀 기반 미래로 왔습니다. 벡터와 레이저로 돌아가야 합니다.
레이저 프린터는 발명자가 해고당할 뻔했던 사이드 프로젝트였어요.
그런데 결국 그게 자기가 속한 연구소(제록스 PARC)가 존속한 전체 기간 동안 쓴 운영비의 200배를 벌어들였죠.
제트 엔진도 있죠.
연구팀이 다른 데로 옮겨 간 뒤라면 그게 어떻게 돌아갑니까? 인재를 다시 채용하나요? 그건 시간이 걸리는데, AI처럼 빨리 움직이는 분야에서 가장 없는 게 시간이죠. 글에서 이 대목이 잘 요약해 줍니다.
"계산해 보세요. 업계가 1조 달러에 가까운 투자를 해 놓은 상황에서 학습과 추론 비용을 절반으로 줄이는 게 얼마의 가치가 있겠습니까?"
이 연구자들 연봉이 MS가 컴퓨팅에 쓰는 돈에 비하면 얼마나 됩니까? 아마 푼돈일 겁니다.
맞는 말인데 하나를 잊으셨네요. 컴퓨팅에 돈을 쓰는 건 회사가 소유하는 기계에 쓰는 거지만, 연구자에게 쓰는 건 임원들 뇌의 사회적 위계 본능을 건드리는 다른 유인원들에게 쓰는 거고, 그들에게는 그 무시무시한 키워드인 "권리"가 있습니다.
회사는 노동자가 주체성과 권리를 가진 한 노동을 가차 없이 털어 내려 할 겁니다.
동의하지 않는 분이 있다면, 회사가 완전히 소유한 기계에 X를 쓰지 않고 소유하지 못한 직원에게 X를 쓰는 이유를 설명해서 저를 설득해 보세요.
직원이 기계보다 더 잘할 수 있다는 주장의 여지는 있지만, 지금 AI 시대정신은 인간과 동등한 지능을 가진 기계가 있다고 주장하고 있으니, 그 시대정신을 믿는다면 이런 결과가 올 줄 몰랐다는 게 이해가 안 됩니다.
컴퓨팅과 인력에 쓰는 돈이 비슷하다면 그 생각에 동의했을 겁니다. 하지만 AI에 쓰이는 수천억 달러가 사람이 아니라 데이터센터와 GPU로 간다는 건 다들 알잖아요.
어떻게 보면 MS는 AI <핵심 기술> 분야의 선두가 될 생각이 없고, 응용과 관련 서비스(즉, 거기서 나올 수익)에서만 앞서려 한다는 얘기죠.
그게 잘못됐다는 건 아닙니다. 다만 그러면 기초 연구자들이 짐 싸서 떠나는 것도 이해가 됩니다.
...그리고 독점 기업의 돈이 있기 때문이죠. 기본적으로 연구소는 돈이 너무 많은 기업이 허영으로 쓰는 돈인 경우가 대부분입니다. 제록스 PARC는 독점 기업이 댔고, 벨 연구소도 독점 기업이 댔고, 구글도 독점으로 번 돈으로 문샷 프로젝트를 대고 있잖아요.
벨과 제록스는 판을 바꾸는 기술을 발명했기 때문에 강력해진 겁니다. 처음부터 본질적으로 연구에 기반을 둔 조직이었어요.
단순한 탐색/활용 트레이드오프입니다. 늘 탐색만 하고 활용은 전혀 안 하는 게 매번 최적의 전략은 아닐 가능성이 크죠.
제가 보기엔 다들 "무조건 활용" 모드에 들어가 있는 것 같아요.
LLM이 컴퓨팅 자원을 갖췄다는 점 말고는 딱히 특별한 비법이 아니라는 게 드러난 마당에 이상해 보입니다.
옳은 아이디어는 대개 틀린 아이디어에서 나옵니다.
이상하네요. 제가 보기에 그 사람은 모든 걸 제대로 짚은 몇 안 되는 사람이었는데요. 트랜스포머가 스케일한다는 얘기에 대한 그의 발언을 맥락에서 떼어 내 해석하는 것이기도 하고요. 그는 트랜스포머가 인간 수준의 AI로 이어지지 않을 거라고 구체적으로 말했고, 학습 데이터를 다 써버린 지금도 실제로 그렇게 되지 않았습니다.
AGI에는 단순히 더 많은 데이터가 아니라 아키텍처 변화가 필요합니다.
여기서 말씀하신 인간 수준 AI가 뭔지 잘 모르겠어요. 아인슈타인까지는 못 갔을지 몰라도 평균적인 사람은 한참 전에 넘어섰잖아요.
들쭉날쭉한 게 아주 심해서, 그걸 인간 수준 AGI로 인정하지 않는 사람도 있어요. 수학을 천재 수준으로 푼다는 건 딥 블루가 그랜드마스터 수준으로 체스를 뒀던 것과 비슷하다는 거죠. 지금으로선 그저 의견의 문제이고, 저는 반대편 입장도 이해가 갑니다.