요약
앞뒤는 맞지만 어느 연구자 집단도 떠올리기 어려운 연구 방향을 골라 뽑는 방법이 나왔습니다.
마틴 와이스, 나심 라하만, 베른하르트 숄코프 등이 NeurIPS 2026 본 학회에 낸 논문입니다. 저자들은 과학 발견이 무엇이 참인지뿐 아니라 연구자가 무엇을 떠올릴 수 있는지에도 묶여 있다고 봤습니다. 언어 모델도 문헌에서 붐비는 영역만 섞어 내는 같은 편향을 물려받았다고 했습니다.
왜 중요한가
- LLM에 연구 아이디어를 맡기면 주제가 비슷한 쪽으로 몰린다는 문제를 수치로 보여 줬습니다.
- AI 아이디어 생성을 새로움과 품질만이 아니라, 기존 연구자 집단의 생각 범위 밖을 얼마나 탐색하는지로 평가하자고 제안합니다.
핵심 내용
- LLM 논문 16,068편을 개념 단위인 '아이디어 원자' 273개로 쪼갠 뒤, 조합의 일관성과 떠올리기 쉬운 정도를 두 모델로 따로 매깁니다.
- 2024년까지의 자료로만 학습해 후보의 1% 미만을 골랐더니, 2025년에 실제 나온 조합을 우연보다 35.9배 많이 맞혔습니다.
- Claude Opus 4.7은 연구를 진행할수록 해석 가능성(모델 내부 작동을 밝히는 분야) 쪽으로 쏠려 보고서 10개 중 8개가 됐습니다.
- 같은 과정에서 이 방법의 보고서는 해석 가능성 주제가 0개였고, 아이디어 묶음의 다양성도 LLM 기준선보다 높았습니다.
- 저자 중 두 명은 연구 탐색 도구를 파는 팁트리 어드밴스드 시스템스의 공동 창업자이고, 연구비도 이 회사가 댔습니다.
HN 반응
- 저자들의 아이디어 검색 도구 Lacuna를 약리학 등 자기 분야에 써 본 이용자들은 오류를 짚었고, 저자들은 머신러닝 밖은 자료가 부족하다고 인정했습니다.
- LLM이 벨크로 같은 발명을 떠올릴 수 있느냐를 두고는, 최근 수학 성과로 보아 이미 가능하다는 의견과 현실적인 시간 안에 나오느냐가 관건이라는 반론이 갈렸습니다.
공저자입니다. 제 박사후연구원 시절 첫 논문이 NeurIPS 메인 학회에 채택됐습니다.
저희는 머신러닝에서 다양한 아이디어를 뽑아내는 방법을 만들었습니다. 과학적으로 말이 되는데도, 지금 존재하는 어떤 연구 커뮤니티도 제안할 위치에 있지 않은 아이디어를 뽑는 방법입니다.
간단히 말하면 이렇게 돌아갑니다.
LLM 논문 16,068편(NeurIPS, ICLR, ICML, ACL, EMNLP, 2017~2025년)을 273개의 "아이디어 원자"로 쪼갭니다. 모든 논문과 모든 후보 아이디어는 원자의 집합이 됩니다.
정합성 모델(Coherence Model)을 학습합니다. 논문을 원자의 시퀀스로 보고 학습한 4,280만 파라미터짜리 트랜스포머입니다. 쉽게 말해 토큰이 아이디어인 언어 모델입니다.
인지적 가용성 모델(Cognitive-Availability Model)을 학습합니다. 연구자 39,791명의 출판 이력으로 학습한 듀얼 인코더이고, 각 사람이 다음에 어디로 갈 수 있을지를 예측합니다.
이 모델들로, 샘플링한 튜플의 점수를 상호 순위 융합(reciprocal rank fusion)으로 매깁니다. 서로 잘 어울리면서도 아무에게도 인지적으로 닿아 있지 않은 아이디어를 찾는 것입니다.
여러 방식으로 검증했습니다. 흥미로운 하나는 2024년 말까지의 논문을 전부 모은 뒤, 점수가 높은 튜플 중 무엇이 2025년 논문에 실제로 등장했는지 확인한 것입니다. 결과가 좋았습니다. 한 예로 ICLR 2025 구두 발표 논문은 정합성만으로는 1,489위였는데, 114만 개 샘플 중 상위 25위까지 올라갑니다.
웃긴 결과도 있습니다. Claude에게 ML 연구 아이디어를 내 보라고 하면 대개 해석 가능성(interpretability) 이야기가 나옵니다. 그 아이디어로 A100 몇 장을 붙여 autoresearch 파이프라인을 돌리면, 열 번 중 여덟 번은 결과도 해석 가능성입니다. 저희 Alien Sampling 방식은 Claude가 마음껏 파고들게 한 뒤에도 해석 가능성 아이디어가 0개였습니다.
또 CS/AI 대학원 학위가 있는 사람 50명에게 보수를 주고 연구 보고서를 평가하게 했습니다. 그 결과 Alien의 보고서가 평균 품질 순위가 가장 좋았고, 상위 5개 중 3개를 냈습니다.
아, 그리고 규모를 엄청나게 키워서 논문 수백만 편과 수천만 개의 개념 요소로 새 연구 제안 25,000건을 만들었습니다. 여기서 검색해 보실 수 있습니다: https://lacuna.tiptreesystems.com/explore?view=hypotheses
코드(MIT): https://github.com/alejandrohdez00/alien-space-of-science
Lacuna 도구의 규모에 정말 감탄했습니다. 그런데 제 박사 연구 분야인 틈새 주제(스테가노그래피, 은닉 통신)를 파 보니 기대가 한풀 꺾였습니다.
연구 문헌에는 노이즈가 많습니다. 분야에 사실상 아무 기여도 못 하는 논문이 많이 나오지만, 논문이 잔뜩 있다는 사실 자체가 그 개념이 중요하니 연구해야 한다는 신호를 보내곤 합니다.
제 경험상 한 주제에 논문이 크게 몰려 있는데 어느 것도 판을 별로 움직이지 못한다면, 오히려 새로운 접근이 필요하다는 신호인 경우가 많습니다. 점진적인 논문을 계속 쓰는 것은 지역 최솟값을 더 깊이 파고드는 일일 뿐입니다.
아직 구체적으로 측정해 보지는 않았지만, Lacuna 제안의 품질은 주제와 연구 방향의 밀도에 좌우된다고 직관적으로 생각합니다. Lacuna는 AI 주제 주변이 가장 촘촘하고, 인접 분야(생물학, 물리학 등)는 말씀하신 대로 기대를 낮추시는 게 맞겠습니다.
다만 추천드리고 싶은 건 MCP( https://github.com/tiptreesystems/lacuna-research-mcp )를 코드 에이전트에 연결해서 데이터베이스를 훑으며 생각해 볼 만한 아이디어를 찾아보시는 것입니다.
맞습니다. 이 방식도 통할 수 있다고 생각합니다. 저희도 비슷한 발상으로 어떤 논문이 영향력 있거나 기초가 되었는지 분류합니다. 연구 방향의 (시간에 따른) 궤적을 크게 바꾼 논문을 찾아보는 식입니다.
"외계 공간"이든 새로운 접근이든, 판을 별로 못 움직이는 잡다한 시도를 잔뜩 늘어놓고 나서, 그게 암묵적으로 언어와 소통 메커니즘을 거쳐 지역 최솟값을 벗어나는 도약으로 이어지는 수밖에 없다는 생각이 들어요. 옛 학자들도 쓸모 있게 추려진 모음집에 실린 것보다 수백 배 많은 메모를 남기지 않았나요?
요즘은 연구가 워낙 많아서, 아무도 이것저것 시도하며 헤매 보려 하지 않아요. 대신 남들이 분명 이미 해 봤을 법한 연구만 훑어보고 말죠... 그러면서 새로운 접근의 가능성과는 점점 멀어지고요...
살펴봐 주셔서 감사합니다! 저희는 저희 AI 에이전트 Althea가 중개하는 공동 토론/편집 기능을 만들고 있습니다. 그러면 선생님 같은 분야 전문가분들이 개선에 참여하실 수 있을 겁니다. 곧 선보일 수 있기를 바랍니다!
벨크로가 이런 경우의 대표적인 예라고 생각해요.
https://blog.karliner.net/posts/chatgpt-and-the-velcro-test/
반려동물 털에 붙은 도깨비바늘(burr)을 가장 잘 떼는 방법에 관한 논의를 LLM이 읽었다면 결국 벨크로에 이를 수도 있을 것 같아요. 벨크로 발명가가 도깨비바늘에서 착상을 얻었다고 알고 있는데, 맞나요?
여기서 인간 지능에 대응하는 도발적인 생각을 하나 끌어낼 수 있다고 봅니다. "인간은 자연 어딘가에 이미 존재하는 것이 아닌 건 결코 발견하지 못한다. 우리는 본 적 있는 개념을 재조합할 수만 있을 뿐, 진짜로 새로운 개념을 발명하지는 못한다."
수학은 자연계를 기술하는 데 "불합리할 만큼 효과적"이라고들 합니다. 그렇다면 거꾸로는 어떨까요? 수학이 자연에서 발견되는 개념과 패턴의 볼록 껍질(convex hull)을 벗어나는 데는 불합리할 만큼 비효과적이라면 어떨까요?
저는 윌리엄 서스턴의 "On proof and progress in mathematics"[1]에서 크게 영감을 받은 글을 쓰고 있습니다. 다음 주에 공개할 예정입니다.
수학이 효과적인 이유 중 하나는 극도로 압축하기 쉽다는 점입니다. 그리고 그 아이디어를 가져다 다른 곳에 적용할 수도 있죠(합성이 잘 됩니다). 반면 자연계는 세부 사항이 많아서 압축하기 어렵습니다. 그래서 새로운 아이디어의 좋은 원천이 됩니다. 생물학적 스파이킹 신경망을 모델링하려고 개발됐고 현대 인공 신경망의 영감이 된 매컬러-피츠 뉴런(MCP, ㅋㅋ)[2]을 떠올려 보세요.
[1] https://arxiv.org/abs/math/9404236 [2] https://en.wikipedia.org/wiki/Artificial_neuron
흥미롭네요. 제 직관은 오히려 정반대입니다. 수학은 물리학에 필요한 것보다 훨씬 과하게 강력하다고 봐요. 자연계를 기술하는 데 쓸모없는 수학을 알아내는 데 우리가 많은 노력을 쏟는 것 같지는 않거든요.
그래서 "우리는 자연에 있는 개념을 재조합할 수만 있을 뿐, 진짜로 새로운 개념은 발명하지 못한다"는 말을 곰곰이 생각해 봤습니다.
떠올릴 수 있었던 가장 좋은 반례는 레이저였습니다. 물론 재료는 전부 양자역학에 있지만, 제가 아는 한 자연에서 레이저 발진을 하는 것은 아무것도 없습니다.
반도체 칩도 마찬가지입니다. 이것도 물리는 전부 거기 있지만, 자연에서 CPU 칩 같은 것을 찾으려면 꽤 멀리까지 가야 합니다.
다이슨 구.
인터럽트 벡터 테이블.
리만 기하학.
데이터베이스.
이 중 일부에는 (같은 개념이 자연에 얼마나 직접적으로 있느냐를 두고, 억지스러운 정도는 제각각이겠지만) 반론을 제기하는 사람이 분명 있을 겁니다. 하지만 자연의 "선행 기술"이 충분히 간접적인 반례가 꽤 많아서, 그 말을 절대적인 형태로 주장하면 거짓이 된다고 생각합니다.
"인간이 자연에 이미 존재하지 않는 무언가를 발견하는 경우는 드물다"라면요? 네, 아마 맞을 겁니다.
바퀴와 차축이 자주 인용되는 예입니다. 편모에 바퀴 같은 연결부를 가진 박테리아가 발견됐을 때는 큰 충격이었죠.
https://en.wikipedia.org/wiki/Rotating_locomotion_in_living_systems
맞습니다. 그런 메커니즘이 있긴 하죠.
그렇지만 바퀴와 차축을 발명한 사람이 박테리아의 편모를 보고 그랬을 리는 없다고 확신합니다.
그러니 그 개념이 자연에 존재했던 건 맞습니다. 하지만 인간의 발명에 어떤 식으로든 영감이 된 것은 아니었습니다.
아니면 특정 종류의 재료 사이에 재사용 가능한 임시 접합을 만든다는 목표로 연성체(soft-body) 시뮬레이션을 수백만 번 돌렸다면, 아마 거기에 도달했을 것 같아요. 필자의 상상력 부족에서 나온 주장일 뿐이에요.
맞아요. 벨크로에 대한 제 직관은 육체라는 "미트스페이스" 액추에이터와 지각 장비에 단단히 얽혀 있는 것 같아요.
말하자면 저는 하루 종일 고해상도 다중 감각 퀄리아를 경험하는데, 그게 굉장히 잡음이 많거든요. 그래서 새 아이디어나 개념 상당수는 그 세부 사항 중 작은 일부를 집요하게 파고드는 데서 나온다고 생각해요. 물론 제 박사 과정을 사후에 합리화하는 걸 수도 있고요.
LLM은 (top-k 같은 샘플링 보정을 쓰지 않는 한) 모든 출력에 0이 아닌 확률을 부여하므로, 충분히 많이 샘플링하면 모델은 반드시 벨크로를 떠올리게 됩니다. 속담에 나오는 타자기 앞의 원숭이와 같은 이치입니다.
진짜 문제는 그것이 현실적인 시간 안에 일어나느냐입니다.
현실적인 시간이란 걸 어떻게 정의하죠? 인간이 벨크로를 떠올리기까지 몇십억 인년(人年)이 걸렸나요? 벨크로가 없는 세상이라면, 순수하게 인간만으로 이뤄진 팀보다 LLM이 훨씬 먼저 그 아이디어를 내놓는 것도 충분히 상상할 수 있어요.
감사합니다. 훌륭한 아이디어이고 훌륭한 구현입니다!
그런데 'medicine'을 입력하면 제안이 6건뿐인데 'physics'를 입력하면 447건이나 나오는 이유가 궁금합니다.
감사합니다!
한 가지 이유는 저희가 주로 AI 연구에 집중하는데, 물리학자 상당수가 AI 연구로 끌려오기(중력처럼요, 헤헤) 때문에 그들의 연구를 더 많이 포착하게 된다는 점입니다.
또 다른 이유로는 (AI +) 물리학 논문이 단순히 접근하기 더 쉬워서 더 많이 처리하게 된 것일 수도 있습니다.
좋은 질문입니다. 저희가 다루는 학술지·학회의 "범위"는 ICML, ICLR, NeurIPS, COLM 같은 동료 심사를 거친 머신러닝 쪽에 맞춰져 있습니다. (a) 이 분야에 전문성이 있어 품질을 판단할 수 있고, (b) 전부 오픈 액세스이기 때문입니다.
그래서 ML 주제에서 멀어질수록 저희 커버리지는 성기게 됩니다. 솔직히 어떤 연구 방향을, 따라서 어떤 제안을 포함할지는 편집상 쉽지 않은 선택입니다. ML은 상당히 학제적이거든요. 그리고 ML 논문은 몇 편 있지만 (예를 들어) 의학 논문이 훨씬 많은 분들은 자기 프로필이 허전하면 속상해하십니다. 하지만 의학은 폐쇄형 접근이 많아서 저희로서는 좋은 제안을 만들 수가 없습니다.
감사합니다. PMC가 있긴 한데, 이미 쓰셨을 수도 있겠네요.
https://pmc.ncbi.nlm.nih.gov/
음, 흥미롭네요. ML이 훨씬 작은 분야이기도 한 것 같아요. ArXiv와 각종 학회·응용 ML 쪽을 다 합쳐도 연간 15만~25만 편 정도예요. PubMed는 매년 신규 기록이 150만~170만 건이고 전체로는 약 4,000만 건인데, ML은 저희가 처리해야 했던 게 수백만 건뿐이었죠. 게다가 ML은 거의 전부 오픈 액세스지만, 의학은 약 50%가 폐쇄형이에요.
누가 컴퓨팅용으로 1,000만~2,000만 달러를 지원해 주고, 도와줄 의사분들이 (수십 명쯤) 나타나서 QA를 하고 접근 방법을 같이 찾아 준다면 아마 가능할 거예요.
단일 관심 집중(monotropism)과 신경다양성은 낯선 동반자입니다.
저는 AuDHD일지도 모른다고 생각하는데, 요즘 유행이라서가 아닙니다. 문제를 보면 가장 가능성 높은 해법이 즉시 보이는 동시에(탐색 공간의 가지들이 순식간에 떨어져 나가는 것처럼요), 다른 사람들보다 더 많은 가지가 보이기 때문에 토끼굴로 빠져서 정신이 산만해지기도 하기 때문입니다.
근시와 원시를 동시에 가진 것에 비유할 수도 있습니다. 공은 수백 야드를 날려 보내지만 숏게임은 형편없습니다. 퍼팅의 궤적이 잔디 때문에 무작위 행보처럼 느껴지기 때문입니다. 예전에는 한 발 물러서서 모든 걸 지나치게 따지지 않으려면 큰 노력이 필요했습니다. 결국 아무것도 모르는 듯하면서도 모든 걸 액면 그대로 받아들이고 어째서인지 생산적이기까지 한 신경전형인의 세상에서 정신 건강이 완전히 무너지지 않도록, 머릿속 독백을 완전히 꺼야 했습니다.
또 다른 비유로는 우울증과 불안을 동시에 앓는 것이 있습니다. 겉으로는 평범해 보여도, 결과는 정상과 정반대에 가까운 무언가가 됩니다.
어쨌든 이 논문은 그 AI 버전처럼 느껴집니다. 먼 연관 관계에 극도로 자세하게 빛을 비추는 것이니까요. 제가 세상에서 가장 좋아하는 일입니다.
저는 직업이 엔지니어지만, 여가 시간에 약리학과 분자생물학 연구를 꽤 많이 하는 편입니다.
제안 논문 하나가 눈에 들어왔습니다.
https://lacuna.tiptreesystems.com/hypothesis/why-receptor-hubs-ignore-ligand-affinity-c9d2e930ee6b624f
리간드가 리간드 결합 포켓에 결합하면, 포켓 안의 단백질("보조인자"라고 부릅니다)과 맺는 접촉점들과 각 접촉점의 세기(반데르발스 힘으로 측정)가 서로 다른 전사 효과를 조절합니다.
이를 "형태(conformation)"라고 합니다. 리간드가 결합 포켓 안에서 취하는 모양입니다.
그래서 전사 효과를 조절하는 것이 반드시 체류 시간과 전체 결합 친화도는 아닙니다.
아주 좋은 예가 안드로겐인 트레스톨론/MENT입니다. 테스토스테론보다 효력이 10배나 강하지만, 안드로겐 수용체에 대한 상대적 결합 친화도는 비슷합니다.
https://en.wikipedia.org/wiki/Trestolone
이 효력은 AR 결합 포켓 안에서 취하는 특정한 형태 덕분입니다.
하나를 직접 파고들어 주셔서 감사합니다! 저도 확률 그래프 모델을 공부하던 시절에 사이먼 라코스트줄리앵과 이 주제로 프로젝트를 한 적이 있는데(제 인생 최악의 수업 성적이었던 것 같습니다), 그래서 작동 원리는 말씀하신 쪽을 따르겠습니다.
친화도/체류 시간과 효능이 별개의 축이라는 말씀이 맞다는 건 압니다. 생물학은 저희 데이터에서 가장 성긴 영역 중 하나라서(논문이 폐쇄형이 많고 저희가 핵심 ML에 집중하기 때문입니다), 그쪽 제안에 이런 문제가 있을 가능성이 더 높습니다.
이런 문제를 개선할 아이디어가 몇 가지 있지만, 이 건을 짚어 주셔서 정말 도움이 됩니다. 감사합니다!
아, 그래서 페이지의 주제 분포가 그렇군요. 데이터가 없다면 어쩔 수 없죠.
AI의 가장 좋은 용도 중 하나인 것 같습니다. 기존 문헌을 파헤쳐 새로운 연결과 아이디어를 만들어 내는 것 말이죠.
혹시 1980년대에 나온 돈 스완슨의 "Public Knowledge Problem" 논문에 대해 들어 보셨는지 궁금합니다. 대체로 이와 같은 생각의 흐름이었거든요.
못 들어 봤습니다. 그 논문이 JSTOR에 유료 장벽으로 막혀 있다니 깊이 희비극적이네요. 애런 스워츠가 생각납니다.
으윽. 아무튼, 여기 있습니다: https://sci-hub.su/https://doi.org/10.1086/601720
이거 정말 마음에 드네요. 아무 근거 없는 제 개인적인 이론인데, 우리는 우주에서 참인 것, 정확한 것의 1%도 안 되는 만큼만 인지적으로 떠올릴 수 있고, 그중에서도 1%만 이해할 수 있는 것 같아요.
그 이론을 저도 지지합니다. 현실에는 수많은 면이 있고, 그중 상당수는 누구도 끝내 탐구하거나 이해하지 못할 겁니다.
https://en.wikipedia.org/wiki/Mona_Lisa 를 예로 들면, 정말 다양한 측면에서 볼 수 있습니다.
좋은 SF 소설은 이런 것 중 일부를 담아냅니다. 현실에 대한 다른 개념에 접근할 수 있는 외계인, 예컨대 암흑의 숲 가설 같은 것이 그렇습니다. 어려운 점은 쓰려면 그 이해를 실제로 직접 만들어 내야 한다는 것입니다. 대충 얼버무리고 넘어갈 수 없습니다.