요약
블록의 AI 연구실이 텍스트 없이 사람 말소리만으로 학습한 전이중 음성 모델 Dessa를 공개했습니다.
블록 안에 있는 소규모 AI 연구실이 연구용 미리보기로 내놓은 모델입니다. 이 연구실은 토론토의 딥러닝 스타트업 Dessa 출신들이 세웠고, 잭 도시에게 직접 보고합니다. 지금은 대기자 명단을 받으며 AI 안전 연구자 일부에게만 먼저 열어 줍니다.
왜 중요한가
- 기존 음성 AI는 말을 텍스트로 바꾸는 과정에서 감정 정보를 잃습니다. Dessa는 이 한계를 정면으로 겨냥했습니다.
- 노트북에서 로컬로 돌고 GPU 랙 한 대로 학습했다고 밝혀, 음성 모델의 비용 문턱을 크게 낮췄다고 주장합니다.
핵심 내용
- 텍스트와 사전 학습 모델 없이 사람 음성만으로 처음부터 학습했고, 연구진은 아는 한 첫 사례라고 했습니다.
- 전이중(듣는 동시에 말할 수 있는 방식)이라 상대가 말하는 도중에도 "응", "알겠어" 같은 맞장구를 칩니다.
- 웃음, 비꼼, 한숨, 말 사이의 쉼을 알아듣고 직접 소리로 낼 수도 있다고 했습니다.
- M4 Max 이상 맥북 프로에서 실시간보다 빠르게 돌고, 학습에는 NVIDIA GB200 NVL72 한 대만 썼다고 밝혔습니다.
- LLM보다 수백 배 적은 단어로 언어를 익혔다지만, 모델 구조와 데이터 규모, 벤치마크는 공개하지 않았습니다.
HN 반응
- 노트북에서 로컬로 돈다는 점에 놀랐다는 반응이 많았습니다. 다만 블록 같은 대기업 작품을 '인디'로 볼 수 없고, 카르테시아도 맥북 실시간 시연을 했다는 반론이 붙었습니다.
- 데모 속 모델이 너무 자주 끼어들고 억지로 웃거나 공감하는 척해 어색하다는 지적이 이어졌습니다. 고객 상담이나 'AI 여자친구'로 쓰일까 걱정하는 목소리도 나왔습니다.
대화 예시도 인상적이지만, 이 부분을 읽고는 저도 모르게 "맙소사" 소리가 나왔습니다. "MacBook Pro M4 Max 이상에서 로컬로 돌아갑니다. 그리고 NVIDIA GB200 NVL72 한 대만으로 Dessa를 학습시키는 방법을 찾아냈습니다."
로컬 기기에서 정말로 그만큼 낮은 지연 시간과 표현력을 재현할 수 있다면, "인디" AI로서는 대단한 성과예요.
음성은 로컬에서 돌리기에 꽤 묘한 위치에 있습니다. 뛰어난 STT·TTS 모델 중에는 웬만한 소비자용 하드웨어에서 실시간보다 빠르게 돌아가는 것들이 있고, 모델도 꽤 작아서 RAM을 많이 요구하지도 않습니다. 하지만 도구와 라이브러리 생태계가 훨씬 파편화되어 있어서 이걸 바탕으로 실제로 동작하는 제품을 만들기가 훨씬 어렵습니다. 영어 이외의 언어로 가면 커버리지와 품질 격차도 훨씬 눈에 띄고요.
Dessa는 음성 대 음성 모델이니 당연히 차원이 다르긴 하지만, 보여 주는 지능을 생각하면 파라미터가 그리 많지 않은 것 같습니다. 개발자들도 어느 정도 그걸 인정하는 듯하고요("솔직히 LLM도 C++이랑 Angular인지 뭔지를 다 배워야 하잖아요"). 이게 어디에 쓸모가 있을지 궁금합니다. 폭넓은 세상 지식도 없고 도구 호출 연동도 전혀 안 되니, 막다른 길처럼 보입니다.
Dessa가 데모 대화를 시작할 때 어떤 맥락을 미리 받았을 수도 있으니, 문서를 받아서 그에 대해 이야기하는 것도 가능할지 모르겠네요. 만약 아무 맥락 없이 시작한 무작위 대화였다면, Block 사람들이 재미없는 잡담을 잔뜩 녹음해 두고 괜찮은 몇 개만 골라 낸 걸 테고요.
도구 연동을 붙이지 못할 이유가 있나요?
그 도구 호출은 어떤 식으로 동작할까요? 모델이 원하는 걸 말로 하면 다른 모델이나 시스템이 그걸 받아서 실행하고, 문서를 모델에게 '소리 내어 읽어 주는' 식일까요?
우리 사람이 하는 방식이 대충 그러니까, 어쩌면 통할 수도 있겠네요.
NVIDIA GB200 NVL72 한 대로만 학습시킨 모델을 두고 막다른 길이라고 하는 건 좀 이상해요. LLM도 처음엔 별거 못 했잖아요.
좋은 성과이긴 한데, "인디"의 정의가 서로 많이 다른 것 같네요.
https://en.wikipedia.org/wiki/Block,_Inc.#
하드웨어 비용으로 대략 400만~600만 달러쯤 됩니다(랙 하나, GPU 72개, 부속 장비 포함).
초기 투자 라운드부터 수천만 달러, 많게는 수억 달러를 받는 AI 업체도 많습니다.
게다가 팀 규모도 정말 작고요(10명 미만???). 그러니 "인디"라고 하기엔 무리가 있을지 몰라도, 상대적으로 보면 여전히 아주 인상적입니다.
반대쪽 입장에서 보자면, 아직은 호스팅이나 과금, 구독 같은 걱정을 할 필요가 없었겠죠. 지금은 연구 데모 단계니까요.
좋은 설명이네요. 여기 댓글을 훑어보고는 GB200 GPU 한 개로 학습시킨 줄 알았거든요. 그랬다면 인디 AI에는 엄청난 승리였을 겁니다.
수정: Nvidia GB200은 GPU 한 개를 가리키는 게 아닙니다. Nvidia의 이름 체계는 정말 헷갈려요. 예전 GPU가 H100, H200 같은 식으로 불렸으니 GB200도 그냥 더 새로운 GPU겠거니 했는데, 실제로는 GPU 30여 개가 들어가는 랙 단위 시스템을 가리키더라고요. "GPU 랙 하나로 학습시켰다"는 "GPU 한 개로 학습시켰다"보다 훨씬 덜 인상적인 주장입니다.
사실은 그보다도 더 헷갈려요 :)
GB200은 Apple의 'Ultra' 칩 같은 것이라고 생각하시면 됩니다. 똑같지는 않지만 비슷해요. 아주 빠른 인터커넥트(연결 통로)로 칩들을 하나로 붙여 놓은 겁니다.
그리고 음성 대 음성 모델이면 도구 사용도 못 하고 세세하게 유도하기도 어렵지 않나요? 제가 틀렸나요? 에이전트 용도로는 어떻게 쓰이게 될지가 이해가 안 되는 부분입니다. 수정: 궁금해하실 분들을 위해 Argon의 답변을 붙입니다. Dessa에 대한 지적은 맞습니다. 텍스트 데이터 없이 오직 원시 오디오만으로 학습했기 때문에, 텍스트 시스템 프롬프트를 읽거나 도구 호출용 코드를 스스로 출력할 수 없습니다. 에이전트로 쓰려면 개발자가 음성 지시만으로 조종하거나, 오디오를 듣고 뒤에서 도구를 실행하는 별도의 텍스트 LLM과 짝지어 대화용 "음성 프런트엔드"로 써야 합니다.
마케팅도 마찬가지입니다. 그건 거의 공짜로 얻고 있잖아요. 세상에는 아무에게도 알려지지 않는 연구가 정말 많고, 관심을 끌기 위한 경쟁도 엄청나게 치열해서 대부분의 연구는 그 점에서 한계가 아주 큽니다.
저는 이 팀이 "인디가 아닌" 가장 큰 이유가 그거라고 봅니다.
그렇긴 해도 말씀하신 대로 놀라운 성과이고, 아주 멋진 모델이고, 훌륭한 작업이라는 건 변함없고요.
가중치를 공개하든가, 아니면 꺼지라고 해요.
분명 엄청나게 자연스럽고 사람 같은 소리가 나긴 하는데, 실제로 무슨 말을 하는지 귀 기울여 들어 보면 지능이 눈에 띄게 부족하다는 느낌이 듭니다.
솔직히 10대 청소년의 의식의 흐름 같은 말투로 들려요. 적어도 저한테는 그렇게 들립니다.
두 목소리를 들려줬더니, 비기술 직군인 제 아내가 어느 쪽이 AI이고 어느 쪽이 아닌지 정확히 맞혔습니다. 아직 순전히 사람 같은 소리라고 할 수준의 문턱은 넘지 못한 것 같아요.
문법이나 단어 선택 같은 것 때문일 수도 있고요.
네, 대부분 말하기 위해 말하고, 반응하기 위해 반응하는 식이에요. 냉소적인 사람이라면 대중에게 배포할 준비가 됐다고 하겠네요.
NVIDIA GB200 NVL72 한 대로 학습시켰다고요. 이건 기술 데모예요!
데모 녹음 어느 것이든 15~20초쯤 지나면 AI 응답에서 "거기 아무도 없다"는 느낌이 들어요. 대화가 얼마나 매끄럽게 흘러가느냐에 초점을 둔 v1이니까, 내용 자체는 그럴 수밖에 없겠다 싶긴 합니다.
솔직히 말해서, 실제로 사람들과 나누는 상호작용 중에도 상당수는 저한테 똑같이 "거기 아무도 없다"는 인상을 줍니다.
이런 양방향(bidi/duplex) 데모는 늘 지나치게 인위적으로 느껴져요. 모델이 순번을 지키지 않고 사람과 동시에 말할 수 있다는 건 멋지지만, 최대한 많이 끼어들도록 학습시키는 게 그 방법은 아니잖아요. 맨 첫 번째 예시에서 "winter"라고 답한 뒤에 나온 웃음소리가 설득력 있다고 느낀 분 계세요? 그 웃음은 왜 필요했을까요? 그리고 사람 쪽 화자는 왜 문장 하나, 생각 하나도 끝맺지 못하고 모델이 독백을 시작해 버리는 건가요?
이런 게 고객센터 상담원으로 나오면 정말 싫을 것 같아요. 가짜 보컬 프라이에 억양이며 감정이며 묘하게 잔뜩 끼워 넣고 말이죠.
그래도 사랑에 빠지는 사람들은 분명히 나올 거예요! 저는 이런 의인화가 전부 소름 끼치지만요.
보컬 프라이를 안 좋게 말하는 사람들 얘기를 오래전부터 들었는데 그게 뭔지는 몰랐어요. 이 댓글을 보고서야 드디어 찾아봤고, 제가 거의 전부 보컬 프라이로 말한다는 걸 오늘 알았네요.
저는 진짜 사람이 말 중간에 끼어들면 이유 없이 화가 치솟는데요, AI 상담원이 그러기 시작하면 의자를 던지게 될 겁니다.
그럼 대신 전화를 받는 에이전트가 더 많이 끼어들게 만들어 두세요.
댓글을 읽고 나서 들어 봤는데, 예시 앞부분에서 Dessa는 취한 것처럼, 아니면 적어도 알딸딸하게 들리더라고요. 그래서 이상하게도 그 웃음이 납득이 갔어요.
요즘 이런 풀 듀플렉스(full-duplex) 모델들이 점점 영화 "Her" 같아지고 있어요. gpt-live-1은 훌륭하고요. 그런데 Dessa는 완전한 인간 수준을 목표로 하는 것 같네요. AI 여자친구 시장이 엄청나게 큰데, 이 팀도 진지하게 들여다봐야 할 겁니다...
전 세계 인구 붕괴가 코앞이네요.
외계인들한테서 소식이 없는 이유가 바로 이거죠. AI를 발명하고는 다들 군스피어(Goonsphere)에 틀어박혀 은퇴한 겁니다.
지금도 거기 안에 있다는 얘기가 있죠.
Stellaris의 몰락한 제국(Fallen Empire)들이 뭘 하고 있다고 생각하셨어요? ;-)