요약
양측 인공와우 사용자가 AI로 검사 앱을 만들어 자기 청각을 1만 번 넘게 직접 측정했습니다.
2025년 8월 한국 업체의 인공와우 임상시험에 참여해 양쪽 귀에 이식을 받은 HN 이용자 mi-rae의 글입니다. 음악은 아름답게 들리는데 말소리는 뭉개지는 이유를 아무도 설명해 주지 않았습니다. 그래서 스스로 정신물리학(소리 자극과 지각의 관계를 재는 실험) 검사에 나섰습니다.
왜 중요한가
- 말소리 인식 점수 하나로만 평가받던 환자가 자기 청각의 한계를 수치와 원자료로 직접 내보였습니다.
- 전문가가 아닌 개인이 AI 도움만으로 검사 앱 제작부터 논리 검증, 그래프 작성까지 해낸 사례입니다.
핵심 내용
- 소리 크기가 초당 70번 이상 오르내리면 변조를 가장 세게 줘도 알아채지 못하고 백색소음으로만 들렸습니다.
- 목소리 높낮이를 정하는 기본 주파수(F0)가 이보다 높아 목소리 떨림을 못 듣는 것과 관련 있을 수 있지만 검증하지는 않았습니다.
- 2026년 10~11월 7가지 검사를 10,992회 했고, 원자료와 코드는 GitHub에 공개했습니다.
- 병원 검사에서 단음절 낱말 인식률은 이식 후 6개월 동안 5~30%에 머물렀습니다.
- 한 사람의 결과이고 왼쪽 귀는 통증 때문에 검사를 다 하지 못했다는 한계도 스스로 밝혔습니다.
HN 반응
- 20년 넘게 연구한 양측 인공와우 사용자 이비인후과 의사는 전극과 청신경 사이의 한계 때문에 개인 맞춤 전략이 임상까지 가지 못했다고 했습니다.
- 정상 청력으로 태어났는데 기억이 없다는 대목이 모순이라는 지적이 여럿 나왔고, 작성자는 일곱 살 무렵 청력을 잃어 그때 소리는 떠올리지 못한다고 답했습니다.
양측 인공와우를 착용하고 있고 20년 넘게 연구 분야에 몸담은 이비인후과 의사입니다. 이런 연구는 흥미롭지만, 청신경 접점에는 한계가 많아서 음성과 음악 처리 전략을 개선하는 데 제약이 큽니다. 놀랍게도 이런 연구의 상당수는 1960년대에서 1990년대 사이에 이뤄졌고 지금도 여전히 유효합니다. 개인 차원에서는 도움이 되는 전략이 있지만, 모든 사람에게 효과가 있는 것은 아닙니다. 그래서 임상에서 쓰이는 단계까지는 오지 못했습니다.
말씀해 주셔서 깊이 감사드립니다. 인공와우 수술을 받은 지 이제 막 1년이 조금 넘었습니다. 덕분에 이 방법론이 아직 임상에서 쓸 만큼 성숙하지 않았다는 걸 오늘 처음 알게 됐습니다. 제가 이 일을 시작한 건 지금 듣고 있는 세상의 소리를 이해하고 싶어서였는데, 아직도 모르는 것이 너무나 많습니다. 그래서 한국에서 진행되는 인공와우 연구에 제 힘이 닿는 한 적극적으로 참여하고 협력하고 있습니다. 과학의 발전을 위해 헌신하고 계신 점에도 진심으로 감사드립니다.
'소리를 뇌로 전달하는' 다른 방법에 대한 연구도 있나요? 일반적인 수준에서요. 있다면 참고할 만한 자료를 알려주시면 정말 고맙겠습니다.
저희 어머니는 어릴 때부터 난청이셨는데(열악한 생활환경 -> 결핵 -> 이독성 항생제, 기억에 스트렙토마이신이었습니다), 몇 년 동안 인공와우를 쓰셨습니다. 하지만 감염 때문에 어느 시점에 제거하셨습니다. 그 뒤로 저는 소리를 뇌로 전달하는 다른 경로가 없을까 계속 궁금했습니다. 이를테면 피부에 진동을 주는 방식이라든가, 전극이 가득 달린 일종의 '헬멧' 같은 것 말입니다.
일시적이라 해도, 소리를 한 번도 경험해 보지 못한 사람에게는 인생이 바뀔 만한 경험일 수 있습니다.
그런 방향의 연구가 있나요?
글 올려 주셔서 감사합니다. 시간이 되신다면 그 한계와 개인별 전략에 대해 생각을 조금 더 적어 주시면 여기 계신 많은 분들이 흥미롭게 읽으실 거라고 확신합니다.
저도 동의합니다. 정말 흥미로울 것 같아요.
그리고
무슨 얘기인지 헷갈리네요.
저는 정상 청력으로 태어났고, 청력이 있을 때 언어를 습득했습니다. 하지만 지금은 아무리 애써서 떠올려 보려 해도 그때 소리가 어땠는지 기억나지 않습니다. 사람들의 목소리가 또렷하게 들렸다는 건 알고 있지만, 지금은 그저 의미 기억일 뿐입니다. 소리 그 자체, 실제 감각 경험은 온전히 떠올릴 수 없습니다.
소리를 허밍 없이 머릿속에서 그대로 재생할 수 있는, 그러니까 의미 기억이 아닌 기억으로 소리를 갖고 있는 사람이 있나요? 저는 못 합니다. 아마 일부는, 어쩌면 대부분은 가능하겠죠. 특히 노래를 하거나 악기를 연주하는 사람이라면요.
저는 이런 능력이 없고(사실 시각적으로 떠올리는 것도 그다지 잘 못 하니까 능력들이라고 해야겠네요), 그래서 그런 초능력이 있었으면 좋겠다는 생각을 합니다. 그랬다면 멋진 시각 경험과 청각 경험을 다시 살아볼 수 있었을 텐데요.
그래도 꿈을 꿀 수 있고, 사진과 영상, 음성 녹음이 있으니까요.
어쩌면 감각 경험을 생생하게 되살리는 능력이 약한 데에는 진화적인 이유가 있을지도 모릅니다. 실제로 움직이고 탐색하지 않고 기억을 떠올리기만 해도 도파민이 나오게 될 테니까요.
생각보다 훨씬 길어졌는데, 그냥 제 얘기만 늘어놓은 게 아니라 도움이 되는 글이었으면 좋겠네요, ㅎㅎ.
네, 저는 노래나 곡이 머릿속에 맴돌 때가 있습니다(대개는 집요하게 반복되는 모티프 형태이긴 합니다). 아니면 의도적으로 "재생"할 수도 있는데, 정확도와 완성도는 그때그때 다르지만 대체로 만족스러운 편입니다.
그렇다고 과장하고 싶지는 않습니다. 일단 완전한 환청 같은 걸 겪는 건 아닙니다(다른 한 가지는 몇 문단 뒤에 이야기하겠습니다). 일반적인 시각화가 망막으로 들어오는 시각 입력과는 다르면서도 "시각적인 느낌"이 있는 준시각적 경험이듯이, 이것도 준청각적 경험입니다. 제 경우에는 실제로 소리를 듣는 것과는 분명히 다릅니다. 소리가 고막에 닿는 물리적 감각의 어딘가 하류에 있는 경험의 일부분일 뿐입니다.
그렇다고 자극 부분만 깔끔하게 빼고 지각 부분만 통째로 남은 것도 아닙니다. 그렇다면 환각 같은 성질을 띨 거라고 상상할 수밖에 없는데(일부 사람들에게는 실제로 그렇습니다[1]), 제 경우는 정도의 차이는 있지만 한층 더 "떨어져 있는" 느낌입니다. 꽤 애를 써야 할 때도 있고, 반대로 내가 일부러 그 소리를 만들어 내지 않아도 된다는 점에서 거의 실제처럼 느껴질 때도 있습니다.
그렇게 해도 적어도 충분한 정도의 충실도로 나오는 것 같습니다. 예를 들어 지금 "사운드 오브 뮤직"에 나오는 줄리 앤드루스의 "도레미" 첫 부분을 "재생"해 보면, 그녀의 발음과 억양의 미묘한 뉘앙스가 상당 부분 느껴지는 것 같습니다. 그 뉘앙스가 원곡과 정확히 같은지는 알 수 없지만, 실제로 듣는 경험을 그럭저럭 흉내 내기에는 충분합니다. 다만 내가 많은 부분을 직접 해야 하는 느낌이 든다는 점은 다릅니다.
이렇게 비교적 단순한 "흐름" 하나만 다루면 그 정도의 세부를 담을 "대역폭"이 있습니다. 거기서 더 나아가면 어떤 면에서 품질이 떨어지는데, 이게 아까 말한 다른 한 가지입니다. 모든 요소가 한꺼번에 존재하는 완벽한 경험을 하는 것은 아닙니다. 초점이 되는 부분(보컬이 있다면 보통 보컬)이 있고, 보통은 그것과 함께 다른 한 가지 정도가 거의 완전하게 동시에 진행될 수 있습니다. 그 밖의 파트들은 희미해지거나 아예 사라지고, 다른 파트가 잠잠해지는 사이에 다시 돌아왔다가 또 사라지곤 합니다. 일종의 뼈대인데, 전체적으로는 쓸 만한 합성물을 내놓습니다.
일부 연구는 이런 모든 형태의 심상(시각적이든 아니든)이 실제 경험이나 행동의 "중단된" 형태라는 결과를 내놓는다고 합니다(아니면 주장한다고 해야 할까요? 논증한다? 제안한다?). 예를 들어 한쪽 끝에 "소리 내어 읽기"(또는 "말하기" 전반)가 있는 스펙트럼을 생각해 보세요. 그 중단된 형태가 속발성(subvocalization)인데, 이때는 성대와 조음 기관이 아주 미세하게, 하지만 눈에 보일 정도로 움직입니다. 그리고 완전한 내적 발화의 경험은 거기서 한 번 더 중단된 형태라고 가정해 보는 겁니다. 그다음에는 "언어화된 사고" 같은, 더 "안쪽"에 있는 무언가가 있을 수 있겠죠.[2][3]
비슷한 예로 운동감각적 심상을 생각해 보세요. 무언가를 신체적으로 하는 상상을 말합니다(시각화가 아니라, 코치가 어떤 동작을 "시각화하라"고 할 때 진짜 의미하는 것이 이쪽이라고 저는 생각합니다). 여기서도 마찬가지로 골격근이 미세하게 움직인다고 합니다(제가 지금 인용할 수 없고 제대로 평가할 자격도 없는 어떤 논문에 따르면요). 기억하기로는 이것이 실제로 동작을 연습하는 것만큼 효과적이라는 결과가 적어도 어느 정도는 나와 있고, 가짜 도파민 보상에 대한 당신의 생각에도 일리가 있을 수 있다는 점을 어렴풋이 시사하기도 합니다.
이런 맥락에서 음악의 경우는 중단된 속발성 같은 것이고, 이걸 일종의 속발성으로 두어 성대를 미세하게 움직이면 더 많은 "흐름"을 지탱할 수 있습니다. 저는 3음 화음을 각각의 음을 동시에 인식하고 있다고 느낄 수 있도록 겨우겨우 "재생"하려면 이렇게 해야 합니다("느낀다"고 하는 이유는 워낙 불안하고 위태로워서, 솜씨 좋게 접시돌리기를 하고 있는 건 아닐까 하는 생각이 들기 때문입니다). 위의 인용문 이후로 한 이야기를 정리하면, 허밍이 필요하다는 것도 적어도 아마 같은 연속선상에 있는 것이지, 소리를 불러내는 초자연적인 재주와 완전히 동떨어진 것은 아니라고 생각한다는 겁니다.
예를 들어 비치 보이스의 브라이언 윌슨과 그가 겪은 정교한 편곡의 환청. ("Wouldn't It Be Nice"의 맨 처음 부분이 그런 환청에서 비롯된 것임을 아는 사람들은 아주 분명하게 알아볼 만한 예입니다.) https://en.wikipedia.org/w/index.php?title=Musicianship_of_Brian_Wilson&oldid=1035717789
https://www.hurlburt.faculty.unlv.edu/codebook.html#target4
그리고 어쩌면 자극이 중단된 심상이라는 이 모든 다양한 형태가 "비상징적 사고"로 수렴하는 걸지도 모르죠?
시간 내서 답변해 주셔서 감사합니다. 저는 시각적 심상은 조금 있고, 청각은 그보다 덜하고, 후각은 완전히 제로입니다.
"중단된 경험"이라는 표현이 딱 와닿네요.
언어라는 이렇게 제한된 통로를 통해서라도 다른 사람의 내면세계를 탐색해 보는 건 언제나 흥미롭습니다.
이해가 되네요. 어떤 것이 어떻게 생겼는지 기억으로 "아는" 것과 최근의 단기 기억이라는 기준점을 실제로 갖고 있는 것의 차이 같습니다. 하나는 진짜를 보면 알아볼 수 있는 개념이고, 다른 하나는 진짜에 가까운 그럴듯한 버전을 재구성할 수 있을 만큼 가까운 것이죠. 전자는 그게 무슨 의미인지 다른 사람에게 설명하거나 사물을 따로 떼어 놓고 정확하게 비교하는 데는 거의 쓸모가 없습니다.
사건이 일어난 순서에 대한 서사는 기억하지만, 정상 청력의 주관적인 경험은 기억하지 못하는 겁니다. 온갖 종류의 경험에서 꽤 흔한 일입니다. 이야기는 문화적으로 전해지니까요.
본인의 기억이 아니라 가족들의 기억에서 이야기하고 있는 걸 수도 있어요.
저는 보통 목소리를 듣는 것을 "진동"을 듣는다고 표현하지 않습니다. 진동이 소리의 물리적 토대인 것은 맞고, 청각계는 그 진동이 일으키는 공기 압력의 변화를 감지합니다. 하지만 진동은 촉각으로도 느낄 수 있고, 듣는다는 주관적 경험은 무언가가 진동하는 것을 만져서 느끼는 촉각과는 상당히 다릅니다. 진동을 느낀다고 하면 저는 대개 만지는 감각을 떠올립니다.
그래도 두 감각은 같은 물리 현상에서 비롯됩니다. 허밍을 하면서 목에 손가락을 대면 자기 성대가 진동하는 것을 느껴볼 수 있습니다. 분명히 아주 다른 감각이고, 촉각은 일반적인 청각보다 소리의 세부 정보를 훨씬 적게 전달하지만, 같은 물리적 현상을 감지하는 것입니다.
흥미로운 예로 브라질 수어 통역사 다니 발레스카(Dani Valeska, 인스타그램 @daniivaleska)가 있는데, 남편이 청각장애인입니다(남편 이름은 찾지 못했습니다). 두 사람의 경험을 담은 콘텐츠를 올리는데, 남편이 아내의 목을 만져서 느낀 목소리의 진동으로 아내가 한 말을 그대로 따라 하는 영상을 본 기억이 납니다. 이는 "택틸링(tactiling)"이라는 기법과 비슷한데, 독순술을 돕는 촉각 보조 수단으로 연구된 적이 있습니다( https://researchers.mq.edu.au/en/publications/tactiling-a-usable-support-system-for-speechreading/ ).
이 글이 좀 이상한 건, 글쓴이가 정상 청력으로 태어났다고 했기 때문이에요.
아주 어렸을 때는 정상 청력이었지만, 그때 들었던 소리는 아무것도 기억나지 않습니다. 초등학교 1학년 무렵, 한국에서는 일곱 살쯤에 청력을 잃은 것 같습니다. 그전까지는 청력이 정상이었고 그때 말을 배웠습니다. 하지만 워낙 어린 시절의 기억이라 확신할 수는 없습니다. 그때는 모든 게 어떤 소리로 들렸을까요...? 저는 모르겠습니다.
(지난번 글에 실수가 좀 있어 보였다면 죄송합니다. 어제는 피곤해서 꼼꼼히 검토하지 못했고, 그래서 모순되는 부분이 몇 군데 있었습니다. 최대한 정확하게 쓰려고 노력하고 있습니다.)
청각 아판타시아(auditory aphantasia)일 수도 있겠네요. 마음의 눈은 어떤가요?
저도 거기서 헷갈렸어요. 아주 어려서 기억이 없는 걸 수도 있겠죠?
시청각 중복장애를 가졌던 헬렌 켈러도 같은 방식으로 또렷하게 말하는 법을 배웠다고 하죠.
성대는 주로 베르누이 효과와 폐의 과압 때문에 진동합니다. 진동만으로, 즉 음원(voice source)만으로는 우리가 말에서 쓰는 정보가 거의 전달되지 않습니다. 그 정보는 압력파가 후두관을 타고 올라가 입으로(비음의 경우에는 코로) 나가는 과정에서 생겨납니다. 음원만 따로 측정하는 것은 후두 기록기(laryngograph)로 가능합니다.
이분들의 데이터가 전부 들어 있는 GitHub 저장소는 여기 있어요. https://github.com/mi-rae-lab/ci-psychophysics-data
Voicemod 같은 소프트웨어는 말하는 목소리를 실시간으로 밝고 로봇 같은 톤이나 미쿠 풍의 디지털 아이돌 톤으로 바꿔 줍니다. 이런 게 말소리를 더 잘 듣고 이해하는 데 도움이 될지 궁금하네요.
흥미롭게도 VOCALOID 소프트웨어를 맡았던 바로 그 연구자가 지금은 Voicemod의 연구를 맡고 있습니다.
흥미로운 제안입니다. 하지만 제 경험상 하츠네 미쿠의 발음은 그녀의 노래를 처음 들었을 때는 뚜렷하게 알아듣기 어렵습니다. 로마자로 된 가사를 보면서 따라 읽을 때 비로소 단어들이 또렷해집니다. 같은 노래를 반복해서 들으면 결국 가사 없이도 이해할 수 있게 되지만, 이는 소리 자체가 더 선명해져서가 아니라 기억에 바탕을 둔 하향식 예측이 작용한 결과라고 생각합니다. 처음에는 의미 없는 휘파람 소리나 전자음으로 들리던 소리가, 무슨 말인지 알려 주고 나면 갑자기 또렷하고 알아들을 수 있는 말소리로 들리게 되는 사인파 음성(sine-wave speech) 현상과 비슷합니다.
지금까지 본 AI 활용 사례 중에서 아마 가장 훌륭한 것 중 하나일 겁니다.
현대의 AI가 없었다면 여기까지 오지 못했을 거라고 생각합니다. 그렇지만 저는 전문가가 아니니 어떤 비판이든 겸허하게 받아들여야 한다고 믿습니다. 아직 답은 찾지 못했지만, AI가 도와준 것에 감사하고 있습니다. 따뜻한 말씀 감사합니다.
의사 선생님들께 인공와우 매핑을 조정하거나 개선할 수 있는지 문의해 보셨나요?
네, 그렇게 했습니다. 1년 내내 매핑을 받을 때마다 물어봤습니다. 하지만 인공와우를 몇 번을 다시 매핑해도 별다른 개선은 없었습니다. 원인이 청신경(말초)에 있는지, 뇌가 소리를 처리하는 방식(중추)에 있는지, 아니면 전혀 다른 곳에 있는지 아직도 모릅니다. 청각사에게 말소리가 흐릿하게 들린다고 말했고 의사에게도 이야기했지만, 달라진 것은 없었습니다.
청력 손실이 내이의 손상 때문인지, 아니면 신경 경로의 더 깊은 곳 때문인지 아시나요?
안타깝지만 아직 답을 모릅니다. 적어도 제 귀에는 음악이 맑고 아름답게 들리는데, 왜 말소리는 이렇게 먹먹하고 알아듣기 어려울까요? 제 청력 손실은 여전히 수수께끼입니다. 대학병원에서 정밀 검사를 받으면 원인이 밝혀질 수도 있지만, 저 혼자서 할 수 있는 일로는 알아낼 수 없습니다. 지금으로서는 문제가 말초 청각계에 있는지, 중추 청각계에 있는지, 아니면 인공와우 자체에 있는지 알 수 없는 해결되지 않은 한계를 안고 있습니다.