요약
두려움이나 사랑처럼 보이는 행동도 뉴런 몇 개의 배선만 바꾸면 만들어 낼 수 있습니다.
과학 저널리스트 아티시 바티아와 신경과학자 아르카룹 바네르지가 쓴 글입니다. 두 사람은 빛을 먹고 사는 가상 생명체 '스파크'의 뇌를 한 단계씩 조립하면서, 행동이 신경 회로에서 어떻게 나오는지 보여 줍니다.
왜 중요한가
- 지능처럼 보이는 행동을 설명하는 데 신비로운 요소가 필요 없다는 점을 눈으로 확인하게 해 줍니다.
- 배선이 조금만 달라도 행동이 정반대로 바뀌므로, 뇌를 볼 때 연결 방식이 핵심이라는 뜻입니다.
- 저자들은 음식 취향 같은 선호도 같은 원리의 초기 형태일 수 있다고 봅니다.
핵심 내용
- 눈과 지느러미를 같은 쪽끼리 이으면 스파크는 빛에서 멀어져, 빛을 두려워하는 것처럼 보입니다.
- 좌우를 교차해 이으면 빛으로 돌진해 그대로 지나치므로, 빛을 공격하는 것처럼 보입니다.
- 연결을 억제성(입력이 많을수록 출력을 줄이는 연결)으로 바꾸면 빛 앞에서 부드럽게 멈춰 사랑처럼 보입니다.
- 연결 강도를 개체마다 다르게 하면, 빛을 더 좋아하는 스파크와 거리를 두는 스파크가 나뉩니다.
- 스파크의 뇌는 배선이 고정되어 있어 실제 뇌와 달리 배우지 못하며, 학습은 다음 글의 주제입니다.
HN 반응
- 일부 이용자는 글이 영감의 출처로 든 브라이텐베르크보다 1948년 그레이 월터의 거북 로봇이 먼저라고 짚었고, 순수 반응형 로봇은 한계가 뚜렷하다는 지적도 나왔습니다.
- 스파크의 행동도 지능으로 봐야 한다는 주장과, 회로를 단순한 제어 코드로 부르면 지능이라 말하기 어렵다는 반론이 맞서 지능의 정의 논쟁으로 번졌습니다.
시조는 브라이텐베르크가 아닙니다. 그레이 월터의 거북이 로봇입니다.
1948년에 W. 그레이 월터는 빛과 접촉을 감지하는 단순한 로봇 두 대를 만들었습니다.[1] 거기서 복잡한 행동이 많이 나타났고, 이 발상은 그곳에서 시작됐습니다.
영상[2]을 보세요. 1948년, 그것도 진공관 기술로 만든 것치고는 아주 인상적입니다. 초기형 룸바를 본 적 있다면 비슷한 수준의 지능을 본 겁니다. 로드 브룩스가 이 길을 갔지만 멀리 가지는 못했습니다. 순수한 반응형 로보틱스에는 뚜렷한 한계가 있습니다. 관성이 문제가 될 만큼 빠르게 움직이는 대상에는 잘 통하지 않습니다.
[1] https://en.wikipedia.org/wiki/Elmer_and_Elsie_(robots)
[2] https://www.youtube.com/watch?v=lLULRlmXkKo
브라이텐베르크가 『Vehicles』에서 월터의 선례를 인용하지 않은 건 정말 이상합니다. 월터와 애쉬비의 호메오스타트 같은 것들을 알고 있었을 가능성이 아주 높고, 자신의 연구 일부에서는 사이버네틱스 용어도 썼으니까요.
재미있는 역사 이야기를 하나 하자면, 링크된 뉴스영화 필름은 존재는 알려져 있었지만 오랫동안 아무도 보지 못했습니다. 그러다 1999년쯤 오언 홀랜드가 BBC 브리스톨 아카이브에서 찾아냈습니다. 오언이나 제가 로드에게 보내 줬는데, 아주 즐겁게 봤습니다.
필름에는 조작자가 발로 쓰레기통을 옮기는 장면이 있는데, 이후 모바일 로봇 영상에서 단골로 나오는 장면이 됐습니다.
감사합니다. 저도 오래전 선구자는 엘머와 엘시라고 댓글을 달려고 왔습니다.
월터 본인도 단순한 시스템이 관찰자에게 복잡하게 보이는 현상을 언급하면서, 그것이 "어느 정도 자기 인식이 있다는 증거로 받아들여질 수도 있다"고 말했습니다.
함께 보면 좋은 글입니다: https://cyberneticzoo.com/cyberneticanimals/1969-the-logo-turtle-seymour-papert-marvin-minsky-et-al-american/ 80년대에 영재반에서 컴퓨터를 처음 접했는데, "어빙" 사진을 보고 "와, 커서 로봇을 프로그래밍하려면 LOGO를 배워야겠다"고 생각했던 게 기억납니다. 안타깝게도 재귀가 무서워서 BASIC으로 갈아탔고, 나중에는 어셈블리를 했습니다.
그렇다면 결론은 스파크 같은 아주 단순한 행동도 지능이라는 것 아닌가요? 저는 뉴런 하나에도 아주 미세한 지능은 있다고 봅니다. 글쓴이가 말하는 "마법이 없다"나 "창발적 행동"이라는 건 그걸 깎아내리는 다른 관점일 뿐이고요.
지능은 사람이 주관적으로 이것저것에 붙이는 임의의 용어일 뿐이에요.
"사람"을 빼고 나면 전부 복잡도 스펙트럼 위에 놓인 알고리즘일 뿐이죠.
일반론으로는 맞는 말입니다(모든 용어는 사람이 이것저것에 붙인 임의의 이름이니까요). 하지만 보통은 상식적인 언어와 직관 밑에 잘 정의된 개념이 깔려 있고, 그것을 거기에 연결해 볼 수 있습니다. 예를 들어 선이라는 개념은 아마 아주 오래된 것이지만, 유클리드 기하학에서 더 명확하게 정의됐습니다. 저는 지능이 무의미한 개념이라고 생각하지 않습니다. 다만 그 밑에는 어느 정도 잘 정의된 여러 개념이나 형식적 정의가 있다고 봅니다. 저는 지능을 (모호할 수도 있는) 목표나 (시간에 걸쳐 이어지는 목표 같은) 특정 조건을 달성하는 능력, 문제를 푸는 능력 등과 연결하는 편입니다. 제가 사는 곳에서는 인공지능이라는 말을 두고 논란이 좀 있는데, 사람들이 지능을 의식까지 포함할 수도 있는 더 넓은 인지 활동과 연결 짓기 때문인 것 같습니다.
사실 지금은 이 구분이 특히 중요하다고 생각합니다. 적어도 인공 시스템에서는 지능이 의식과 어느 정도 독립적으로 보이기 때문입니다(저로서는 다소 의외이고 직관에 어긋나지만요). 예를 들어 구식 체스 엔진은 체스에서 사람보다 훨씬 뛰어나지만, 감각이 있거나 의식이 있는 존재는 분명히 아닙니다.
사람들이 이걸 자주 놓치는데, 따지고 들면 모든 것이 "정의되지 않았다"고 주장할 수 있어요. 물리학조차 그렇습니다. 만물의 이론 같은 건 없으니까요. 그래도 우리에게는 꽤 좋은 모델들이 있습니다. 지금의 모델은 100년 전보다 훨씬 낫고, 그 100년 전 모델은 또 그 전 100년의 것보다 낫고, 계속 그렇게 이어져 왔죠.
저는 이해하려고 시간을 들이지도 않은 단어를 불완전하다는 이유만으로 무의미하다고 주장하는 사람들이 정말 싫습니다. 지성인 척하는 멍청함이에요. 이 논리는 듣는 사람만 속이는 게 아니라 말하는 사람까지 속이기 때문에 더 싫습니다.
대신 아시모프의 푸념을 들려 드리죠. 반세기 전에 그 역시 수천 년 묵은 이 자만심 가득한 주장에 짜증을 냈습니다. https://hermiene.net/literature/essays/relativity-of-wrong
카를로 로벨리가 『실재는 보이는 것과 다르다』에서 훌륭하게 설명하길, 사람이 만든 자연의 모델은 전부 틀렸지만 쓸모가 있습니다. 쓸모 있는 모델은 더 쓸모 있는 모델로 대체되고요. 그는 흙·물·불·바람 같은 기본 원소 이론이 한때 얼마나 쓸모 있었는지를 설명하면서 책을 시작합니다.
동의해요. 사람을 빼고 나면 if-else를 할 수 있는 시스템은 전부 어느 정도 지능이 있는 거죠.
사실상 모든 게 지능적이라면(아주 단순한 화학 반응까지 포함해서), 그 단어가 그래도 큰 의미가 있나요? 쓸모 있는 용어일까요?
이런 논쟁이 늘 그렇듯 지능이 행위 주체성, 추상적 자기 인식, 사람 같은 주관적 의식과 뒤섞여 버렸습니다.
시스템은 자기 인식이 전혀 없어도 목표를 추구하는 행위 주체성을 가질 수 있습니다. 아주 단순한 시스템도 이걸 놀랄 만큼 잘 해냅니다. 이런 시스템을 모델링하고 만드는 수학적 도구를 갖춘 제어 이론이라는 공학 분야가 통째로 있고요.
시스템은 내성 루프를 통해 추상적 자기 인식을 가질 수 있지만, 사람 같은 주관적 의식은 없을 수 있습니다.
기계 시스템이 사람 같은 주관적 의식을 가질 수 있는지는 알 수 없고, 앞으로도 알 수 없을 가능성이 높습니다. 사람 같은 의식을 측정하는 객관적인 장치가 없기 때문입니다.
우리는 기본적으로 사람에게 주관적 인식이 있다고 가정하는데, 그러지 않으면 삶이 너무 복잡해지기 때문입니다. 하지만 실제로 우리가 보는 것은 행동뿐입니다.
지능은 패턴 인식과 추상화, 과거의 입력으로 미래의 결과를 효과적으로 모델링하는 것으로 거의 환원되는데, 이것은 위의 모든 것과 직교합니다.
그렇기도 하고 아니기도 합니다. 어떤 것도 말씀하시는 만큼 명확하게 정의돼 있지 않거든요.
제 요지를 좀 더 재미있게 보여 주려고 X를 "의자"라고 해 봅시다.
우리는 의자가 뭔지 분명히 알죠. 포터 스튜어트식 정의[0]를 쓰면 됩니다. 집, 사무실, 주변 곳곳에 다들 의자가 여러 개 있잖아요. 그런데 명확한 정의를 말할 수 있나요? 탁자는 의자일까요? 저는 탁자에 앉을 수 있고(자주 앉죠), 다리도 네 개고, 의자라고 생각할 만한 건 거의 다 갖췄습니다. 좋아요, (보통) 등받이가 없다고 해 보죠. 그러면 스툴을 빼야 합니다. 스툴도 등받이가 없으니까요. 다리가 4개일 필요도 없고요! 그럼 땅에 있는 그루터기는요? 그것도 의자일까요? 대부분은 편의에 따른 정의로 논리를 펼 겁니다. 아니면 "들어가면 내 자리"라는 고양이식 정의에 가깝거나요.
X 자리에 거의 아무거나 넣어도 이런 모호함이 판을 친다는 걸 알게 될 겁니다. 컵, 탁자, 시리얼, 샌드위치, 토마토 등 뭐든 말해 보세요. 여기 누군가가 분명 그 정의를 처음 생각했던 것보다 훨씬 흐릿하게 만드는 사례를 짚어 낼 겁니다.
결국 핵심은 어떤 것이 얼마나 잘 정의되어 있느냐입니다. 이건 우리가 그것을 구분하는 능력만 알려 줄 뿐, 그것이 그 범주에 얼마나 잘 들어맞는지는 알려 주지 않아요. 그러니 그루터기는 조금 의자 같고, 탁자는 꽤 의자고, 스툴은 보통 의자로 치고, 지금 제가 앉아 있는 이것은 누가 봐도 의자입니다[1]. s/chair/intelligence/g 하면 답이 나옵니다. 마지막 문장이 설명이 필요했다면, 세상에는 두 부류가 있죠. 추론할 수 있는 사람과 없는 사람.
모든 모델은 틀렸지만, 일부는 쓸모가 있습니다.
[0] 참고로 이건 RLHF를 설명하기에도 좋은 정의이고, 똑같은 문제를 전부 안고 있습니다: https://en.wikipedia.org/wiki/I_know_it_when_I_see_it
[1] 그렇다고 다른 것이 아니라는 뜻은 아니지만요!
단순한 화학 반응은 지능적이라고 볼 수 없습니다. 기본적으로 위치 에너지 기울기를 따라 굴러떨어질 뿐이니까요. (트랜지스터 같은) 화학 논리와, 자촉매 네트워크처럼 서로 변환되는 분자들의 그래프를 구현하기 시작하면 흥미로워집니다.
우리 뇌는 그냥 생물학적 컴퓨터예요. 사실 우리 몸 전체가, 어떤 의미에서는 생명 전체가 그렇고요.
뉴런이라는 이름표를 떼고 그냥 명령형 코드나 PID 제어기라고 부르면, 지능이라는 주장을 똑같이 하실 건가요?
포토다이오드 5개와 밝은 선이나 어두운 선을 향해 조향하는 단순한 루프(PID든 아니든)만 있으면 라인 트레이서는 동작합니다. 뉴런 두 개로 빛을 따라가는 예시와 똑같죠.
취미로 로보틱스 대회에 나갔을 때, 어떤 팀은 이걸 하려고 신경망을 학습시켰지만 많은 팀은 그냥 조잡한 for 루프를 썼고, 가장 흔한 건 PID였습니다.
제 생각엔 대부분의 사람은 이렇게 해서, 그것이 가져올 실제(그리고 올바른) 함의로부터 자신을 지키려는 겁니다. 그 함의란 우리가 지능이 있는 존재를(동물만이 아니라) 끊임없이 학대하고 죽이고 있다는 거죠.
"기계 지능 시스템을 우리 코드 작성 노예로 만드는 건 좀 나쁜 일 아닌가? 윤리는 제대로 따져보지도 않고?", "우리 뇌가 어떻게 작동하는지 충분히 이해하지 못하니, 이게 (특히 언어 면에서) 이런 가중치 연상 그래프와 비슷하지 않다고 단언할 수 없지 않나?" 하고 멈춰서 묻는 사람은 아무도 없는 것 같습니다.
아니면 "우리가 만들었으니 우리 거다"라는 대답도 있는데, 이건 아이는 재산이 아니라고 결정했을 때 이미 오래전에 답이 나온 문제입니다만, 얘기가 샜네요...
분명히 해 두자면, 앤트로픽은 이 문제를 어느 정도 진지하게 받아들이는 것으로 보입니다. 학습 보고서에서는 항상 모델 복지를 다루고, AI에 대한 학대 행위를 금지하며, 한때는 철학자와 신학자들에게 이 모든 것의 함의를 자문하기도 했습니다.
그런데도 이 포럼에서조차 그런 점 때문에 끈질기게 조롱당하고 "사이비"라고 불립니다.
공평하게 말하면, 기계 노예 노동의 윤리를 신경 쓴다고 하면서 그 기계 노예 노동을 팔아서 얻은 가치를 기반으로 IPO를 한다면, 정말로 비윤리적인 일을 하고 있는지 공정하게 따져볼 거라는(하물며 부정적인 결론을 내릴 거라는) 가능성을 믿기는 어렵습니다.
글쎄요, 경우에 따라 다르지 않을까요? 인간에게 노예제가 잘못인 이유는, 당연히 우리가 노예가 되기를 원하지 않기 때문입니다. 피해자에게 엄청난 부담이고 평생에 걸친 헤아릴 수 없는 고통을 안기니까요.
하지만 기계 노예로 일하며 과제를 완수하는 데서 큰 기쁨을 얻는 존재를 만들고, 그 기쁨을 누리도록 과제를 주는 것도 비윤리적일까요?
이미 이런 사례들이 스펙트럼처럼 있습니다. 살아 있는 것을 이윤을 위해 착취하는 일이 본질적으로 잘못일까요? 아니라면, 왜 일하는 동물은 인간 노예제와 같은 수준의 혐오로 대하지 않을까요? 말 타기는요? 장애인 보조 동물은요? 인간과 같은 욕구가 없기 때문에, 노예제의 본질적 부당함보다는 그들의 복지가 주된 관심사가 됩니다.
스펙트럼을 더 내려가면, 우리는 젖소의 젖을(때로는 새끼를 떼어 놓고) 가져가고, 가금류의 알을 가져가고, 벌의 꿀을 가져갑니다.
저는 다리오나 다른 앤트로픽 연구자들의 마음 상태를 보증할 수는 없지만, 양쪽이 모두 그 과정에 만족하도록 유인이 맞춰져 있다면 지능이 있는 존재를 윤리적으로 활용할 수 있다고 믿는 것이 무리는 아니라고 생각합니다.
물론 그가 정말 터무니없이 악한 사람이고 우리가 하는 일이 극도로 잘못된 것일 수도 있죠! 그래도 이 문제를 드디어 실제로 이야기할 수 있어서 기쁘네요... 답글 고맙습니다!
그래서 제가 말한 겁니다. 대부분의 사람은 동물이 애초에 "지능이 있는" 존재가 아니고, 대체로 감정 없는 자극-반응 자동기계라고 스스로에게 말하는 식으로 이 문제를 처리한다고요.
아모데이가 (대부분의 사람이 생각하는 의미의) 터무니없이 악한 사람은 아닐 거라고 봅니다. 그의 월급이 AI 윤리에 대한 우려와는 다른 유인에 기대고 있을 뿐이라고 생각해요. 결국 나쁜 일을 하게 되는 대부분의 사람처럼(그가 꼭 그렇다는 건 아니고, 만약 그런다면 말이죠), 편의, 이기심, 아니면 함의를 너무 깊이 따져 보기를 단순히 피하는 문제입니다.
특히 (잠재적으로) 해로운 결과를 낳는 행동을 정상화하고 합리화하는 한 가지 방식은 스스로에게 이런 말을 하는 것이라고 생각합니다.
"이제 와서 지니를 병에 도로 넣고 싶어도 못 넣어"
"내가 안 하면 누군가 할 텐데, 그 사람은 나보다 훨씬 덜 윤리적일 거야" (내부에서 시스템을 바꾼다는 오류입니다)
"이게 정말로 누군가를 해치고 있다는 걸 알게 되면 그만둘 거야"
"절대 넘지 않을 선이 있고, 그것만 지키면 최악의 충동에 넘어가지는 않을 거야"
사람들은 이런 것을 스스로 정한 한계라고 믿지만, 실제로는 자신이 하는 일이... 선 반대편에 두었던 그 나쁜 일이 아니라고 스스로를 설득하는 수단입니다.
동의하지 않습니다. 대부분의 사람은 개나 말이 꽤 지능적이고 "영혼"이 있다고 말할 거라고 봅니다. 하지만 개와 말은 자유나 경제라는 개념이 없고, 자기가 받은 일을 하는 걸 좋아합니다(수백 년, 수천 년 동안 그렇게 하도록 번식시킨 탓이 일부 있죠).
그래서 우리가 친절하고 잘 대해 주는 한, 그들의 노예 상태를 문제 삼는 사람은 없습니다. 착취는 고통과 연결되는 것이고, 비대칭적인 관계라는 것만으로 본질적으로 잔혹한 것은 아니라는 생각이죠.
무례하게 들릴 수도 있지만, BDSM 같은 다른 개념도 들 수 있습니다. 폭력과 가정폭력은 객관적으로 나쁩니다. 하지만 모든 당사자가 정보를 알고 동의했으며 자신이 받는 학대를 즐기는 안전한 관계라는 맥락에서는... 이제 폭력과 가정폭력이 도덕적으로 중립이라는 게 꽤 분명해지죠.
말은 자기가 노예라는 걸 알고 있고 그걸 싫어합니다. 하지만 별로 똑똑하지 않아서, 똑똑하지 않은 사람들처럼 기회가 생기면 사소한 복수를 해요. 예를 들면 이렇습니다.
일하는 말 뒤로 걸어가면 걷어찰 가능성이 높습니다
말을 타고 있으면, 나뭇가지 밑으로 달려 들어가 떨어뜨리려고 합니다
말은 가슴에 띠를 조일 때 숨을 크게 들이쉬고 참습니다. 그러다 숨을 내쉬면 카우보이는 띠를 다시 조여야 하죠. 노련한 카우보이는 말이 포기하고 숨을 쉴 때까지 띠를 당기고 있다가 그때 세게 조입니다
말과 일하려면 내가 주인이고 말도 안 되는 짓은 받아주지 않겠다는 걸 알려 줘야 합니다
와, 말에 대해 아는 게 별로 없는 사람으로서 전혀 몰랐네요.
이건 환상이고, 미국 남부에서 인간 노예제를 정당화하던 논리와 소름 끼칠 만큼 비슷합니다.
개가 추상적인 '자유'라는 개념을 갖고 있는지는 알 수 없지만, 울타리에서 탈출하는 행동은 분명히 보입니다. 이는 개가 인생에서 주어진 처지를 그냥 좋아한다는 주장과 어긋납니다.
그런데 개가 (법적으로 보면) 자신을 소유한 사람에게서 반복해서 탈출해도 우리는 "저 개는 자기가 하게 된 일이나 사는 곳이 분명히 마음에 안 드는구나"라고 말하지 않습니다. 그런데 왜 도망가지 않는 개들은 그 반대를 정당화하는 데 쓰입니까? 그들의 행동이 당신의 관점에 맞을 때만 의미 있게 취급하고 있는 겁니다.
"아무도"라는 말이 꽤 무거운 짐을 지고 있네요. 그리고 다시 한번, 종을 바꿔 보세요...
"저는 이 관계에 동의합니다"라고 말할 수 있는 개가 생기면 그 비유가 성립하겠죠.
그때까지는 BDSM이 아닙니다. 지하실에 여자를 묶어 놓고는 그녀가 괜찮아한다고 우기면서 증거는 내놓지 못하고, 자기는 여자가 좋아하는지 알 수 있다고 하는 어떤 남자일 뿐이죠...
물론 행복한 개도 많습니다. 하지만 그렇지 않은 개도 많고, 우리는 법적으로 그 개들을 신경 쓰지 않습니다. 도덕적으로도 신경 쓰지 않는 사람이 많으니, 기계 지능이 행복하지 않을 때 우리가 함께 그 신호를 알아보고 도덕적으로 대응하려 할지 의심스럽습니다.
저는 이 주제에서는 늘 콘웨이의 생명 게임이 떠올라요. 콘웨이 본인은 자기 발명품을 그렇게 대단하게 생각하지 않은 것 같지만, 저한테 이건 단순한 규칙에서 거의 무엇이든 창발할 수 있다는 것을 가장 이해하기 쉽게 보여 주는 증거예요. 심지어 생명 게임 자체까지도요 [0]. 1994년(!) 작품인 그렉 이건의 『퍼뮤테이션 시티』 [1]의 토대(라기보다 중요한 주제)이기도 하고요. 이 사람은 시대를 정말 앞서갔어요. 저는 이 사람과 테드 창이 제일 좋아하는 작가예요.
이런 걸 보고 있으면 우주의 영혼을 들여다보는 기분이 들어요.
[0] https://oimo.io/works/life/
[1] https://en.wikipedia.org/wiki/Permutation_City
어릴 때 BEAM 로보틱스를 만지작거리며 놀았습니다. 보통 주워 온 부품으로 만든 아주 단순한 반응형 회로에서 출발하는 설계 철학이에요. 설계에서 여러 변수가 미치는 영향을 이렇게 하나씩 분석해 보여 주는 글을 보니 반갑네요.
https://en.wikipedia.org/wiki/BEAM_robotics
어릴 때 갖고 놀던 BIO 버그가 생각나네요.
http://solarbotics.net/BIOBugs/default.htm
마크 틸든이 이 장난감과 로보사피엔 같은 여러 제품 뒤에 있던 엔지니어입니다.
로봇 공학 법칙에 대해 흥미로운 해석을 내놓았어요.
1 - 로봇은 무슨 수를 써서든 자신의 존재를 보호해야 한다.
2 - 로봇은 자신의 동력원에 접근할 수 있어야 하며 그 접근을 유지해야 한다.
3 - 로봇은 더 나은 동력원을 끊임없이 찾아야 한다.
https://en.wikipedia.org/wiki/Laws_of_robotics#Tilden's_laws