마커스 드 사토이 지음 / 북라이프
이 책은 창조력이라는 것이 무엇인지 그 본질을 고찰한다. 저자는 풍부한 인문 예술 지식과 자료 조사를 바탕으로 ‘인공 지능’과 ‘창조력’이라는 키워드를 가지고 인간 존재의 본질적 의미를 탐구해 나간다. 이를 통해서 과장되거나 부풀리지 않은 진짜 인공 지능의 창조력을 파악하게 하고. 아울러 ‘스스로 생각하는 기계(AI)’와 그들의 창조자인 인간이 현명하게 공생하는 방법까지 생각하게 한다.
창조력 코드
▣ 저자 마커스 드 사토이
옥스퍼드 대학교 수학과 교수이자 영국 왕립학회 회원이다. 그룹이론 분야를 연구하며 2001년에는 런던 수학협회가 40세 미만 수학자가 이룬 가장 뛰어난 수학 연구에 수여하는 베릭 상을 수상했다. 2008 년 동물 행동학자 리처드 도킨스의 뒤를 이어 과학대중화사업의 책임을 맡아 시모니 석좌교수로 부임 했다. 이후 2009년에 과학대중화에 앞장선 공로로 영국 왕립학회에서 수여하는 패러데이 상을, 2010 년에는 영국 왕실로부터 대영제국훈장(OBE)를 받았다. BBC 방송국의〈수학이야기〉시리즈와 수학 코미디 쇼〈골치 아픈 학교〉등 다양한 교양과학 프로그램에 출연하고 로렌 차일드의 첩보 소설 『루비 레드포트』에 나오는 암호를 만드는 등 과학의 매력을 널리 알리기 위한 다양한 활동을 꾸준히 이어 오고 있다. 저서로는 『대칭』, 『넘버 미스터리』, 『소수의 음악』, 『내 생애 한 번은, 수학이랑 친해지기』, 『우리가 절대 알 수 없는 것들에 대해』가 있다.
▣ Short Summary
인간에게는 상상하고 혁신하는, 인간 존재의 의미를 높이고 넓히고 바꾸는 예술 작품을 창조하는 특별한 능력이 있다. 그래서 우리는 모차르트의 진혼곡을 들으며 자신의 죽음에 대해 깊이 생각하고,〈오셀 로〉공연을 보면서 사랑과 질투라는 감정 세계를 탐색할 기회를 얻는다. 그런데 이런 예술 작품은 ‘인간 코드’라 할 수 있는 인간다움에서 비롯된 일종의 코드가 발현된 결과물이라 여겨져 왔다. 예술의 영역 에서뿐만이 아니라 건축, 요리, 스포츠, 심지어 가장 이성적이라 여겨지는 수학에서도 창조력의 발휘에 대한 우리의 태도는 동일했다. 그렇다면 기계도 창조의 영역에 도전할 수 있는 걸까?
이 책은 창조력이라는 것이 무엇인지 그 본질을 고찰한다. 저자는 풍부한 인문 예술 지식과 자료 조사를 바탕으로 ‘인공 지능’과 ‘창조력’이라는 키워드를 가지고 인간 존재의 본질적 의미를 탐구해 나간다. 이를 통해서 과장되거나 부풀리지 않은 진짜 인공 지능의 창조력을 파악하게 하고. 아울러 ‘스스로 생각하는 기계(AI)’와 그들의 창조자인 인간이 현명하게 공생하는 방법까지 생각하게 한다.
저자는 알고리즘의 작동 원리와 수학적 기본 원칙을 알려 주는 데서 시작한다. 그러면서 예술에 대한 우리의 감정 중 어느 정도가 우리의 뇌가 패턴과 구조에 반응한 결과인지, 또 수학, 미술, 문학, 음악 이라는 다양한 예술 영역에서 ‘창조적’이라는 것의 진짜 의미는 도대체 무엇인지 그 답을 찾아간다.
그리고 기계가 독자적인 의식을 얻기 전까지는 기계의 창조력이 발현된 예술 작품이 아무리 정교하다 해도 그것은 인간의 창조력을 확장하는 도구에 불과할 것이지만, 인류가 언젠가 실제 의식을 가진 기계 문명을 발명하면 그들의 의식이 우리의 것과 다를 것인데, 바로 그때 기계가 만든 예술 작품을 통
- 2 - 창조력 코드
해 우리는 그들과 교류할 수 있을 것이라 말한다. 또 이를 통해 우리의 통제를 벗어나 끊임없이 확장해 나가는 인공 지능의 의식 세계에 대한 막연한 두려움에서도 벗어날 수 있을 것이라 역설한다.
▣ 차례
제1장 기계가 정말 창조적일 수 있을까?; 러브레이스 테스트제2장 창조력 창조하기제3장 제자리에, 준비, 출발(go)!
제4장 알고리즘, 현대 생활의 비법제5장 하향식에서 상향식으로제6장 알고리즘의 진화제7장 수학으로 그림 그리기제8장 대가에게 배우기제9장 수학이라는 예술제10장 수학자의 망원경제11장 음악, 그 아름다운 수학의 멜로디제12장 작곡에도 공식이 있다면제13장 딥매시매틱스제14장 언어 게임제15장 인공 지능이 들려주는 이야기제16장 우리는 결국 교감을 원한다
감사의 말 / 참고문헌 / 찾아보기
- 3 - 창조력 코드
창조력 코드
기계가 정말 창조적일 수 있을까? : 러브레이스 테스트
에이다 바이런은 찰스 배비지가 만든 기계의 핸들을 돌리며 그 기계가 수치를 계산하고 제곱과 세제곱은 물론 제곱근까지 구하는 모습을 지켜보면서 넋을 잃었다. 몇 년 후 러브레이스 백작과 결혼해 에이다 러브레이스가 된 그녀는 배비지의 해석 기관 설계도를 연구하다 그 기계가 한낱 계산기의 범주를 넘어선다는 사실을 깨닫고, 그 기계의 잠재 가능성을 다음과 같이 기록으로 남겼다. “해석 기관은 ‘계 산기’ 따위에 비할 바가 아니다. 그 기계는 독보적이며, 더 흥미로운 생각을 불러일으킨다.”
지금 에이다 러브레이스의 기록은 코드 작성의 최초 사례로 인정받는다. 그 생각의 씨앗은 앨런 튜링, 마빈 민스키, 도널드 미치 같은 개척자들의 업적에 힘입어 오늘날 세계를 휩쓰는 인공 지능 혁명으로 자라났다. 하지만 러브레이스는 기계가 많은 것을 성취할 수 있을지에 대해서는 조심스러웠다. 그녀는 궁극적으로 그 기계에 한계가 있다고, 즉 우리가 입력한 것 이상을 뽑아낼 수는 없다고 믿었다.
이 생각은 오랫동안 컴퓨터 공학의 만트라(mantra)이자, 우리가 직접 통제할 수 없는 무언가를 작동시 키게 될 가능성에 대한 두려움을 막아 주는 보호막이었다. 사람들은 기계에 인공 지능을 부여하는 프로그램을 짜려면 우선 인간의 지능부터 이해해야 한다고 말해 왔다. 우리 머릿속에서 무슨 일이 벌어 지는지는 여전히 수수께끼로 남아있지만, 지난 몇 년 동안 코드를 대하는 새로운 사고방식 또한 등장 했다. 프로그래밍에 대한 하향식 접근에서 컴퓨터가 스스로 계획을 세우게 하려는 상향식 시도로 전환이 일어난 것이다. 알고 보니 지능을 해석하는 일부터 시작할 필요가 없었다. 이제 우리는 알고리즘이 스스로 디지털 세계를 돌아다니며 어린아이처럼 학습하게 할 수 있다. 하지만 기계가 결코 건드리지 못할 것이라 여겨지는 인간 활동 영역이 아직 하나 남아 있다. 그것은 바로 창조력이다.
우리에게는 상상하고 혁신하는 능력, 인간 존재의 의미를 높이고 넓히고 바꾸는 예술 작품을 창조하는 능력이 있다. 그런 작품들은 내가 ‘인간 코드’라고 부르는 것이 표면으로 드러난 결과다. 우리는 창조 력이 인간다움에 의존하는 코드라고 믿는다. 모차르트의 진혼곡을 들으며 우리는 자신의 죽음에 대해 깊이 생각해 볼 수 있다.〈오셀로〉공연을 보면서 사랑과 질투라는 감정 세계를 탐색할 기회를 얻는다.
렘브란트가 그린 초상화는 모델의 외모보다 훨씬 많은 것을 담고 있다. 그러니 어떻게 기계가 모차르트, 셰익스피어, 렘브란트를 대신하거나 그들에게 필적할 수 있겠는가?
물론 인간의 창조력은 예술 이외의 영역에서도 발휘된다. 미슐랭 스타 셰프 헤스턴 블루먼솔의 분자 요리, 네덜란드 스트라이커 요한 크라위프의 축구 기교, 자하 하디드의 곡선미 있는 건축물, 에르뇌 루비크가 발명한 루빅스 큐브, 심지어 ‘마인크래프트’ 같은 게임을 만들려고 코드를 작성하는 일도 인간의 위대한 창조 행위로 보아야 한다. 의외로 창조력은 나의 수학 세계에서도 중요한 부분이다. 몇 시간씩 책상 앞에 앉아 방정식을 생각해 내고 증명을 적어 나가는 원동력은 새로운 무언가를 창조하는 일의 매력에서 나온다. 그런데 ‘창조력’이라는 이 가변적인 말의 진짜 의미는 무엇일까? 그 뜻을 정확히 밝히려 노력해 온 사람들은 보통 세 가지 생각을 중심으로 맴돈다. 창조력이란 새롭고, 놀라우며,
- 4 - 창조력 코드
가치 있는 무언가를 내놓고자 하는 충동이라는 것이다. 사실 그저 새롭기만 한 무언가를 만드는 것은 쉬운 일이다. 나는 컴퓨터가 끊임없이 새로운 대칭적 대상에 대한 제안을 내놓게 할 수 있다. 하지만 만들어 내기 어려운 것은 바로 놀라움과 가치다.
이 책의 과제는 새로운 인공 지능을 극한까지 밀어붙여 그것이 우리 인간 코드의 경이로움과 맞먹거나 이를 뛰어넘을 수 있는지 알아보는 일이다. 창조 충동은 인간과 다른 동물을 구별 짓는 핵심 요소임에도 우리는 종종 그 충동을 억누르며 틀에 박힌 생활의 노예가 되는 오류를 범한다. 창조적으로 살기 위해서는 일상의 평탄한 길에서 벗어나게 할 충격이 필요하다. 바로 거기서 기계가 도움이 될지도 모른다. 어쩌면 기계가 우리에게 충격을 주고, 새로운 제안을 하고, 우리가 매일 똑같은 알고리즘을 되풀 이하는 것을 막아 줄지도 모른다. 결국 기계가 우리 인간이 보다 덜 기계처럼 행동하도록 도와줄지도 모르는 것이다.
왜 수학자인 내가 당신을 이 여행에 초대하는지 물을 수 있겠다. 간단히 답하면 인공 지능, 기계 학습, 알고리즘과 코드는 본래 모든 수학과 관련이 있기 때문이다. 이 여행을 떠나려는 데는 또 다른, 좀 더개인적인 이유도 있다. 나는 그야말로 실존적 위기를 겪고 있다. 인공 지능 분야의 새로운 개발품들이 쏟아져 나오다 보니, 나는 수십 년 후에도 수학자란 직업이 인간에게 남아있을지 궁금해졌다. 수학은 수와 논리를 다루는 분야다. 그런데 사실 이는 컴퓨터가 누구보다 잘하는 일 아닌가?
이 분야에서 한자리 차지하기 위해 문을 두드리고 있는 컴퓨터에 맞서 반론을 펴자면 수학은 수나 논리와 밀접히 연관되어 있지만, 한편으로는 매우 창조적인 분야로, 아름다움이나 미학과도 관련이 있다.
그래서 수학을 제대로 연구하려면 논리력과 이성뿐 아니라 직관력과 예술적 감수성도 꼭 필요하다. 에이다 러브레이스가 보여 주듯 수학자는 배비자의 성향뿐 아니라, 바이런의 성향도 어느 정도 필요하다.(러브레이스의 결혼 전 성에서 알 수 있듯 그녀는 시인 바이런의 딸이다.)
한편 러브레이스는 기계에 한계가 있다고 생각하긴 했지만, 기계를 숫자 외의 다른 영역에도 적용할수 있다는 점 또한 다음과 같이 알아차렸다. ‘그 기계는 수 외의 것을 기반으로 작동할 수도 있을 것이다. (…) 가령 음들 간의 화성ㆍ작곡학적 기본 관계를 그런 식으로 표현하고 변환할 수 있다면 그 기계는 특정한 복잡성이나 규모를 갖춘 정교하고 과학적인 음악을 만들 수 있을 것이다.’ 그러나 러브레이 스는 어떤 창조 행위든 기계가 아닌 코드 작성자의 책임이라고 믿었다. 그런데 그 책임을 코드가 좀더 부담하게 할 수 있을까? 현세대 프로그래머들은 가능하다고 믿는다.
널리 알려져 있다시피 인공 지능의 여명기에 앨런 튜링은 컴퓨터의 지능을 평가하는 ‘튜링 테스트’를 제안했다. 나는 이제 ‘러브레이스 테스트’라는 새로운 테스트를 제안하고 싶다. 러브레이스 테스트를 통과하려면 알고리즘이 정말 창조적인 무언가를 만들어 내야 한다. 게다가 그 창조의 과정이 재현 가능해야 하고(하드웨어 오류로 우연히 생긴 결과가 아니어야 하고), 프로그래머는 알고리즘이 결과물을 어떻게 만들었는지 설명할 수 없어야 한다. 우리는 기계에서 새롭고 놀라우며 가치 있는 무언가를 내놓으라고 요구하고 있는 것이다. 기계가 정말 창조적이라고 인정받으려면 코드 작성자나 데이터 세트 구축자의 창조력이 표출된 것 이상의 결과물이 있어야 한다. 에이다 러브레이스는 이 문제를 아무도 해결하지 못할 것이라고 믿었다. 그녀의 생각이 과연 옳은지 이제부터 살펴보자.
- 5 - 창조력 코드
창조력 창조하기
나는 왕립 학회의 위원회에서 기계 학습이 향후 몇 십 년간 사회에 미칠 영향을 가늠하던 중에 인지 과학자 마거릿 보든의 이론을 처음 접했는데, 창조력에 대한 그녀의 생각은 기계의 창조력을 탐구하거나 평가하기에 가장 적절해 보였다. 보든은 수십 년간 철학, 심리학, 의학, 인공 지능, 인지 과학 등의 여러 분야를 융합한 독창적 사상가다. 이제 80대로 백발을 흩날리지만 여전히 명민하며 ‘깡통’(보든이 컴퓨터를 가리킬 때 즐겨 쓰는 별칭)의 잠재 가능성을 탐색하는 일에 푹 빠져 있다. 탐색 과정에서 보든은 인간의 창조력을 다음과 같이 세 종류로 구분했다.
첫째, ‘탐구적’ 창조력이다. 이는 이미 존재하는 어떤 영역의 가장자리를 탐구하며 기존 규칙에 따르되 실현 가능한 일의 범위를 확장하는 능력이다. 수학에서는 이런 종류의 창조력을 십분 활용하는데, 유한단순군(finite simple group)의 분류는 탐구적 창조력의 역작 중 하나다. 한편 보든은 ‘탐구’가 인간의 창조 행위 중 97퍼센트를 차지한다고 보는데, 이것은 컴퓨터가 무척 잘하는 종류의 창조이기도 하다.
패턴이나 규칙을 극한까지 밀어붙이는 것은 계산을 인간 뇌보다 훨씬 많이 수행할 수 있는 계산 기계에 안성맞춤인 일이다. 그런데 그 정도면 충분할까?
둘째 종류의 창조력은 ‘접목’과 관련이 있다. 한 예술가가 서로 다른 두 개념을 접목하는 상황을 상상해 보라. 한 세계를 지배하는 기존의 규칙이 다른 세계의 흥미로운 새 틀을 제시해 주는 경우도 많다.
접목 역시 수학적 창조력의 영역에서 강력한 도구가 된다. 우주의 가설적 형태를 설명하는 푸앵카레 추측의 최종 해법은 면 위의 흐름을 이해하기 위한 도구를 응용한 결과였다. 예술 분야도 이런 식의 교류로 많은 덕을 보았다. 필립 글래스는 라비 샹카르와 함께 작업하면서 얻은 아이디어를 활용해 본인의 미니멀리즘 음악에서 핵심 요소인 부가 기법을 창안했다. 자하 하디드는 자신의 건축 지식을 러시아 화가 카지미르 말레비치의 순수 도형과 접목해 곡선미 있는 독특한 건축 양식을 창안했다.
보든이 말하는 셋째 종류의 창조력은 좀 더 신비롭고 난해한 ‘변혁적’ 창조력이다. 이 창조력은 일의 흐름을 완전히 바꿔 놓는 보기 드문 순간을 설명해 준다. 어떤 예술 형식이든 이러한 변혁기가 있다.
피카소와 입체주의, 쇤베르크와 무조성, 조이스와 모더니즘을 생각해 보라. 이는 상(相)변화, 즉 물이 액체 상태에서 기체 상태로 바뀌는 수준의 변화와 비슷하다.
그런데 그 변혁의 순간은 게임 규칙을 바꾸거나 이전 세대가 조건으로 삼았던 가정(假定)을 버리는 일에 좌우되는 경우가 많다. ‘어떤 수는 제곱하면 양수가 된다.’ ‘분자는 모두 길쭉한 사슬 모양을 띨 뿐고리 모양을 띠진 않는다.’ ‘곡은 반드시 화성적 음계 구조 안에서 만들어야 한다.’ ‘얼굴에서 눈은 코의 양옆에 있다.’ 언뜻 보면 이런 고정관념에서 벗어나는 과감한 변화는 프로그램화하기 어려울 것 같지만, 이런 종류의 창조력에는 메타 규칙(meta-rule, 충돌 해결 전략을 제시하거나 규칙을 필터링하는데 사용할 수 있는 메타 수준의 지식을 포함하고 있는 규칙)이 있다. 먼저 제약을 버린 다음 무엇이 나타나는지 보는 것이다. 예술 활동이나 창조 행위에서 새롭고 가치 있는 결과물을 얻으려면 무엇을 버려야 할지, 혹은 어떤 참신한 제약을 도입해야 할지 정해야 한다.
그런데 창조력은 학습 가능할까? 창조력을 기계에 프로그래밍할 수 있을까? 다시 말해 창조력이 후천 적으로 습득하는 기술일 가능성도 있을까? 교육이나 프로그래밍은 기존의 것을 모방하는 법을 가르쳐 주는 일인데, 모방이나 규칙 준수는 창조력과 양립할 수 없다고 말하는 사람도 있을 것이다. 하지만
- 6 - 창조력 코드
주변에는 저마다 기술을 배우고 익히며 갈고닦은 창조적인 사람이 무수히 많다. 그들의 행동을 살펴보면 우리도 그들을 본받아 언젠가는 창조적인 사람이 될 수 있을까? 매번 새로운 학기가 시작될 때마다 나는 위와 같은 의문을 품는다. 수학 박사 과정의 학생들이 학위를 받으려면 새로운 수학 개념을 창안 해야 하기 때문이다. 내가 학생들에게서 창조력을 끌어내는 비법은 보든이 식별한 창조력의 3유형에 근거한다. 탐구는 가장 뻔한 방법일 것이다. 먼저 우리가 현 위치에 이른 과정을 이해한 다음 지평을 조금 더 넓히는 방식이다. 이를 위해서는 지금껏 창조해 온 것을 깊이 파고들어야 한다. 그런 깊은 이해 속에서 전에 한 번도 본 적 없는 무언가가 나오기도 한다. 또한 창조 행위를 수반하는 대변혁은 그다지 자주 일어나지 않는다는 사실을 학생들에게 명심시키는 것이 중요하다.
접목적 창조력은 새로운 생각을 불러일으키는 데 효과적인 수단이다. 종종 학생들에게 자기가 씨름하는 문제와 무관해 보이는 분야의 세미나에 참석하거나 논문을 읽어 보라고 권한다. 동떨어진 수학 영역 분야에서 빌려 온 사고방식이 당면 문제와 부합하면서 새로운 생각을 불러일으킬 수도 있다.
언뜻 보면 변혁적 창조력은 전략으로 이용하기 어려울 것 같다. 하지만 앞서 말했듯 취지는 기존 제약중 일부를 버려 현 상태를 시험해 보는 것이다. 자기 분야에서 체계의 일부로 받아들였던 기본 규칙 가운데 하나를 바꾸면 어떤 일이 일어나는지 주시해 보라. 물론 이는 위험한 순간이다. 체계를 무너뜨릴 수도 있기 때문이다. 하지만 여기서 창조력을 키우는 데 필요한 가장 중요한 요소를 이야기해야겠다. 바로 실패를 기꺼이 받아들이려는 태도다. 우리는 실패에서 많은 것을 배운다. 학생들에게 나는 사뮈엘 베케트가 남긴 말을 누누이 전하곤 한다. “실패하고, 또 실패하고, 더 낫게 실패하라.”
이런 전략들을 코드로 변환할 수 있을까? 이전까지 통용되었던 코딩에 대한 하향식 접근법에서는 코드가 독창적 결과를 내놓을 가망이 거의 없었다. 프로그래머들은 자기가 만든 알고리즘이 내놓은 어떤 결과에도 놀라지 않았다. 그 결과에는 실험이나 실패의 여지가 전혀 없었던 셈이다. 하지만 상황은 달라졌다. 실패에서 무언가를 배우는 코드에 기반을 둔 어느 알고리즘이, 새로울 뿐만 아니라 개발자에 게도 충격적이며 대단히 가치 있는 일을 해냈기 때문이다. 그 알고리즘은 많은 사람이 기계가 절대 마스터할 수 없다고 믿었던 게임에서 승리했다. 반드시 창조력이 발휘되어야만 하는 게임이었다. 바로 이러한 획기적 발전이 내가 최근에 수학자로서 실존적 위기를 겪게 된 계기이기도 하다.
알고리즘의 진화
요즘의 알고리즘은 끊임없이 학습한다. 특히 우리가 보고 읽고 들을 거리 선별을 믿고 맡기는 추천 알고리즘은 더욱더 그렇다. 새로운 이용자가 알고리즘과 상호 작용하며 자신의 취향을 알려 주면, 알고 리즘은 다음 이용자에게 적용할 추천 방식을 개선하는 데 도움이 되는 학습 데이터를 새로 얻게 된다.
나는 그런 알고리즘 중 하나를 시험적으로 사용하면서 알고리즘이 내 취향을 얼마나 잘 파악하는지 확인해 보고 싶었다. 그래서 엑스박스 키넥트 알고리즘을 살펴보려고 마이크로소프트 케임브리지 연구소에 들렀을 때 동료를 찾아가 추천 알고리즘의 실시간 학습 과정을 지켜보았다.
그곳에서 내가 접한 그래픽 인터페이스는 영화 200편 정도가 무작위로 배열된 형태였다. 그중 마음에 드는 영화가 있으면 해당 아이콘을 화면의 오른쪽 영역으로 끌어다 놓아야 했다. 전에 재미있게 봤던 영화 몇 편이 눈에 띄었다. 나는 웨스 앤더슨의 열혈 팬이어서 〈맥스군 사랑에 빠지다(Rushmore)〉를
- 7 - 창조력 코드
오른쪽에 끌어다 놓았다. 그러자마자 화면의 영화들이 재배열되기 시작해 몇 편의 영화가 오른쪽으로 이동했다. 알고리즘이 생각하기에 내가 좋아할 것 같은 다른 영화들이었다. 내가 좋아하지 않을 만한 영화들은 왼쪽 영역으로 이동했다. 아직은 판단의 근거로 삼을 것이 한 편뿐이다 보니 대부분은 계속 가운데 미확정 영역에 모여 있었다. 내가 아주 싫어하는 영화도 보였다. 나는 〈오스틴 파워〉를 보면 정말 짜증이 나서 그 아이콘을 왼쪽으로 치워 버렸다. 판단 근거로 삼을 영화가 늘어나자 다른 몇 편의 영화가 각각 왼쪽과 오른쪽으로 이동했다. 추천 내용에 대한 알고리즘의 자신감이 커졌다는 것을알 수 있었다. 이제 우디 앨런의 〈맨해튼〉이 내가 좋아할 만한 영화로 추천되었다. 이를 인정하자 추천 내용이 아주 조금 달라졌다. 그런데 가만 보니 알고리즘은 내가 〈이것이 스파이널 탭이다〉도 좋아할 거라고 생각하는 듯했다. 그 아이콘은 오른쪽으로 한참이나 이동해 있었다. 하지만 그 영화는 딱질색이라서 아이콘을 화면 왼쪽으로 끌고 가 치워 버렸다. 결국 알고리즘은 내가 〈이것이 스파이널 탭이다〉를 좋아하리라고 예상했기 때문에 나의 부정적 반응에서 많은 것을 배웠다.
새로운 정보를 계산에 포함하자 화면상의 영화 배열 상태가 급격히 달라졌다. 그런데 잠시 후 알고리 즘을 구동하는 메타알고리즘에서 좀 더 미묘한 변화가 일어났다. 메타알고리즘은 내게 받은 데이터에서 무언가를 새로 배워 추천 알고리즘의 매개 변수를 조금씩 바꾸었다. 내가 〈이것이 스파이널 탭이 다〉를 좋아할 확률이 너무 높게 잡혀 있다는 판단 하에 그 확률을 낮추려고 매개 변수를 조정한 것이다. 메타알고리즘은 전에 웨스 앤더슨과 〈맨해튼〉의 다른 팬들에게서 그들이 대체로 이 영화도 좋아 한다는 것을 배웠지만, 이제 누구나 다 그렇지는 않다는 것을 깨달았다. 역동적인 알고리즘은 바로 이런 식으로 상호 작용하면서 계속 무언가를 배우고 우리의 호불호에 적응해 나간다. 이런 알고리즘은 영화나 음악, 책, 배우자에 이르기까지 오늘날 우리가 살면서 하는 수많은 선택에 영향을 미친다.
새로운 상황에 맞춰 변화하며 적응하는 이 능력에 대한 개념은 알파고를 만들 때도 쓰였다. 딥마인드 팀은 알파고를 개발하는 과정에서 얼마간은 지도 학습이란 방법을 썼다. 이는 마치 어른이 자기가 이미 습득한 각종 기술을 아이가 잘 배우도록 도와주는 것과 같다. 인간은 지금까지 바둑을 많이 두었고 대국 내용은 온라인상에 디지털 데이터로 기록되어 왔다. 이 데이터는 알고리즘이 샅샅이 훑어보며 승자가 어떤 수로 우위를 차지했는지 알아낼 수 있는 굉장한 자료다. 방대한 기보 데이터베이스 덕분에 알고리즘은 특정 형세에서 각 조치가 승리로 이어질 확률이란 개념을 확립할 수 있었다. 그 정보의 양은 각 대국에서 나타날 수 있는 온갖 경우의 가짓수를 고려해 보면 결코 많은 편이 아니지만 경기를 풀어 나가는 좋은 기반이 된다. 물론 알고리즘이 맞붙을 상대가 데이터 속 패자의 전철을 그대로 밟지 않을 수도 있기 때문에 그 데이터 세트를 이용하는 것만으로는 충분하지 않을 터였다.
강화 학습이라는 둘째 단계는 알고리즘이 우위를 차지할 수 있게 만든 방법이다. 이 단계에 접어든 알고리즘은 자신과 대국하기 시작하여 매번 자신이 만들어 낸 새로운 대국 내용에서 무언가를 배워 나갔다. 이기는 데 도움이 되는 듯했던 특정 조치들이 패배로 이어지자 알고리즘은 그 조치가 승리로 이어질 확률을 수정했다. 이런 강화 학습 과정에서는 막대한 양의 새로운 기보 데이터가 기계적으로 만들 어진다. 그리고 바로 이 자가 대국 과정에서 알고리즘은 스스로의 약점을 파악할 수 있다.
강화 학습의 위험 요소 중 하나는 그 방법이 편협하며 자기 강화적인 방식이 될 수도 있다는 것이다.
기계 학습은 에베레스트산 정상에 오르려는 시도와도 비슷하다. 눈가리개를 한 사람이 자기가 어디로 가는지도 모르는 상태에서 가장 높은 봉우리에 올라가야 할 때 쓸 수 있는 한 가지 방법은 지금 서 있는 곳에서부터 계속 잔걸음을 치며 발을 내딛을 때마다 자기 위치가 더 높아지는지 확인하는 것이다.
- 8 - 창조력 코드
그런 방법을 쓰면 결국 근방에 가장 높은 곳에 이르게 된다. 그리고 꼭대기에서 어느 쪽으로든 조금이 라도 이동하면 자기 위치가 도로 낮아질 것이다. 하지만 그렇다고 해서 골짜기 너머에서 훨씬 더 높은 봉우리를 찾지 못하리라는 법은 없다. 이는 국소최대점과 관련된 문제다. 국소최대점에 해당하는 꼭대 기에 도착하면 자신이 가장 높은 곳에 도달했다고 생각할 수도 있지만, 사실 그곳은 우뚝 솟은 산맥에 둘러싸인 자잘한 언덕에 불과하다. 만약 알파고가 바둑 실력을 최대한 키운 결과가 실은 그런 국소최 대점에 도달한 것에 불과했다면 어떻게 됐을까? 그런데 실제로 그런 일이 일어났던 것 같다. 아마 이세돌과의 대국을 며칠 앞두고 알파고와 대국한 유럽의 고수 판후이가 약점을 발견했을 때가 바로 그런 경우였을 것이다. 하지만 그 알고리즘은 일단 이세돌의 바둑 방식을 새로 접하자 곧 승산을 극대화하기 위해 자신의 조치를 재평가하는 법을 다시 배웠다. 새로운 상대를 만난 덕분에 알파고는 언덕에서 내려와 또 다른 꼭대기에 오르는 방법을 찾아냈다.
딥마인드 팀은 이제 원조 알파고를 완파할 수 있는 훨씬 나은 알고리즘을 가지고 있다. 이 알고리즘은 인간이 바둑 두는 방식을 보고 배울 필요가 없다. 이 알고리즘은 19 x 19 격자 모양을 이룬 픽셀과 점수에 대한 정보만 입력받고서 게임을 시작해 갖가지 조치를 실험했고 그러면서 알파고 개발 과정의 둘째 단계였던 강화 학습의 힘을 활용해 실력을 키워 나갔다. 이는 이른바 ‘타불라 라사’ 학습, 즉 백지 상태에서 시작하는 학습에 가까웠는데, 심지어 딥마인드 팀도 새로운 알고리즘의 엄청난 능력을 보고 깜짝 놀랐다. 그 알고리즘은 더 이상 인간이 생각하고 경기하는 방식에 얽매이지 않는다.
사흘간의 훈련 동안 무려 490만 판의 자가 대국을 치른 그 알고리즘은 이세돌을 꺾었던 버전의 알파 고에 100전 100승을 거두었다. 인간이 3,000년 걸려 해낸 일을 단 3일 만에 해치운 셈이다. 40일째가 됐을 무렵에는 천하무적이었다. 그 알고리즘은 심지어 체스와 일본식 장기 쇼기를 단 여덟 시간 동안 배우고서 두 개의 최상급 체스 프로그램을 이길 만큼 실력을 키워 내기도 했다. 이 무섭도록 다재다능한 알고리즘의 이름은 알파제로(Alpha Zero)다. 이 프로젝트의 수석 연구원 데이비드 실버는 타불라 라사 학습 방식이 다양한 영역에 미치는 영향과 관련하여 다음과 같이 말했다.
‘타불라 라사 학습을 구현할 수 있다면, 바둑에서 그 밖의 어떤 영역으로든 옮겨 심을 수 있는 동인(動 因)을 확보한 셈입니다. 저희는 지금 다루고 있는 영역의 세부 사항에서 벗어나, 보편성이 워낙 높아 어디에나 적용할 수 있는 알고리즘을 만들어 내고자 합니다. 저희가 알파고를 개발한 목적은 기계가 인간을 패배시키는 것이 아니라, 과학을 연구하는 일의 의미를 발견하고, 프로그램 혼자서 지식을 배울 수 있게 하는 것입니다.’
딥마인드의 목표는 ‘지능이 무엇인지 밝혀내고 이를 바탕으로 그 밖의 온갖 문제를 해결하는 것’이다.
그들은 그 일이 순조롭게 풀리고 있다고 믿는다. 그런데 이런 기술은 얼마나 더 발전할 수 있을까? 앞으로 기계가 일류 수학자의 창조력에 필적할 수 있을까? 미술 작품을 만들 수 있을까? 곡을 쓸 수 있을까? 인간 코드를 해독할 수 있을까?
언어 게임
스테일스의 초대를 받고 그의 연구실을 방문했더니, 똑같은 모양의 휴머노이드 로봇 스무 대가 차례차례 거울 앞에 서서 자신이 어떤 자세를 생각해 냈을 때마다 그 자세를 가리키는 단어를 만들어 냈다.
- 9 - 창조력 코드
예를 들면 한 로봇은 왼팔을 옆으로 들어 올려 수평으로 뻗은 다음 그 자세에 이름을 붙였다. 그 로봇 들은 각자 나름대로 갖가지 특정 자세에 대해 자기만의 독특한 어휘를 창조했다. 내가 진심으로 놀라 움을 느꼈을 때는 그 로봇들이 상호 작용을 하기 시작했을 때였다. 한 로봇이 자기 어휘 중에서 어떤 단어를 골라 다른 로봇에게 그 단어에 해당하는 자세를 취해 보라고 했다. 물론 두 번째 로봇은 그 단어의 뜻을 전혀 몰랐다. 그래서 그냥 자기가 아는 자세 중에서 아무것이나 하나를 취해 보았다. 첫 번째 로봇은 두 번째 로봇의 추측이 들어맞은 경우에는 고개를 끄덕여 주었고, 그 추측이 틀린 경우에는 고개를 젓고 해당 자세를 직접 취해서 보여 주었다. 두 번째 로봇도 이미 그 자세를 제 나름대로 명명해 두었을 수 있는데, 그런 경우에는 자기가 만든 단어를 버리지 않고 새로운 단어를 자기 어휘에 추가하기만 했다. 상호 작용을 계속해 나가는 과정에서 그 로봇은 의사소통 성공률에 따라 그런 동의어 들의 상대적 가치를 평가해 소통 실패율이 높은 단어들은 강등했다. 대단한 것은 일주일이 채 지나지 않아 서로 간에 두루 통하는 어휘가 웬만큼 생겨났다는 점이다.
로봇들은 지속적으로 어휘를 갱신하고 학습하면서 자기네만의 언어를 개발했는데, 그 언어는 왼쪽과 오른쪽 같은 추상적 개념을 나타내는 언어들을 포함할 만큼 정교했다. 그런 단어들은 단어와 자세 간의 직접적 연관성을 바탕으로 진화했다. 어떤 수렴 현상이 일어나긴 일어난다는 사실도 신기했지만, 정말 인상 깊었던 것은 일주일 후에 그 로봇들이 자기네끼리만 이해할 수 있는 언어로 소통하고 있었 다는 사실이었다. 그런데 그 언어를 연구자들은 이해하지 못했다. 적어도 자기들이 직접 로봇들과 충분히 상호 작용해 그 새로운 단어를 해독해 내기 전까지는 이해할 수 없었다.
그 실험으로 스테일스는 에이다 러브레이스의 생각이 틀렸음을 멋지게 증명해 보였다. 그는 로봇이 자기들만의 언어를 만들 수 있게 하는 코드를 작성했는데 거기서 새로운 것이 생겨났다. 그 증거는 로봇 말고는 아무도 그들의 공통 언어를 이해하지 못했다는 사실이다. 그 언어를 배우는 유일한 방법은 로봇이 단어별로 특정 자세를 취하는 모습을 일일이 지켜보는 것뿐이었다.
참고로 구글 브레인은 이와 같은 알고리즘의 자체 언어 창조력을 사이버 보안 영역에 적용해 두 컴퓨 터가 제삼자 몰래 대화할 수 있게 하는 새로운 암호화 방법을 개발했다. 예를 들어 이런 상황을 상상해 보자. ‘앨리스’라는 컴퓨터는 ‘밥’이란 컴퓨터에게 비밀 메시지를 보내야 하는데, ‘이브’라는 컴퓨터가그 메시지를 해독하려고 시도하리라는 것을 알고 있다. 이브가 메시지를 해독하지 못하면 앨리스가 점수를 얻고, 이브가 메시지를 해독하면 이브가 점수를 얻는다. 엘리스와 밥은 처음부터 어떤 번호를 공유하는데 이브는 다른 정보에는 얼마든지 접근할 수 있어도 그 번호에는 접근할 수 없다. 그 번호는 앨리스와 밥이 만들 암호를 해독하는 데 열쇠가 될 것이다. 그들의 임무는 그 비밀번호를 알아야만 해독할 수 있는 암어를 만드는 일이다. 처음에는 앨리스의 비밀 메시지들이 쉽게 해독되었다.
그러나 1만 5,000번 정도 대화가 오간 다음에는 거의 밥만 앨리스의 메시지를 해독할 수 있고, 이브는 메시지를 그저 어림짐작하고 있는 게 아닌가 싶을 정도로 저조한 성공률을 보인다. 이브만 그런 차단을 당하는 것도 아니다. 앨리스와 밥이 신경망으로 암어의 매개 변수를 끊임없이 재설정해 자기들의 결정 내용을 바로바로 숨기다 보니, 인간은 심지어 결과 코드를 봐도 그들의 대화 내용을 해독할 수가 없다. 그 기계들은 우리 인간 몰래 자기네끼리만 밀담을 나눌 수도 있는 것이다.
한편 알고리즘이 언어를 처리하고, 프랑스어를 영어로 번역하고, 〈제퍼디!〉문제에 답하고 서술 방식을 파악하는 것을 보면, 인공 지능 분야 전반에 대한 흥미로운 의문이 하나 떠오른다. 우리는 어떤 경우
- 10 - 창조력 코드
에 알고리즘이 자기가 하는 일을 ‘이해’한다고 봐야 할까? 이 문제는 존 설이 고안한 ‘중국어 방’이란 사고 실험의 주제이기도 하다. 가령 당신이 어떤 방에 갇혀 있는데 그곳에 중국어로 된 갖가지 질문과 각각에 대한 적절한 대답이 적힌 응답 지침서가 있다고 해 보자. 방으로 들어온 중국어 문장을 보고 그것과 같은 문장을 지침서에서 찾을 수만 있으면, 당신은 그 말을 전혀 이해하지 못해도 방 밖의 중국어 화자와 꽤 그럴듯하게 대화를 나눌 수 있다. 존 설이 이 실험으로 보여 주려 한 것은 컴퓨터가 어떤 프로그램에 따라 인간의 응답과 다를 바 없는 응답을 내놓더라도 그 기계에 지능이나 이해력이 있다고 볼 수는 없다는 점이었다. 이는 사실상 튜링 테스트에 대한 강력한 반론이다.
그런데 내가 이런저런 말을 할 때 내 마음은 어떤 일을 하고 있는 것일까? 어떻게 보면 나도 어떤 지침을 따르고 있는 셈 아닐까? 컴퓨터의 중국어 이해력 유무를 판가름하는 데 기준이 되는 문턱값 같은 것이 나에게도 존재할 수 있지 않을까? 하지만 적어도 나는 내가 의자에 대해 이야기할 때 스스로 무슨 말을 하는지 알고 있다. 하지만 컴퓨터는 ‘의자’라는 단어를 사용할 때 의자라는 것이 사람들이 걸터앉는 데 쓰는 물체란 사실을 알 필요가 없다. 그 기계는 의자란 단어를 사용해도 괜찮은 경우에 대한 규칙을 따를 뿐인데, 이때 사용된 규칙 준수 능력을 이해력이라고 볼 수는 없다. 사실 의자를 체험해 보지 않은 알고리즘이 ‘의자’란 단어를 제대로 사용하기란 불가능하다. 체화된 지능이라는 개념이 인공 지능 분야의 현 추세에서 특히 중요한 것도 이 때문이다.
어떻게 보면 언어는 우리 주변 환경을 저차원 공간에 투영한 것이다. 카프카도 이렇게 말했다. “언어는 모두 어설픈 번역어에 불과하다.” 의자는 실제로는 모두 천차만별인 존재다. 그러나 언어에서는 하나의 데이터 포인트로 압축된다. 그런데 또 다른 사람이 그 데이터 포인트의 압축을 풀 때면 그 사람이 체험해 본 온갖 의자로 새롭게 해석될 수 있다. 우리는 안락의자, 벤치, 나무 의자, 책상 의자 등 갖가지 의자에 대해 이야기할 수 있다. 그런데 이들 또한 구체적으로 연상시키는 바가 각각 하나씩만 있는 것은 아니다. 널리 알려져 있다시피 비트겐슈타인은 이런 온갖 언어활동을 통틀어 언어 게임이라고 불렀다. 체화되지 않은 알고리즘은 존 설의 중국어 방 같은 저차원 공간에 갇혀 있는 셈이다.
이는 결국 의식의 묘한 속성과 관련된 문제다. 우리는 의식 덕분에 이런 온갖 정보를 하나의 경험으로 통합할 수 있다. 신경 세포 한 개에는 언어에 대한 이해력이 없다. 하지만 그런 세포가 모이고 모이다 보면 어느 순간부터는 언어 이해력이 존재하게 된다. 나라는 존재는 중국어 방에 앉아 지침서를 이용해 중국어 질문에 답할 때 뇌라는 신경 세포 집합체에서 언어 처리를 담당하는 부분과 같은 역할을 하고 있는 것이다. 비록 나는 내가 무슨 말을 하는지 이해하지 못하지만, 어쩌면 그 방, 나, 지침서로 구성된 시스템 전체는 이해력을 갖추었다고 말해도 좋을지 모른다. 뇌를 이루는 것은 중국어 방 세트 전체이지 거기 앉아 있는 나 혼자만이 아니다. 중국어 방에서 나는 컴퓨터의 중앙 처리 장치, 즉 기본 연산을 수행해 소프트웨어의 지시 사항을 따르는 전자 회로와 같은 존재다.
우리는 결국 교감을 원한다
미국의 심리학자 제롬 브루너는 이렇게 말했다. “자아(self)야말로 우리가 만드는 예술 작품 가운데 아마 가장 인상적인 것, 분명 가장 복잡한 것이다.” 곡이든 그림이든 시든 우리가 예술 작품이라고 부르는 것은 자아를 창조하는 과정의 부산물 내지 파생물로 간주될 수도 있을 것이다. 그렇다면 기계가 창조력을 얻지 못하게 막는 근본적 장애물은 역시 기계에 자아가 없다는 점일지도 모른다.
- 11 - 창조력 코드
창조력은 필멸성(mortality)과도 밀접히 관련돼 있는데, 그 또한 인간 존재의 본질적 특성이다. 자기 존재의 의미를 찾지만 종교적 이야기들이 무의미하다고 생각하는 사람 중 상당수는 자신의 유한한 삶보다 오래갈 무언가를 남기고 싶어 한다. 그것은 그림일 수도 있고, 소설일 수도 있고, 수학 정리일 수도 있고, 자식일 수도 있다. 그런 창조 활동은 모두 죽음을 모면하려는 시도일까?
죽음은 우리가 창조 행위를 중요시하는 이유 가운데 하나일지도 모른다. 그러나 데이비드 코프의 작곡 알고리즘이 쇼팽풍의 마주르카를 끝없이 생성해 쇼팽을 불사의 존재로 만든다고 해 보자. 그런다고 우리 기분이 좋아질까? 아마 아닐 것이다. 오히려 진짜 쇼팽의 곡이 가치 없어지는 결과만을 맞이할지도 모른다. 모든 것을 소장하고 있어 결국 아무것도 제공하지 못하는 ‘바벨의 도서관’과 같지 않은가? 중요한 것은 바로 쇼팽이 했던 선택이다. 체스에서 컴퓨터가 연전연승만 하게 되면서 그 게임의 가치도 어느 정도 떨어지지 않았던가? 어쩌면 인간이 체스, 음악, 수학, 그림과 씨름하는 과정이 가치의 원천중 하나인지도 모른다.
우리가 언젠가 죽음이란 수수께끼를 해결해 불사의 인간을 만들어 낸다면, 하루하루가 무의미해져 삶의 가치가 떨어질 것이라고 생각하는 사람이 많다. 우리의 필멸성은 아무튼 중요한 것이다. 필멸성에 대한 자각은 우리가 의식을 얻으면서 치른 대가 중 하나다. 내 아이폰은 2년쯤 지나면 자신이 구식이 되리란 것을 아직 자각하지 못한다. 그런데 그 사실을 자각한다고 해서 기계가 자기 존재의 증거로 무언가를 자발적으로 남겨 보려 할까?
기계는 의식을 얻기 전까진 인간의 창조력을 확장하는 도구에 불과할 수밖에 없다. 우리는 기계의 의식을 만들려면 어떻게 해야 하는지를 조금이라도 알아냈을까? 우리가 깨어 있을 때와 깊은 제4단계 수면을 취하고 있을 때(의식이 가장 미약한 상태) 뇌 신경망의 차이에 대해서는 연구가 어느 정도 이루어졌다. 가장 중요한 차이는 피드백의 질인 듯하다. 깨어 있어 의식이 또렷한 뇌에서는 한 부위가 활성화되면 그 신호가 신경망 곳곳으로 전파되다가 원래의 출발점으로 피드백이 가며, 이런 과정은 되풀이된다. 마치 이런 피드백으로 우리 경험이 갱신되는 듯하다. 하지만 수면 중인 뇌에서는 그런 피드백 없이 부분 부분만 활성화된다. 한동안 침체돼 있던 인공 지능 분야에 돌연 활기를 불어넣은 기계 학습 알고리즘은 상호 작용으로 무언가를 배우므로 그런 피드백 작용을 어느 정도 하는 셈이다. 우리는 이미 인공 지능이 의식을 얻어 정말 창조적인 존재가 될 미래를 향해 첫발을 내딛은 것일까?
그런데 어떤 기계가 실제로 의식을 얻게 된다면 어떨까? 우리가 그것을 어떻게 알 수 있을까? 그 의식은 우리의 의식과 비슷할까? 언젠가 우리가 의식이 있는 기계를 만들지 못하라는 법은 없다. 하지만 우리가 성공을 거뒀을 때 나타난 기계의 의식은 아마도 우리의 의식과 사뭇 다를 것이다. 그리고 분명히 그 기계는 자신에 대해 우리에게 알려 주고 싶어 할 것이다. 바로 그때 창조적 예술이 진가를 발휘해 기계와 인간이 서로의 기분을 이해할 수 있게 해줄 것이다.
이야기가 인간 사회를 결속시키는 데 매우 효과적인 정치적 도구라면, 기계가 의식을 얻게 된 상황에서 이야기 공유 능력이야말로 흔히들 상상하는 인공 지능 디스토피아의 도래를 막아 줄지도 모른다. 9 ㆍ11 테러에 대한 소설가 이언 매큐언의 반응을 상기해 보면 마음에 와 닿는 바가 있다. 그 사건 직후 〈가디언〉에 실은 글에서 그는 다음과 같이 우리가 진보하는 데 공감이 중요하다는 점을 강조했다.
‘납치범들이 승객들의 생각과 기분을 헤아릴 수 있었더라면 차마 속행하지 못했을 것이다. 상대방의 처지에서 생각해 보고 나면 잔인하게 굴기 힘들어진다. 누군가의 기분을 헤아리는 것은 인간다움의 핵
- 12 - 창조력 코드
심이다. 이것은 동정심의 본질이요, 도덕의 출발점이다.’
자신의 의식 세계를 이야기로 남들과 공유하는 능력은 인간 고유의 특성이다. 다른 생물은 그런 일을 하지 못할 것이다. 기계가 의식을 얻게 됐을 때 기계에 공감 능력을 심으면, 우리가 지어낸〈터미네이 터〉이야기 같은 인공 지능 디스토피아적 미래상이 구현되지 않도록 막을 수 있을지도 모른다. 스토리 텔링 알고리즘 셰에라자드-아이에프의 주요 개발자 마크 리들은 그 알고리즘이 스스로 마련한 대안으로 이상하고 비인간적인 선택지로 나아가지 않는다는 데 감탄했다. 그 알고리즘은 인간의 스토리 텔링 방식에서 무언가를 배웠다. “최근 우리가 밝혀낸 바에 따르면, 이야기로 훈련한 인공 지능은 아주 극단 적인 상황만 아니면 정신 이상자처럼 굴지 않는다. 따라서 스토리텔링 알고리즘은 변절한 ‘악질 인공 지능’이 세상을 지배하면 어쩌나 하는 걱정을 덜어 줄지도 모른다.”
혹시 인공 지능이 인간 지능을 뛰어넘게 된다면, 인류의 운명은 인간과 의식 있는 기계가 서로 얼마나잘 이해하느냐에 따라 결정될 것이다. 비트겐슈타인은 다음과 같이 말했다. “사자가 말을 한다 해도 우리는 그 말을 알아듣지 못할 것이다.” 기계도 마찬가지다. 기계가 의식을 얻게 되더라도 인간은 그 의식을 처음부터 이해하지는 못할 것이다. 우리가 기계의 코드를 풀고 기계의 기분을 느껴 보려면 결국 기계의 그림, 곡, 소설, 수학 지식 같은 창조적 결과물을 이용하는 수밖에 없을 것이다.
- 13 - 창조력 코드
'책,영화,리뷰,' 카테고리의 다른 글
코로나 이후 사야 할 주식 (0) | 2020.08.10 |
---|---|
컨셔스 (0) | 2020.08.10 |
지적교양 지적대화 걸작 문학작품 속 명언 600 (0) | 2020.08.10 |
전쟁의 미래 (0) | 2020.08.10 |
인생은 장사다 (0) | 2020.08.10 |