글의 제목을 '환원주의(Reductionism)의 약점' 따위로 지으니까 아무도 안 들어오는 것 같고, 내가 구글링을 해보니 내 블로그가 심지어 검색도 되지 않는다는 것을 알았다. 유입을 늘리려면 이미지를 많이 업로드 해야하지 않을까 하는 생각이 든다.
아무튼 이번 글에서는 환원주의의 약점에 대해 생각해보기로 한다. 환원주의란 과학 분야에서 널리 쓰이는 용어로, 어떤 현상이나 사물을, 그것을 구성하는 더 작은 요소들과 그들의 상호작용으로 설명 및 이해하려는 노력을 말한다. 이는 매우 유용하며 어떤 과학이나 공학 분야를 전공한다고 하더라도 잊어서는 안 될 철학이라고 나는 생각한다.
과학자들은 몇 백 ~ 몇 천년 동안 세상을 이해하기 위해 물질을 분해했다. 계속 작게 나눈 결과 세상 모든 물질은 단 100여개의 원소로 구성되어 있다는 놀라운 사실을 밝히기도 하였고, 그것 조차 단 몇십개의 아원자로 이루어져 있다는 것을 밝혀냈다. 이에 따라 열, 물성, 운동, 빛, 전기, 자기 등을 통일적인 관점에서 이해할 수 있게 되었다. 심지어 과학자들을 세상에 존재하는 다양한 힘을 단 4가지(중력, 전자기력, 강력, 약력)로 환원할 수 있다는 것도 밝혀냈다.
이러한 환원주의적 접근은 물리학 뿐만 아니라 생물학에도 그대로 적용되었다. 생물은 전부 세포라는 구성 단위로 이루어져 있으며, 세포는 세포 소기관, 세포 소기관은 고분자 물질과 단백질로 이루여져 있으며, 생물의 유전 현상은 DNA라는 거대한 물질로 설명 가능하며 모든 생물은 이를 가지고 있다는 것도 밝혀냈다.
환원주의적 접근은 원칙적으로는 매우 바람직하지만, 단점도 있다. 어떤 대상이나 현상의 구성요소들의 상호작용이 너무 복잡할 경우 거시적으로 관찰되는 현상을 유도해내기 너무 어렵다는 것이다. 심지어 그 상호작용이 매우 단순하다 할지라도 구성요소의 숫자가 증가하면 그 상호작용만으로 거시적 현상을 이해하기란 쉽지 않다.
가령 열역학의 기본 원리로부터 이상기체 상태 방정식인 PV=nRT를 유도해내거나, 만유인력의 법칙과 F=ma로부터 행성의 운동궤도를 이해하는 것은 비교적 쉬운 일일 수 있다. 그러나 오비탈 이론으로 물이 왜 투명한지, 또는 알루미늄의 온도를 계속 낮추다 보면 전기저항이 왜 ~0이 되는지를 설명하는 것은 그리 쉬운 일이 아니다.
따라서 때로는 환원주의적인 bottom-up 접근도 좋지만 너무 어렵다면 우선 충분한 top-down 접근을 통해 현상의 많은 특성을 정리하는 것도 중요하다.
그럼 뉴럴 네트워크 이야기를 잠시 해보자. 딥 뉴럴 네트워크는 신경망을 많이 쌓아 계층적으로 특징을 추출하는 방법을 배움으로써 많은 컴퓨터 비전 문제에 좋은 성능을 보여주었다. 그러나 뉴럴 네트워크가 어떤 출력을 내었을 때, 왜 그런 출력을 냈는지 설명하기 힘들다는 비판을 많이 받아왔다. 즉 뉴럴넷과 같은 blackbox 모델은 성능이 좋다고 하더라도, 해석 가능성이 떨어진다면 작동에 편향이 존재할지도 모르고, 오작동을 할 경우에 디버깅이 어렵기 때문에, 채용, 금융, 의학 등의 분야에 적용하기에는 한계가 있다는 것이다.
이에 따라 뉴럴 네트워크가 학습하는 것이 무엇인지, 어떤 layer에서 무엇을 학습하는지 등을 이해하려는 노력들이 있어왔다. 주로 뉴럴 네트워크의 필터나 activation map을 시각화 하는 느낌으로 진행되었다 [1]. Explainable AI라는 주제로 일부 연구가 진행되고 있으나 아직 큰 성과가 있었다고 보기는 어렵다는 것이 나의 생각이다. 그러나 결과적으로 뉴럴넷의 작동에 대한 신뢰를 얻기 위해서는 각 뉴런과 파라미터의 상호작용에 기반한 bottom-up 방식의 이해가 필요하지 않을까 생각해본다.
그럼 20000.
2019년 12월 4일 인천 집에가는 KTX 안에서..
[1] Matthew D Zeiler, Rob Fergus, Visualizing and Understanding Convolutional Networks, ECCV 2014