마이다스동아일보[동아일보매거진:주간동아 209호]

■이인식의 21세기 키워드 질서와 혼돈 사이

흰개미는 역할에 따라 여왕개미-수캐미-병정개미-일개미로 발육하여, 수만 마리씩 큰 집단을 이루고 살면서 질서 있는 사회를 형성한다.

흰개미는 흙이나 나무를 침으로 뭉쳐서 집을 짓는다. 아프리카 초원에 사는 버섯흰개미는 높이가 4m나 되는 탑 모양의 둥지를 만들 정도다. 이 집에는 온도를 조절하는 정교한 냉난방 장치가 있으며 애벌레에게 먹일 버섯을 기르는 방까지 갖추고 있다.

개개의 개미는 집을 지을 만한 지능이 없다. 그럼에도 흰개미 집합체는 역할이 상이한 개미들의 상호작용을 통해 거대한 탑을 만들었다. 이와 같이 하위수준(구성요소)에는 없는 특성이나 행동이 상위수준(전체구조)에서 자발적으로 돌연히 출현하는 현상을 창발(創發·emergence)이라 한다.

창발은 복잡성 과학의 기본 주제이다. 복잡성 과학의 연구대상은 사람의 뇌나 생태계 같은 사회현상이다. 이들을 통틀어 복잡계(複雜系)로 부른다. 복잡계는 적어도 두 가지 면에서 공통점이 있다.

첫째, 복잡계는 단순한 구성요소가 수많은 방식으로 상호작용한다. 가령 사람 뇌는 수십억 개의 신경세포가 거미줄처럼 연결되어 있다. 주식시장은 수많은 투자자들로 들끓는다.

둘째, 복잡계는 환경의 변화에 수동적으로 반응하지 않고 구성요소를 재조직하면서 능동적으로 적응한다. 사람 뇌는 끊임없이 신경세포의 회로망을 재구성하면서 경험을 통해 학습하고 환경에 적응한다.

복잡계의 행동은 언뜻 보아 무질서해 보인다. 왜냐하면 구성요소의 상호작용이 고도로 비선형(非線形)적인 행동을 나타내기 때문이다. 비선형 세계에서는 초기 조건에서 발생하는 작은 변화가 출력에서는 엄청나게 큰 변화를 야기한다. 그러한 현상의 하나가 혼돈(카오스)이다. 카오스는 바다의 난류(亂流) 또는 주식가격의 폭락처럼 불규칙적이며 예측하기 어렵다. 그러나 복잡계는 혼돈 대신 질서를 형성해낸다. 혼돈과 질서의 균형을 잡는 능력이 있기 때문이다. 다시 말해서 혼돈계와 복잡계는 비선형이라는 점에서 는 같지만 혼돈계에서는 혼돈, 복잡계에서는 질서가 나타난다는 면에서 다르다.

복잡계는 단순한 구성요소가 상호간에 끊임없는 적응과 경쟁을 통해 질서와 혼돈이 균형을 이루는 경계면에서, 완전히 고정된 상태나 완전히 무질서한 상태에 빠지지 않고 항상 보다 높은 수준의 새로운 질서를 형성해낸다. 이를테면 단백질 분자는 생명체를, 기업이나 소비자는 국가경제를 형성한다.

복잡성 과학의 연구대상은 뇌나 생태계 같은 사회현상

단백질 분자는 살아 있지 않지만 그들의 집합체인 생물은 살아 있다. 생명은 단백질이 완전히 고착되거나 완전히 무질서한 상태에서는 솟아날 수 없다. 질서와 혼돈 사이에 완벽한 평형이 이루어지는 영역에서 생명의 복잡성이 비롯된다. 이처럼 혼돈과 질서를 분리시키는 극도로 얇은 경계선을 혼돈의 가장자리(edge of chaos)라 한다. 요컨대 생명은 혼돈의 가장자리에서 창발하는 것이다. 생명은 혼돈의 가장자리에서 한쪽으로는 너무 많은 질서, 다른 한쪽으로는 너무 많은 혼돈 속으로 언제든지 빠져들 위험을 간직한 채 평형을 지키려는 유기체의 특성이라 할 수 있다.

혼돈의 가장자리는 복잡성 과학을 상징하는 용어가 되었다. 복잡계는 혼돈의 가장자리에서 가장 복잡한 행동을 창발함과 동시에 환경에 가장 잘 적응할 수 있기 때문이다.

복잡성 과학은 1980년대에 등장한 풋내기 과학이며 장래가 반드시 낙관적인 것만은 아니다. 그럼에도 거의 모든 자연세계와 사회현상이 복잡계로 간주될 수 있기 때문에 창발의 원리를 밝히려는 복잡성 과학에 거는 기대는 상상 외로 크고 뜨거울 수밖에 없다.

이인식/과학문화연구소 소장