백과

논리적 수학

최초로 이러한 문제를 다뤘던 사람은 이탈리아 수학자 주세페 페아노(1858~1932년)였다. 그는 형식 논리학을 사용해서 기본 명제들로부터 수학을 발전시키고 싶어 했다. 그는 자신이 개발한 논리 표기법이 학문적으로 사용되기를 희망하며 혼성 국제 언어 인터링구아(Interlingua)라고 불리는 것도 만들어냈다. 이것은 라틴어와 프랑스어, 독일어, 영어 어휘를 기본으로 한 언어이지만 매우 단순한 문법만을 사용했다. 하지만 아이러니하게도 이 언어를 사용한 것이 그의 수학 연구가 인정받는 데 걸림돌이 되었다.

독일의 논리학자이자 수학자인 고트로프 프레게(1848~1925년)는 수학을 논리와 연결시키는 획기적인 연구를 내놓았다. 그는 아리스토텔레스 이후 가장 위대한 논리학자로 불린다. 그는 모든 사칙연산이 기본 공리에서 논리적으로 도출될 수 있다는 것을 증명하는 일에 착수했다. 수학적 논리학의 창시자라고 할 수 있는 그는 변수와 함수를 사용해서 논리를 표현하는 방법을 고안해냈다.

새로운 공리를 찾아서

독일 수학자 다비트 힐베르트는 20세기에 발달했던 형식주의 운동의 토대를 마련했다. 수학은 모든 것을 증명할 수 있는 기본 공리에 의해 결정되어야 한다는 그의 주장은 형식주의에 크게 기여했다. 또한 모든 체계가 완전하면서도 모순이 없어야 하고, 이 공리들을 적용할 때 생기는 모든 모순들을 그냥 지나쳐서는 안 된다고 했다. 힐베르트는 수학을 위한 무결점 공리의 기본 원리를 찾기 위한 첫 단계로 유클리드의 공리를 새로 만들어냈다.

그는 20세기에 해결되어야 할 23개의 문제를 제안한 것으로도 유명하다. 20세기 수학자들은 힐베르트가 제안한 23개의 문제를 고스란히 떠안게 되었다.

수학에서 논리학이 발달하는 데 가장 중요한 역할을 한 것은 힐베르트의 두 번째 문제이다. 그는 기본적인 개념들 사이의 관계를 보여주는 정확하고 완전한 공리 체계를 세우는 것이 필요하다고 제안했다. 또한 다음과 같이 주장했다. “이 공리들은 모순이 없어야 한다. 즉, 이 공리들을 기본으로 한 확정된 숫자의 논리적 단계는 절대 모순된 결과를 낳지 않아야 한다.” 이것은 특히, 페아노 연산의 기본을 증명할 수 있는 공리를 요구한 것으로 보인다.

힐베르트의 제안에 대한 답으로 버트런드 러셀과 앨프리드 노스 화이트헤드는 1910~1913년에 세 권으로 된 《수학 원리(Principia Mathematica)》를 출판했다. 야심차게 뉴턴의 주요 연구와 같은 이름을 따서 만들어진 이 책은 프레게가 설명한 기호 논리학을 사용해서 기본 공리의 집합으로부터 모든 수학을 이끌어내는 것을 목적으로 했지만 집합론, 기수와 서수, 실수만을 다루게 되었다. 원래는 기하학을 포함한 책도 계획에 있었지만 저자들이 이 연구에 지쳤기 때문에 실제로 만들어지지는 않았다. 러셀은 연구를 위한 좋은 방법을 알아낸 후에, 프레게가 연구한 부분과 자신들의 연구가 상당 부분 겹친다는 것을 발견했다. 그는 프레게가 이전에 이 연구에 대해 발표했다는 것을 인정하고 자신의 연구와 다른 점을 설명하고 내용을 추가했다.

《수학 원리》에서 시험한 것은 힐베르트의 말대로 공리들이 완전하고 일관성 있는 것인지 아닌지에 대한 것이었다. 이 책에 나오는 방법들로 증명될 수 없거나 틀렸음을 입증할 수 없는 수학적 진술이 발견되었을까? 그리고 이 공리들을 사용하면 어떤 모순도 생기지 않았을까?

근본을 흔들어놓은 정리

《수학 원리》가 검증될 수 있는 기회를 갖기도 전에 독일 수학자 쿠르트 괴델은 이 책의 핵심 질문들을 무용지물로 만들어버렸다. 그는 두 개의 ‘불완전성 정리’(1931년)를 만들어냈다. 이것은 수학의 공리화에 대한 힐베르트의 제안을 다룬 것이다.

괴델은 첫 번째 정리에서 ‘모순이 없는 공리의 집합은 있을 수 없다.’고 말한다. 수학이 어떤 공리에 기초를 두고 있든 증명될 수 없는 명제가 반드시 존재하기 때문이다.

예를 들어 어떤 사람이 “나는 거짓말쟁이다.”라고 말했다고 하자. 이 진술이 참인지 거짓인지를 판별하기 위해 먼저 이것이 참이라고 가정하면 이 사람은 거짓말쟁이가 된다. 그런데 이 사람의 진술이 참이라고 가정했기 때문에 자신이 거짓말쟁이라고 말했던 바로 그 진술이 거짓말이 되는 것이다. 따라서 그는 거짓말쟁이가 아니다. 그리고 이 진술이 거짓이라고 가정하면 이 사람은 거짓말쟁이가 아니다. 하지만 진술 자체가 거짓이라고 가정했으므로 이 사람은 거짓말쟁이가 된다. 즉, 이 진술이 참이든 거짓이든 항상 모순된 결과를 얻게 되는 것이다. 따라서 이 진술은 참도 아니고 거짓도 아닌, 증명될 수 없는 문제이다.

두 번째 정리에서 그는 공리로부터 출발한 이론의 타당성을 증명할 수 있는 방법은 존재하지 않는다고 말한다. 즉, 수학 자체는 자신이 선택한 공리에 모순이 없다는 것을 보장할 수 없기 때문에 수학 체계가 모순되지 않는다는 것을 증명할 방법은 아예 없다는 것이다.

괴델은 완전하고 모순 없는 수학 체계를 세우려 했던 힐베르트의 계획이 실현 불가능하다는 사실을 증명한 것이다.

논리학과 컴퓨터

20세기에 컴퓨터가 발달하면서 논리학과 수학은 자신만의 영역을 갖게 되었다. 컴퓨터 프로그램은 계산을 수행하기 위해 논리적인 수열을 사용하는데, 이것은 모든 컴퓨터 응용의 기본 토대가 된다. 전혀 수학처럼 보이지 않지만 애니메이션이나 음악 제작, 이미지 처리와 같은 것들도 같은 토대에서 이루어진다. 또한 컴퓨터는 정리(定理)를 시험하는 데에도 사용된다. 인간은 처리할 수 없는 실진법(모든 가능한 값을 대입해보는)으로 증명을 해내기도 한다. 뿐만 아니라 다른 방법으로 증명하는 프로그램도 있다.

맨체스터 대학에서 안드레이 보론코프가 개발한 컴퓨터 프로그램 뱀파이어는 ‘정리 증명 월드컵’에서 여섯 차례(1999, 2001~2005년)나 우승했다. 아마도 무결점의 논리로 무장한 컴퓨터가 논리를 수학에 적용하거나 수학에서 논리를 찾아내는 전문가인 수학자들을 완전히 몰아내는 시기가 도래한 것일지도 모른다.