레이 솔로모노프

레이 솔로몬오프(1926년 7월 25일 ~ 2009년 12월 7일)^[1][2]는 알고리즘 확률의 창시자,^[3] 그의 일반 귀납 추론(Universal Involidation Inference라고도 함)^[4]으로, 알고리즘 정보 이론의 창시자였다.^[5] 머신러닝, 예측, 확률에 기반한 인공지능 분야의 원조였다. 그는 1956년에 비대서양적 기계학습에 대한 최초의 보고서를 회람했다.^[6]

솔로몬노프는 콜모고로프 복잡성과 알고리즘 정보이론을 촉발한 정리를 발표하면서 1960년에 알고리즘 확률을 처음 기술했다. 그는 1960년 칼텍에서 열린 콘퍼런스에서 이 같은 결과를 처음 설명했으며,^[7] 1960년 2월 보고서에서 "유도적 추론의 일반 이론에 관한 예비 보고서"^[8]라고 했다. 그는 1964년 출판된 "유도 추론의 형식 이론," 제1부와^[9] 제2부를 통해 이러한 사상을 보다 완전하게 밝혔다.^[10]

알고리즘 확률은 오캄의 면도기와 ^{[11][12][13][14]}다중 설명의 원리를 수학적으로 공식화한 조합이다.^[15] 주어진 관측치를 설명하는 각 가설(알고리즘/프로그램)에 확률 값을 할당하는 기계 독립적인 방법인데, 가장 단순한 가설(최단 프로그램)이 가장 높은 확률을 가지며 점점 더 복잡해지는 가설이 점점 적은 확률을 받는다.

솔로몬노프는 탄탄한 철학적 토대를^[4] 바탕으로 콜모고로프 복잡성과 알고리즘 정보 이론에 그 뿌리를 두고 있는 보편적 귀납 추론 이론을 창시했다. 그 이론은 베이지안 틀에서 알고리즘적 확률을 사용한다. 보편적 선행은 모든 계산 가능한 측정값의 등급에 따라 취해진다. 어떤 가설도 0 확률을 가지지 않을 것이다. 이로써 일련의 사건에서 가장 가능성이 높은 다음 사건을 예측하는 데 베이즈의 (원인) 법칙을 사용할 수 있게 되고, 그 가능성이 어느 정도 될 것인가를 예측할 수 있게 된다.^[10]

알고리즘 확률과 귀납 추론에 대한 그의 일반적인 이론으로 가장 잘 알려져 있지만, 그는 일생 동안 다른 많은 중요한 발견들을 했는데, 그 발견들 대부분은 그의 목표인 인공지능을 향한 것이었다: 확률론적 방법을 사용하여 어려운 문제를 해결할 수 있는 기계를 개발하는 것이다.

1964년까지의 인생사

레이 솔로모노프는 1926년 7월 25일 오하이오 주 클리블랜드에서 유대계 러시아 이민자 필립 율리우스와 사라 매슈만 솔로모노프의 아들로 태어났다. 그는 글렌빌 고등학교를 다녔고 1944년에 졸업했다. 1944년에 그는 전자공학 강사로 미국 해군에 입대했다. 1947~1951년 시카고 대학교에 입학하여 루돌프 카르나프, 엔리코 페르미 등의 교수 밑에서 공부했으며, 1951년 물리학 석사 학위를 받았다.

그는 어릴 때부터 수학적인 발견의 순수한 기쁨과 그 누구도 가보지 못한 곳을 탐험하고 싶은 욕구에 동기부여를 받았다.^[16] 16세 때인 1942년에 그는 수학 문제를 풀 수 있는 일반적인 방법을 찾기 시작했다.

1952년에 그는 마빈 민스키, 존 매카시, 그리고 기계 지능에 관심이 있는 다른 사람들을 만났다. 1956년 민스키와 매카시 등이 다트머스 인공지능 여름연구회를 조직하여 솔로몬노프는 원래 초대받은 10명 중 한 명인 그, 매카시, 민스키만이 여름 내내 머물렀다. 인공지능이 처음 과학으로 이름을 올린 것은 이 그룹을 위해서였다. 당시의 컴퓨터는 매우 구체적인 수학 문제를 풀 수 있었지만, 그 외에는 별로 풀지 못했다. 솔로몬노프는 더 큰 질문, 어떻게 하면 기계를 더 일반적으로 지능적으로 만들 수 있는지, 그리고 컴퓨터가 어떻게 이런 목적을 위해 확률을 사용할 수 있는지 등을 추구하고 싶었다.

1964년까지의 작업 이력

그는 1950-52년에 아나톨 라포포트와 함께 세 개의 논문을 썼는데,^[17] 이 논문은 네트워크의 초기 통계 분석으로 간주된다.

1956년 다트머스 여름 인공지능 연구 프로젝트의 10명 중 한 명이었다. 그는 참석자들 사이에 "귀납적 추론 기계"라는 보고서를 작성하고 회람했다.^[6] 기계학습은 훈련 시퀀스의 중요성과 새로운 문제에 대한 시험 솔루션을 구축할 때 이전 해결책의 일부를 사용하는 것에 중점을 두고 확률론적이라고 보았다. 그는 1957년에 자신의 연구 결과를 발표했다.^[18] 이것들은 확률론적 기계 학습에 대해 쓰여진 첫 번째 논문이었다.

1950년대 후반에 그는 확률적 언어와 그것과 관련된 문법을 발명했다.^[19] 확률적 언어는 가능한 모든 문자열에 확률 값을 할당한다.

확률론적 그래머의 개념을 일반화함으로써 그는 1960년 알고리즘 확률과 귀납 추론의 일반 이론을 발견하게 되었다.

1960년대 이전에는, 일반적인 확률 계산 방법은 빈도에 근거했다: 총 시행 횟수에 대한 유리한 결과의 비율을 취한다. 그의 1960년 출판물, 그리고 더 완전히 1964년 출판물에서 솔로몬노프는 확률에 대한 이 정의를 심각하게 수정했다. 그는 이 새로운 형태의 확률을 "알고리즘 확률"이라고 불렀고, 그의 귀납 추론에서 예측에 사용하는 방법을 보여주었다. 이 작품의 일부로서, 그는 예측을 위한 베이즈 인과율의 사용에 대한 철학적 토대를 생산했다.

나중에 콜모고로프 복잡성이라고 불리게 된 것의 기본 정리는 그의 일반 이론의 일부였다. 1960년에 글을 쓰면서, 그는 다음과 같이 시작한다: "기호의 매우 긴 순서를 고려하라...이러한 기호의 순서는 '단순하다'고 간주하며, 이 순서에 대한 매우 간략한 설명이 존재한다면 - 물론, 어떤 종류의 규정된 설명 방법을 사용해야 한다. 더 정확히 말하면, 만약 우리가 우리의 설명을 표현하기 위해 기호 0과 1만을 사용한다면, 우리는 가능한 가장 짧은 이진 설명이 N자리를 포함한다면, 확률 2를^−N 기호의 시퀀스에 할당할 것이다."^[20]

그 확률은 특정 범용 튜링 기계에 관한 것이다. 솔로몬노프는 1964년에 기계의 선택이 일정한 요소를 추가할 수 있는 반면 확률비는 크게 변하지 않는다는 것을 증명했다. 이 확률들은 기계에 의존하지 않는다.

1965년 러시아 수학자 콜모고로프가 독자적으로 비슷한 생각을 발표했다. 솔로몬노프의 작품을 알게 되자 솔로몬노프를 인정했고, 몇 년 동안 솔로몬노프의 작품은 서방세계보다 소련에서 더 잘 알려져 있었다. 그러나 과학계의 일반적인 합의는 이러한 유형의 복잡성을 일련의 무작위성에 더 신경을 쓰는 콜모고로프와 결부시키는 것이었다. 알고리즘 확률과 범용(Solomonoff) 유도는 예측, 즉 시퀀스의 외삽에 초점을 맞춘 솔로몬오프와 연관되게 되었다.

후에 같은 1960년 간행물에서 솔로모노프는 단일 가장 짧은 코드 이론의 확장을 설명한다. 이것은 알고리즘 확률이다. 그는 다음과 같이 말하고 있다: "순서를 설명하는 여러 가지 다른 방법들이 있다면, 이 방법들 각각이 그 순서의 확률을 결정하는 데 어느 정도 비중을 두어야 할 것 같다."^[21] 그런 다음 그는 이 아이디어가 보편적인 a priori 확률 분포를 생성하기 위해 어떻게 사용될 수 있는지 그리고 그것이 Bayes 규칙 귀납 추론을 어떻게 가능하게 하는지를 보여준다. 귀납 추론은 특정 시퀀스를 설명하는 모든 모델의 예측을 더하여 해당 모델의 길이에 기초한 적절한 가중치를 사용하여 해당 시퀀스의 확장에 대한 확률 분포를 얻는다. 이 예측 방법은 그 후 솔로몬오프 유도로 알려지게 되었다.

그는 자신의 이론을 확대하여 1964년 출판물에 이르는 많은 보고서를 출판했다. 1964년 논문에는 알고리즘 확률과 솔로몬오프 인덕션에 대한 보다 상세한 설명이 제시되어 있으며, 일반적으로 보편적으로 유니버설 배포라고 불리는 모델을 포함하여 5가지 다른 모델을 제시한다.

1964년부터 1984년까지의 작업 이력

1956년 다트머스 서머 컨퍼런스(뉴엘과 사이먼 등)에 참가했던 다른 과학자들은 if-then 룰에 의해 지배되는 기계를 사용하는 인공지능의 분과를 개발하고 있었다. 솔로모노프는 A에 대한 그의 구체적인 견해인 확률과 예측에 초점을 맞춘 인공지능의 분과를 개발하고 있었다.I.는 알고리즘 확률 분포에 의해 관리되는 기계에 대해 설명했다. 기계는 관련 확률과 함께 이론을 생성하여 문제를 해결하며, 새로운 문제와 이론이 발전함에 따라 이론에 대한 확률 분포를 업데이트한다.

1968년에 그는 알고리즘 확률의 효과에 대한 증거를 찾았지만,^[22] 주로 그 당시 일반적인 관심의 결여 때문에 10년이 지나도록 그것을 발표하지 않았다. 그는 보고서에서 수렴청정의 증거를 발표했다.

A.I의 실제 예측과 문제 해결에서 알고리즘 확률과 솔로몬오프 인덕션을 사용하는 방법에 초점을 맞췄다. 그는 또한 이 확률 시스템이 갖는 더 깊은 의미를 이해하고 싶었다.

알고리즘 확률의 중요한 한 가지 측면은 그것이 완전하고 쓸모가 없다는 것이다.

1968년 보고서에서 그는 알고리즘 확률은 완전하다는 것을 보여준다. 즉, 데이터 본문에 서술 가능한 규칙성이 있다면, 알고리즘 확률은 결국 그 규칙성을 발견하게 될 것이며, 그 데이터의 비교적 작은 표본을 요구할 것이다. 알고리즘 확률은 이러한 방식으로 완성되는 것으로 알려진 유일한 확률 시스템이다. 그것의 완전성의 필수적인 결과로서 그것은 쓸모가 없다. 불분명한 이유는 일부 알고리즘이 부분적으로 재귀적인 알고리즘의 일부인 일부 알고리즘은 시간이 너무 오래 걸리기 때문에 완전히 평가될 수 없기 때문이다. 그러나 이러한 프로그램들은 최소한 가능한 해결책으로 인식될 것이다. 반면에 계산 가능한 시스템은 불완전하다. 그 시스템의 검색 공간 밖에는 언제나 설명이 있을 것인데, 그것은 무한한 시간에도 결코 인정되거나 고려되지 않을 것이다. 계산 가능한 예측 모델은 그러한 알고리즘을 무시함으로써 이 사실을 숨긴다.

그의 많은 논문에서 그는 문제에 대한 해결책을 찾는 방법을 설명했고 1970년대와 1980년대 초반에 그가 느끼는 것이 기계를 업데이트하는 가장 좋은 방법이라고 생각했다.

그러나 A.I에서 확률의 사용은 완전히 매끄러운 경로를 가지지 못했다. A.I. 초기에는 확률의 관련성에 문제가 있었다. A에 있는 많은 사람들I. 커뮤니티는 그들의 작업에서 확률을 사용할 수 없다고 느꼈다. 패턴 인식 영역은 확률의 형태를 사용했지만, 어떤 A에도 확률을 통합하는 방법에 대한 광범위한 이론이 없었기 때문이다.I. 필드, 대부분의 필드는 전혀 사용하지 않았다.

하지만, 펄이나 피터 치즈맨 같은 연구자들은 인공지능에 확률을 사용할 수 있다고 주장했다.

1984년경, 미국 인공지능 협회(AAAI)의 연례 회의에서, 개연성은 A와 전혀 관련성이 없다고 결정되었다.i

항의 단체가 결성되었고, 이듬해 AAAI 회의에서 "AI의 가능성과 불확실성"을 주제로 한 워크숍이 열렸다. 이 연례 워크숍은 오늘날까지 계속되었다.^[23]

첫 번째 워크샵에서의 항의의 일환으로 솔로몬노프는 A.I.의 문제에 보편적 분배를 적용하는 방법에 관한 논문을 발표했다.^[24] 이것은 그가 그 때부터 개발해 온 시스템의 초기 버전이었다.

그는 그 보고서에서 자신이 개발한 검색 기술을 설명했다. 검색 문제에서 최상의 검색 순서는 시간 ${\displaystyle {Ti}_{}}$/ ${\displaystyle P_{}}$ i ${\$이며, $여기$서 ${\displaystyle {Ti}_{}}${\$displaystyle T_{i}}$은 시험 시험에 필요한 시간이고$$ ${\displaystyle {Pi}_{}}$ ${\$는 해당 시험의 성공 확률이다$$. 그는 이것을 문제의 "개념 점프 크기"라고 불렀다. 르빈의 검색 기술은 이 질서에 근접한 것으로서, 르빈의 작품을 연구한 솔로몬노프는 이 검색 기법을 '르서치'라고 불렀다.^[25]

작업 기록 - 말년

다른 논문에서 그는 자원 경계 검색에 글을 쓰면서 해결책을 찾는 데 필요한 시간을 제한하는 방법을 탐구했다. 검색 공간은 최소 설명 길이와 같은 일부 다른 예측 방법에서처럼 검색 공간을 잘라내기 보다는 사용 가능한 시간이나 계산 비용에 의해 제한된다.

솔로몬노프는 그의 경력 내내 A.I의 잠재적인 이익과 위험에 대해 걱정했고, 그의 많은 출판된 보고서에서 그것을 토론했다. 1985년에 그는 언제 "인피니티 포인트"에 도달할지를 예측하는 공식을 제시하면서 A.I의 가능한 진화를 분석했다.^[26] 이 작품은 가능한 기술적 특이성에 대한 사상사의 일부분이다.

원래 알고리즘 유도 방법은 순서가 정해진 문자열 순서를 추론했다. 다른 종류의 데이터를 처리하기 위한 방법이 필요했다.

1999년 보고서는 범용 분포 및 관련 융합 이론들을 순서 없는 문자열 집합과 2008년 보고서, ^[28]순서 없는 문자열 쌍에 일반화한다.^[27]

1997년,^[29] 2003년, 2006년에 그는 불친절성과 주관성이 고성능 유도 시스템의 필요성과 바람직한 특성이라는 것을 보여주었다.

1970년에 그는 자신의 1인 회사인 옥스브리지 리서치를 설립하였고, 독일 사를란드 대학 MIT와 스위스 루가노의 달레 몰레 인공지능 연구소 같은 다른 기관에서 기간들을 제외하고는 그곳에서 연구를 계속했다. 2003년에 그는 런던 로얄 할로웨이 대학의 컴퓨터 학습 연구 센터로부터 콜모고로프 상을 받은 첫 번째 수상자로, 이 곳에서 콜모고로프 강연을 했다. 솔로몬노프는 가장 최근에 CLRC의 초빙교수였다.

2006년 AI@50에서 다트머스 여름 스터디그룹 원년 50주년을 기념하는 '다트머스 인공지능 콘퍼런스: 다음 50년'에서 연설했다. 솔로몬노프는 원래 참석했던 다섯 명의 참가자 중 한 명이었다.

2008년 2월 레바논 노트르담 대학에서 열린 '컴퓨터 과학의 이론과 적용에 관한 현재 동향'(CTTACS)에서 기조연설을 했다. 그는 짧은 일련의 강의로 이것을 따랐고, 알고리즘 확률의 새로운 적용에 대한 연구를 시작했다.

알고리즘 확률과 솔로몬오프 인덕션은 인공지능에 많은 장점이 있다. 알고리즘 확률은 매우 정확한 확률 추정치를 제공한다. 이러한 추정치는 신뢰할 수 있는 방법에 의해 수정되어 계속 허용될 수 있다. 검색 시간을 매우 효율적으로 활용한다. 확률 추정 외에도, 알고리즘 확률은 AI에 또 다른 중요한 가치를 가지고 있다. AI의 다양한 모델은 데이터를 이해할 수 있는 다양한 방법을 제공한다.

1997년 이전의 솔로몬노프의 생애와 작업에 대한 설명은 1997년 8월 "알고리즘 확률의 발견", 컴퓨터 및 시스템 과학 저널, 제55권, 제1권, 제73-88권, 제8권에 있다. 이 논문은 물론 여기에 언급된 다른 대부분의 논문들도 출판 페이지에서 그의 웹사이트를 통해 볼 수 있다.

그의 사망 연도에 실린 기사에서, 한 저널 기사는 솔로몬노프에 대해 다음과 같이 말했다: "아주 전통적인 과학자는 현재 가장 유행하고 있는 이해 방법인 하나의 '현재 패러다임'을 사용하여 그의 과학을 이해한다. 보다 창의적인 과학자는 자신의 과학을 매우 많은 방법으로 이해하며, '현재 패러다임'이 더 이상 현재의 데이터에 맞지 않을 때 더 쉽게 새로운 이론, 새로운 이해 방식을 창조할 수 있다."^[30]

참고 항목

• Kolmogorov 복잡성과 그것의 적용에 대한 소개인 Ming Li와 Paul Vitani. 2008년 뉴욕주 스프링거-베를라크에는 솔로몬노프에 관한 역사적 기록과 그의 작품에 대한 설명과 분석이 포함되어 있다.
• 마커스 허터의 유니버설 인공지능

참조

외부 링크

• 레이 솔로모노프의 홈페이지
• 알고리즘 확률에 대한 자세한 설명은 학자의 후터, 레그 및 비탄이의 "알고리즘 확률"을 참조하십시오.
• 레이 솔로모노프(1926~2009년) 85회 추모대회, 호주 멜버른, 2011년 11월/12월 및 Procedures, "알고리즘 확률과 친구들" 베이시안 예측 및 인공지능", 스프링거, LNAI/LNCS 7070
• 기계학습의 개척자 2011년 12월 14일 기념