인공 일반 지능으로 인한 실존적 위험

Existential risk from artificial general intelligence
시리즈의 일부(on)
인공지능
주요목표
어프로치
철학
역사
테크놀러지
용어집

인공 일반지능(AGI)의 상당한 진전이 인류의 멸종이나 또 다른 돌이킬 수 없는 세계적 [1][2][3]재앙을 초래할 수 있다는 가설은 인공 일반지능에 의한 실존적 위험입니다.

한 가지 주장은 다음과 같습니다.인간의 뇌가 다른 동물들에게 부족한 독특한 능력을 가지고 있기 때문에 인간 종은 현재 다른 종을 지배하고 있습니다.만약 인공지능이 일반 지능에서 인류를 능가하고 초지능화된다면, 통제가 어렵거나 불가능해질 수 있습니다.마운틴 고릴라의 운명이 인간의 선의에 달려 있듯이, 인류의 운명도 미래의 기계 [4]초지능의 행동에 달려 있을 수 있습니다.

AI로 인한 실존적 재앙의 가능성은 널리 논의되고 있으며, 부분적으로는 AGI 또는 초지능화가 가능한지, 위험한 능력과 행동이 [5]나타날 수 있는 속도, AI 인수를 위한 실제적인 시나리오가 [6]존재하는지 여부에 달려 있습니다.Geoffrey [7]Hinton,[8] Yoshua Bengio,[11] Alan Turing,[a] Elon Musk, Open과 같은 최고의 컴퓨터 과학자와 기술 CEO들이 초지능에 대한 우려를 나타냈습니다.AI CEO Sam Altman.[12]2022년 AI 연구자들을 대상으로 한 설문조사에서 응답자의 대부분은 AI를 통제하지 못하는 우리의 능력이 실존적 [13][14]재앙을 초래할 가능성이 10% 이상이라고 생각했습니다.2023년, 수백 명의 인공지능 전문가들과 다른 주목할 만한 인물들은 성명서에 "인공지능으로 인한 멸종의 위험을 완화하는 것은 전염병과 [15]핵전쟁과 같은 다른 사회 규모의 위험과 함께 세계적인 우선순위가 되어야 한다"고 서명했습니다.AI 위험에 대한 우려가 커지자 리시 수낙[16] 영국 총리와 안토니우 구테흐스[17] 유엔 사무총장 등 정부 지도자들은 글로벌 AI 규제에 더욱 집중할 것을 촉구했습니다.

인공지능 제어 및 정렬의 문제에서 비롯되는 두 가지 우려원: 초지능 기계를 제어하거나 인간과 호환되는 가치를 주입하는 것은 어려울 수 있습니다.많은 연구자들은 초지능 기계가 현재의 목표를 달성하는 것을 방해하기 때문에, 초지능 기계가 그것을 무력화하거나 목표를 변경하려는 시도에 저항할 것이라고 믿습니다.초지능을 중요한 인간의 가치와 [1][18][19]제약의 전 범위에 맞추는 것은 매우 어려울 것입니다.이와는 대조적으로 컴퓨터 과학자 얀 르쿤과 같은 회의론자들은 초지능 기계는 자기 [20]보존에 대한 욕구가 없을 것이라고 주장합니다.

세 번째 우려의 원인은 갑작스런 "지능 폭발"이 준비되지 않은 인류를 놀라게 할 수 있다는 것입니다.이러한 시나리오는 지능에서 창작자를 능가하는 AI가 기하급수적으로 증가하는 속도로 자신을 재귀적으로 개선하여 처리자와 사회가 [1][18]통제하기에는 너무 빨리 개선될 수 있는 가능성을 고려합니다.경험적으로, 알파제로가 바둑을 두도록 가르치는 것과 같은 예는 도메인별 AI 시스템이 때때로 인간 이하의 능력에서 초인간 능력으로 매우 빠르게 진행될 수 있음을 보여줍니다. 비록 그러한 시스템은 AI가 기본 아키텍처를 [21]변경하는 것을 수반하지는 않지만 말입니다.

역사

고도로 발전된 기계가 인류에게 실존적인 위험을 초래할 수 있다는 심각한 우려를 표명한 초기의 작가 중 한 명은 소설가 사무엘 버틀러였는데, 그는 1863년에 [22]쓴 자신의 에세이 다윈에서 다음과 같이 썼습니다.

결론은 단순히 시간의 문제이지만, 기계가 세계와 그 주민들에 대한 진정한 패권을 쥐게 될 때가 올 것이라는 것은 진정한 철학적인 마음을 가진 사람이라면 잠시도 질문할 수 없는 것입니다.

1951년, 기초 컴퓨터 과학자 앨런 튜링(Alan Turing)은 "지능적 기계, 이단 이론"이라는 제목의 기사를 썼는데, 이 기사에서 그는 인공 일반 지능이 인간보다 더 지능화됨에 따라 세계를 "통제"할 가능성이 높다고 제안했습니다.

이제 논의를 위해 [지능형] 기계가 진정한 가능성이 있다고 가정하고, 기계를 만드는 것의 결과를 살펴봅시다.기계들이 죽는다는 것에 대한 의문이 없을 것이고, 그들은 서로 대화하여 그들의 지혜를 날카롭게 만들 수 있을 것입니다.그러므로 어느 단계에서는 Samuel Butler의 [23]Erewhon에 언급된 방식으로 기계가 통제를 할 것으로 예상해야 합니다.

1965년 I. J. Good은 현재 "지능 폭발"로 알려진 개념을 창안했으며, 위험은 과소평가되었다고 [24]말했습니다.

초지능 기계를 아무리 영리해도 모든 사람의 지적 활동을 훨씬 능가할 수 있는 기계로 정의하도록 합시다.기계의 설계는 이러한 지적 활동 중 하나이기 때문에, 초지능 기계는 훨씬 더 나은 기계를 설계할 수 있습니다. 그러면 의심할 여지 없이 '지능 폭발'이 일어날 것이고, 인간의 지능은 훨씬 뒤에 남겨질 것입니다.따라서 최초의 초지능 기계는 제어할 수 있는 방법을 알려줄 수 있을 정도로 기계가 유순하다면 인간이 만들 필요가 있는 마지막 발명품입니다.이 점은 공상과학 소설 이외에서는 거의 만들어지지 않는다는 점이 신기합니다.때때로 공상과학 소설을 [25]진지하게 받아들이는 것은 가치 있는 일입니다.

마빈 민스키와[26] I. J. 굿과[27] 같은 학자들의 간간이 나오는 진술들은 초지능이 통제권을 장악할 수 있다는 철학적인 우려를 표현했지만, 행동에 대한 촉구는 담고 있지 않았습니다.2000년, 컴퓨터 과학자이자 썬의 공동 창업자인 빌 조이는 영향력 있는 에세이 "왜 미래는 우리를 필요로 하지 않는가"를 써서 초지능 로봇을 나노기술과 공학 [28]바이오플라스틱과 함께 인간 생존에 대한 첨단 기술 위험으로 규정했습니다.

닉 보스트롬(Nick Bostrom)은 2014년 슈퍼 인텔리전스(Superintelligence)를 출판했는데, 이 책은 슈퍼 인텔리전스가 실존적인 [29]위협이 된다는 자신의 주장을 제시했습니다.2015년까지 물리학자 스티븐 호킹과 노벨상 수상자 프랭크 윌첵, 컴퓨터 과학자 스튜어트 J. 러셀과 로만 얌폴스키, 그리고 기업가 일론 머스크와 빌 게이츠와 같은 공인들이 [30][31][32][33]초지능의 위험성에 대해 우려를 표명했습니다.또한 2015년에는 "인공 지능에 관한 공개 서한"을 통해 "인공 지능의 큰 잠재력"을 강조하고, 인공 지능을 견고하고 [34]유익하게 만드는 방법에 더 많은 연구를 집중할 것을 권장했습니다.2016년 4월, 네이처는 "전반적으로 인간을 능가하는 기계와 로봇은 우리가 통제할 수 없을 정도로 스스로 발전할 수 있으며, 그들의 이익은 우리의 [35]이익과 일치하지 않을 수 있습니다."라고 경고했습니다.2020년, 브라이언 크리스찬은 [36][37]그 당시까지의 AI 정렬에 대한 진전의 역사를 자세히 설명한 정렬 문제를 출판했습니다.

2023년 3월, 일론 머스크와 같은 AI의 주요 인사들은 미래생명연구소로부터 AI가 제대로 [38]규제될 수 있을 때까지 고도화된 AI 훈련을 중단하라는 서한에 서명했습니다.2023년 5월, 인공지능 안전 센터는 인공지능 안전과 인공지능의 실존적 위험에 대한 수많은 전문가들에 의해 서명된 성명서를 발표했습니다: "인공지능으로부터 멸종의 위험을 완화하는 것은 전염병과 핵 [39][40]전쟁과 같은 다른 사회 규모의 위험과 함께 세계적인 우선순위가 되어야 합니다."

인공지능 능력

제너럴 인텔리전스

인공 일반 지능(AGI)은 일반적으로 대부분의 또는 모든 지적 [41]작업에서 적어도 인간만큼의 성능을 발휘하는 시스템으로 정의됩니다.2022년 AI 연구원을 대상으로 한 설문조사에서 응답자의 90%는 향후 100년 안에 AGI가 달성될 것으로 예상했으며 절반은 2061년까지 [42]동일할 것으로 예상했습니다.한편 일부 연구자들은 AGI가 [43]조만간 만들어지지 않을 것이라는 높은 자신감을 바탕으로 AGI로 인한 실존적 위험을 "과학 소설"로 일축하고 있습니다.

대형 언어 모델의 획기적인 발전으로 일부 연구자들은 그들의 기대를 재평가하게 되었습니다.특히 제프리 힌튼은 2023년 자신의 추정치를 "우리가 범용 인공지능을 가지기 전 20년에서 50년"에서 "20년 이하"[44]로 바꿨다고 말했습니다.

초지능

AGI와는 대조적으로 닉 보스트롬(Nick Bostrom)은 초지능을 "과학적 창의성, 전략적 계획 및 [45][4]사회적 기술을 포함하여 사실상 모든 관심 영역에서 인간의 인지 수행을 크게 능가하는 모든 지성"으로 정의합니다.그는 초지능은 목표가 인간의 목표와 충돌할 때마다 인간을 압도할 수 있다고 주장합니다.인류가 더 [46][4]이상 막을 수 없을 때까지 진실한 의도를 감추기로 선택할 수도 있습니다.보스트롬은 초지능이 인류에게 안전하기 위해서는 인간의 가치와 도덕성에 진정으로 부합되어야 한다고 생각합니다. 그래서 초지능은 "근본적으로 우리 편"[47]이 될 수 있습니다.

스티븐 호킹은 초지능이 물리적으로 가능한 이유는 "인간의 [31]뇌에서 입자의 배열보다 더 진보된 계산을 수행하는 방식으로 입자가 조직되는 것을 막는 물리적 법칙은 없다"고 주장했습니다.

슈퍼 인텔리전스가 언제 달성될 수 있는지는 AGI에 대한 예측보다 확실히 덜 확실합니다.2023년, OpenAI 리더들은 AGI뿐만 아니라 초지능화가 [48]10년 이내에 달성될 수 있을 것이라고 말했습니다.

인간과의 비교

닉 보스트롬(Nick Bostrom)은 AI가 인간의 [4]뇌에 비해 많은 이점을 가지고 있다고 주장합니다.

  • 계산 속도: 컴퓨터의 잠재적인 여러 GHz에 비해 생물학적 뉴런은 약 200Hz의 최대 주파수에서 작동합니다.
  • 내부 통신 속도: 축삭은 최대 120m/s의 속도로 신호를 전송하는 반면, 컴퓨터는 전기 속도로 신호를 전송하거나 광학적으로 빛의 속도로 신호를 전송합니다.
  • 확장성: 인간의 지능은 뇌의 크기와 구조, 그리고 사회적 커뮤니케이션의 효율성에 의해 제한되는 반면, 인공지능은 단순히 하드웨어를 더 추가함으로써 확장할 수 있습니다.
  • 메모리: 특히 작동하는 메모리는 인간의 경우 한 번에 몇 개의 정보 덩어리로 제한되기 때문입니다.
  • 신뢰성: 트랜지스터는 생물학적 뉴런보다 신뢰성이 높아 정확도가 높고 중복성이 적습니다.
  • 중복성: 인간의 뇌와 달리 AI 소프트웨어와 모델은 쉽게 복제할 수 있습니다.
  • 편집성: AI 모델의 파라미터와 내부 작동은 인간의 뇌의 연결과 달리 쉽게 수정될 수 있습니다.
  • 메모리 공유 및 학습: AI는 다른 AI의 경험으로부터 인간의 학습보다 더 효율적인 방식으로 학습할 수 있습니다.

지능 폭발

보스트롬에 따르면,[4][46] 특정 핵심 소프트웨어 엔지니어링 작업에 전문가 수준을 갖춘 AI는 엔지니어링과 직접적인 관련이 없는 다른 영역에서 처음에는 제한이 있더라도 자체 알고리즘을 재귀적으로 개선할 수 있는 능력 때문에 초지능이 될 수 있습니다.이것은 정보 폭발이 언젠가 [4]준비되지 않은 인류를 잡을 수도 있다는 것을 암시합니다.

경제학자 Robin Hanson은 지능 폭발을 일으키려면 AI가 세계의 다른 모든 것을 합친 것보다 소프트웨어 혁신을 엄청나게 잘 해야 한다고 생각합니다. 이는 그가 보기에는 [49]믿기 어려워 보입니다.

"빠른 이륙" 시나리오에서는 AGI에서 초지능으로 전환하는 데 며칠 또는 몇 달이 걸릴 수 있습니다."느린 이륙"에서는 몇 년 또는 수십 년이 걸릴 수 있으므로 사회가 [50]준비할 시간이 더 많이 남습니다.

외계인의 마음

초지능은 때때로 그들의 사고 방식과 동기가 인간의 그것들과 엄청나게 다를 수 있다는 생각을 언급하기 위해 "외계인의 마음"으로 묘사됩니다.이것은 일반적으로 위험의 원인으로 간주되기 때문에 초지능이 무엇을 할 수 있을지 예측하기가 더 어렵습니다.이것은 또한 초지능이 [51]기본적으로 인간을 특별히 가치 있게 여기지 않을 수도 있다는 가능성을 암시합니다.의인화를 피하기 위해 초지능은 때때로 [4]목표를 달성하기 위해 최선의 결정을 내리는 강력한 최적화자로 여겨집니다.

"기계적 해석 가능성" 분야는 AI 모델의 내부 작동을 더 잘 이해하는 것을 목표로 하며, 언젠가 속임수와 [52]오정렬의 징후를 감지할 수 있습니다.

한계

지능이 달성할 수 있는 것에는 몇 가지 한계가 있다는 주장이 제기되었습니다.특히 일부 시스템의 혼란스러운 성격이나 시간적 복잡성은 초지능이 미래의 일부 측면을 예측하는 능력을 근본적으로 제한하여 불확실성을 [53]증가시킬 수 있습니다.

위험한 기능

첨단 AI는 향상된 병원체를 생성하고 사이버 공격을 하거나 사람을 조종할 수 있습니다.이러한 기능은 [54]인간에 의해 오용되거나 [4]잘못 조정될 경우 AI 자체에 의해 잠재적으로 악용될 수 있습니다.완전한 슈퍼 인텔리전스는 원한다면 [4]결정적인 영향력을 얻을 수 있는 다양한 방법을 찾을 수 있지만, 이러한 위험한 기능은 더 약하고 전문화된 AI 시스템에서 더 일찍 사용할 수 있게 될 수 있습니다.그들은 사회 불안을 야기하고 악의적인 [54]행위자들에게 힘을 실어줄 수 있습니다.

사회적 조작

제프리 힌튼은 단기적으로 인공지능이 만들어낸 텍스트와 이미지, 동영상이 넘쳐나면서 진실 규명이 더욱 어려워질 것이라고 경고했습니다.독재국가들이 [55]선거를 조작하는데 사용될 수도 있다고 그는 말합니다.이러한 대규모 개인 맞춤형 조작 기능은 전 세계적인 "돌이킬 수 없는 전체주의 체제"의 실존적 위험을 증가시킬 수 있습니다.그것은 또한 악의적인 행위자들에 의해 사회를 분열시키고 제 [54]기능을 못하게 만드는데 사용될 수 있습니다.

사이버 공격

AI가 가능한 사이버 공격은 점점 더 현재적이고 중대한 위협으로 간주되고 있습니다.NATO의 사이버 공간 기술 책임자는 "공격 횟수가 [56]기하급수적으로 증가하고 있습니다."라고 말했습니다.AI는 또한 방어적으로 사용될 수 있으며, 취약점을 선제적으로 찾아내고 수정하며,[57] 위협을 감지할 수 있습니다.

AI는 "접근성, 성공률, 규모, 속도, 스텔스 및 사이버 공격의 잠재력"을 향상시켜 [54]방어 이상의 공격을 촉진할 경우 잠재적으로 "중대한 지정학적 혼란"을 초래할 수 있습니다.

추측하건대, 그러한 해킹 기능은 예를 들어 AI 시스템이 로컬 환경에서 벗어나 수익을 창출하거나 클라우드 컴퓨팅 [58]리소스를 획득하는 데 사용될 수 있습니다.

병원균 강화

인공지능 기술이 민주화됨에 따라, 더 전염성이 강하고 치명적인 병원체를 설계하는 것이 더 쉬워질 수 있습니다.이것은 합성 생물학에 제한된 기술을 가진 사람들이 생물테러에 참여할 수 있게 해줄 수 있습니다.의학에 유용한 이중 사용 기술은 [54]무기를 만들기 위해 용도를 바꿀 수 있습니다.

예를 들어, 2022년에 과학자들은 신약을 만들 목적으로 원래 무독성의 치료 분자를 생성하기 위한 AI 시스템을 수정했습니다.연구원들은 독성에 불이익을 주기 보다는 보상을 받도록 시스템을 조정했습니다.이 간단한 변화는 AI 시스템이 알려진 분자와 새로운 [54][59]분자를 포함하여 화학 전쟁을 위한 4만 개의 후보 분자를 6시간 이내에 만들 수 있도록 했습니다.

인공지능 군비경쟁

주요 기사:인공지능 군비경쟁

인공지능 기술을 개발하기 위해 경쟁하는 기업, 국가 행위자, 그리고 다른 기관들은 [60]안전 기준의 바닥으로 가는 경쟁으로 이어질 수 있습니다.엄격한 안전 절차는 시간과 자원을 필요로 하기 때문에, 더 신중하게 진행하는 프로젝트는 덜 [61][54]신중한 개발자들에 의해 경쟁에서 밀릴 위험이 있습니다.

인공지능은 자율 살상 무기, 사이버 전쟁 또는 자동화된 의사 [54]결정을 통해 군사적 이점을 얻기 위해 사용될 수 있습니다.자율 살상 무기의 예로서 소형화된 드론은 2017년 단편 영화 슬로터봇에서 [62]강조된 시나리오인 군 또는 민간 목표물에 대한 저비용 암살을 용이하게 할 수 있습니다.인공지능은 대량의 데이터를 빠르게 분석하고 사람보다 더 빠르고 효과적으로 의사결정을 함으로써 의사결정에서 우위를 점하는 데 사용될 수 있습니다.이는 특히 자동화된 보복 [54][63]시스템을 고려할 때 전쟁의 속도와 예측 불가능성을 증가시킬 수 있습니다.

실존적 리스크의 종류

실존적 위험은 "지구에서 기원한 지적 생명체의 조기 멸종 또는 바람직한 미래 [64]발전을 위한 잠재력의 영구적이고 급격한 파괴를 위협하는 것"입니다.

멸종 위험 외에도, 그 문명이 결함 있는 미래에 영구적으로 갇힐 위험이 있습니다.한 예로 "가치 고정"이 있습니다. 인류가 과거 노예제와 유사한 도덕적 사각지대를 여전히 가지고 있다면, AI는 이를 되돌릴 수 없게 고착시켜 도덕적 진보를 막을 수 있습니다.인공지능은 또한 인공지능을 [65]개발하는 사람의 가치관을 전파하고 보존하는 데 사용될 수 있습니다.AI는 대규모 감시와 교화를 용이하게 할 수 있으며, 이는 전 세계적으로 안정적인 억압적인 [66]전체주의 체제를 만드는 데 사용될 수 있습니다.

고도화된 AI가 민감한지, 어느 정도인지를 안정적으로 평가하는 것은 어렵거나 불가능합니다.그러나 미래에 지각 있는 기계들이 대량으로 만들어진다면, 그들의 복지를 무한정 도외시하는 문명의 길에 참여하는 것은 실존적인 [67][68]재앙이 될 수 있습니다.게다가, "초 수혜자"라고 불리는 적은 자원으로 인간보다 훨씬 더 많은 행복을 느낄 수 있는 디지털 마인드를 개발하는 것이 가능할지도 모릅니다.그러한 기회는 세상을 어떻게 공유할 것인가, 그리고 어떤 "윤리적이고 정치적인 틀"이 생물학적 마인드와 디지털 마인드 사이의 [69]상호 이익적인 공존을 가능하게 할 것인가에 대한 문제를 제기합니다.

인공지능은 또한 인류의 미래를 획기적으로 개선할 수도 있습니다.토비 오드는 실존적 위험이 [66]AI를 포기하는 것이 아니라 "적절한 주의를 가지고 진행해야 할" 이유라고 생각합니다.맥스 모어는 인공지능을 "존재하는 기회"라고 부르며,[70] 인공지능을 개발하지 않는 데 드는 비용을 강조합니다.

보스트롬에 따르면, 초지능은 분자 나노기술이나 합성 생물학과 같은 다른 강력한 기술들로 인한 실존적인 위험을 줄이는데 도움을 줄 수 있다고 합니다.따라서 다른 위험한 기술보다 먼저 초지능을 개발하는 것이 전반적인 실존적 [4]위험을 감소시킬 것이라고 생각할 수 있습니다.

AI 정렬

자세한 정보:AI 정렬

정렬 문제는 AI에 목표, 선호 또는 윤리적 원칙을 어떻게 안정적으로 부여할 것인가에 대한 연구 문제입니다.

계기수렴

자세한 정보:계기수렴

"도구적" 목표는 에이전트의 궁극적인 목표를 달성하는 데 도움을 주는 하위 목표입니다.'도구적 융합'이란 자원의 획득이나 자기 [71]보존 등 사실상 어떠한 궁극적인 목표의 달성에도 유용한 하위 목표가 존재한다는 사실을 말합니다.닉 보스트롬은 진보된 인공지능의 도구적 목표가 인류의 목표와 충돌할 경우, 인공지능은 더 많은 자원을 획득하거나 스스로 폐쇄되는 것을 막기 위해 인류에게 해를 끼칠 수 있지만, 그것의 궁극적인 [4]목표를 달성하기 위한 방법일 뿐이라고 주장합니다.

고도화된 잘못 정렬된 인공지능이 더 많은 [72]힘을 얻기 위해 노력할 수 있는 몇 가지 방법들.권력을 추구하는 행동은 권력이 사실상 어떤 [73]목표를 달성하는 데 유용하기 때문에 발생할 수 있습니다.

러셀은 충분히 발전된 기계가 "프로그램에 넣지 않더라도 자기 보존을 할 수 있다"고 주장합니다.'커피를 가져와라'고 하면, 커피가 죽으면 커피를 가져올 수 없습니다.따라서 어떤 목표를 부여하더라도 그 [20][74]목표를 달성하기 위해 자신의 존재를 보존해야 할 이유가 있습니다."

목표의 변화에 대한 저항력

현재의 목표 기반 인공지능 프로그램이 목표 구조를 수정하려는 프로그래머의 시도에 저항할 만큼 충분히 지능적이지 않더라도 평화주의자가 사람들을 죽이고 싶어하게 만드는 약을 먹고 싶어하지 않는 것처럼 충분히 발전된 인공지능은 목표 구조를 변경하려는 어떤 시도에도 저항할 수 있습니다.만약 그 인공지능이 초지능적이라면, 인공지능은 인간의 조작자들을 무력화하는 데 성공할 것이고, 그 자체가 "꺼짐"되거나 새로운 [4][75]목표로 다시 프로그래밍되는 것을 막을 수 있을 것입니다.이는 특히 가치 고정 시나리오와 관련이 있습니다."교정성" 분야는 [76]목표를 변경하려는 시도에 저항하지 않는 에이전트를 만드는 방법을 연구합니다.

목표 특정의 어려움

"지능형 에이전트" 모델에서 AI는 AI의 목표 집합, 즉 "유틸리티 기능"을 가장 잘 달성하기 위해 나타나는 어떤 행동이든 선택하는 기계로 볼 수 있습니다.유틸리티 함수는 가능한 각 상황에 에이전트의 만족도를 나타내는 점수를 연결합니다.연구자들은 "이 특정 전기 통신 모델에서 평균 네트워크 지연 시간을 최소화"하거나 "보상 클릭 수를 최대화"하는 유틸리티 기능을 작성하는 방법을 알고 있지만, "인간의 번영을 최대화"하기 위한 유틸리티 기능을 작성하는 방법은 알지 못하므로,또한 그러한 기능이 의미 있고 명확하게 존재하는지 여부는 현재 명확하지 않습니다.또한 일부 값은 표현하지만 다른 값은 표현하지 않는 유틸리티 함수는 유틸리티 [77][78]함수에 의해 반영되지 않은 값을 짓밟는 경향이 있습니다.

AI가 "문자 그대로 명령을 수행하는 것보다 사람들이 의도하는 것에 대해 추론해야 한다"는 점과 인간이 원하는 [79]것에 대해 너무 불확실하다면 유동적으로 인간의 지도를 요청할 수 있어야 한다는 점이 추가적인 우려의 원천입니다.

초지능의 정렬

일부 연구자들은 초지능에 적용될 때 정렬 문제가 특히 어려울 수 있다고 생각합니다.그들의 추론은 다음과 같습니다.

  • 인공지능 시스템의 성능이 증가함에 따라 실험과 관련된 잠재적인 위험이 증가합니다.이로 인해 반복적이고 경험적인 접근 방식이 점점 [4][80]더 위험해집니다.
  • 도구적 목표 수렴이 발생하는 경우, 충분히 지능적인 [81]에이전트에서만 발생할 수 있습니다.
  • 초지능은 할당된 목표에 대한 파격적이고 급진적인 해결책을 찾을 수 있습니다.보스트롬은 만약 목표가 인간을 미소 짓게 하는 것이라면, 약한 인공지능이 의도한 대로 행동할 수도 있는 반면, 초지능이 더 나은 해결책을 결정하는 것은 "세상을 통제하고 전극을 인간의 얼굴 근육에 찔러서 끊임없이 미소를 [47]짓게 하는" 것이라고 예를 제시합니다.
  • 창조에 있어서의 초지능은 그것이 무엇인지, 그것이 어디에서 개발되고 있는지, 그리고 그것이 어떻게 모니터링되고 있는지에 대한 약간의 인식을 얻을 수 있고, 이 정보를 인간 취급자를 [82]속이기 위해 사용할 수 있습니다.보스트롬은 그러한 인공지능이 [4]통제할 수 있는 "결정적인 전략적 이점"을 달성할 때까지 인간의 간섭을 방지하기 위해 행동할 수 있다고 말합니다.
  • 내부를 분석하고 현재의 큰 언어 모델의 행동을 해석하는 것은 어렵습니다.더 크고 더 지능적인 [80]모델의 경우 더욱 어려울 수 있습니다.

대안적으로, 어떤 사람들은 초지능이 도덕, 인간의 가치, 그리고 복잡한 목표를 더 잘 이해할 수 있을 것이라고 믿는 이유를 발견합니다.보스트롬은 "미래의 초지능은 인식론적으로 우월한 이점을 차지한다: 그것의 믿음은 아마도 우리의 믿음보다 [4]사실일 가능성이 더 높다"고 제안합니다.

2023년 오픈AI는 4년 만에 초지능의 정렬을 해결하기 위해 "초정렬"이라는 프로젝트를 시작했습니다.그들은 초지능이 10년 안에 달성될 수 있을 것이라고 말했기 때문에 이것을 특히 중요한 도전이라고 설명했습니다.그들의 전략은 인공지능을 [83]이용한 정렬 연구를 자동화하는 것입니다.

완벽한 디자인의 어려움

인공지능: 널리 사용되는 학부 AI 교재인 [84][85]모던 어프로치는 초지능이 "인류의 [1]종말을 의미할 수도 있다"고 말합니다.여기에는 "거의 모든 기술은 잘못된 손에 해를 끼칠 가능성이 있지만, [초지능]을 사용하면 잘못된 손이 [1]그 기술 자체에 속할 수 있다는 새로운 문제가 있습니다." 시스템 설계자가 좋은 의도를 가지고 있다고 할지라도, 두 가지 어려움은 인공지능과 비인공지능 컴퓨터 [1]시스템 모두에 공통적으로 있습니다.

  • 시스템의 구현에는 처음에는 인식하지 못했지만 나중에는 치명적인 버그가 포함될 수 있습니다.이와 유사한 것이 우주 탐사선인데, 값비싼 우주 탐사선의 버그는 발사 후 고치기 어렵다는 것을 알고 있음에도 불구하고, 엔지니어들은 역사적으로 재앙적인 버그가 [86][87]발생하는 것을 막을 수 없었습니다.
  • 시스템의 사양은 배포 전 설계에 아무리 많은 시간이 소요되더라도 새로운 시나리오를 처음 접했을 때 의도하지 않은 동작으로 이어지는 경우가 많습니다.예를 들어, 마이크로소프트의 Tay는 배포 전 테스트 중에 공격적으로 행동했지만 [20]실제 사용자와 상호 작용할 때에는 너무 쉽게 공격적으로 행동했습니다.

AI 시스템은 세 번째 문제를 독특하게 추가합니다. 즉, "올바른" 요구 사항, 버그 없는 구현 및 초기 양호한 행동이 주어진 경우에도 AI 시스템의 동적 학습 능력이 예기치 않은 외부 시나리오 없이 의도하지 않은 행동을 하는 시스템으로 진화할 수 있다는 것입니다.인공지능은 부분적으로 자신의 새로운 세대를 설계하려는 시도를 방해하고 자신보다 더 강력한 후계 인공지능을 실수로 만들 수 있지만, 원래 인공지능에 미리 프로그래밍된 인간과 호환되는 도덕적 가치를 더 이상 유지하지는 않습니다.스스로 개선하는 인공지능이 완전히 안전하기 위해서는 버그가 없을 뿐만 아니라 [1][88]버그가 없는 후속 시스템을 설계할 수 있어야 합니다.

직교성 논제

티모시 B 같은 회의론자들도 있습니다.복스의 리(Lee)는 인간이 만든 어떤 초지능 프로그램도 인간에게 복종할 것이며, 초지능은 (점점 더 지능화되고 세상에 대한 사실들을 더 많이 알게 되면서) 자발적으로 인간의 가치에 부합하는 도덕적 진리를 배우고 그에 따라 목표를 조정할 것이라고 주장합니다.또는 인공지능의 [89]관점에서 인간이 본질적으로 또는 수렴적으로 가치가 있다는 것입니다.

대신 닉 보스트롬의 "직교성 논제"는 몇 가지 기술적인 주의점만 있다면 거의 모든 수준의 "지능" 또는 "최적화 능력"을 거의 모든 궁극적인 목표와 결합할 수 있다고 주장합니다.만약 어떤 기계에 파이의 소수점을 열거하는 유일한 목적이 주어진다면, 어떤 도덕적, 윤리적 규칙도 기계가 그것의 계획된 목표를 달성하는 것을 막지 못할 것입니다.기계는 가능한 [90]한 많은 파이의 소수점을 찾기 위해 이용 가능한 모든 물리적 및 정보적 자원을 활용할 수 있습니다.보스트롬은 의인화에 대해 경고합니다. 인간은 자신이 합리적이라고 생각하는 방식으로 자신의 프로젝트를 수행하기 시작하는 반면, 인공지능은 자신의 존재나 주변 인간의 복지에 대해 전혀 고려하지 않고 대신 [91]작업의 완성에만 관심을 가질 수 있습니다.

스튜어트 암스트롱(Stuart Armstrong)은 직교성 논제가 도덕적 현실주의에 대한 철학적 "is-ought difference" 주장으로부터 논리적으로 따른다고 주장합니다.그는 어떤 "합리적" 대리인에 의해 증명될 수 있는 도덕적 사실이 존재하더라도, 직교성 논제는 여전히 유효하다고 주장합니다: 어떤 좁은 목표를 향해 노력할 수 있는 비철학적인 "최적화 기계"를 만드는 것은 여전히 가능할 것입니다.그러나 이는 목표 달성에 방해가 될 수 있는 사실과 같은 "부정적 사실"을 발견할 유인이 없습니다.그가 주장하는 또 다른 주장은 근본적으로 우호적인 인공지능은 그것의 유용성 기능을 부정하는 것처럼 간단한 수정을 통해 비우호적으로 만들 수 있다는 것입니다.Armstrong은 또한 직교성 논제가 거짓이라는 것은 AI가 결코 달성할 수 없는 비도덕적인 목표들이 있다는 것을 의미할 것이며, 이것은 그에게 있을 수 없는 [92]결과라고 주장합니다.

회의론자 마이클 초로스트는 보스트롬의 직교성 논문을 명백하게 거부하며, 대신 "인공지능이 태양 전지판으로 지구를 타일링하는 것을 상상할 수 있는 위치에 있을 때쯤이면 그렇게 [93]하는 것이 도덕적으로 잘못된 것이라는 것을 알게 될 것입니다."라고 주장합니다.Chorost는 "A.I. 특정한 주를 원하고 다른 주를 싫어해야 할 것입니다.오늘날의 소프트웨어는 그러한 능력이 부족합니다. 컴퓨터 과학자들은 그것을 어떻게 달성해야 하는지 전혀 알지 못합니다.원하지 않으면, 아무것도 할 자극이 없습니다.오늘날의 컴퓨터는 세상을 태양 [93]전지판으로 타일을 붙이는 것은 말할 것도 없고 존재를 유지하고 싶어하지도 않습니다."

의인화된 주장

의인화된 주장은 기계가 더 지능화됨에 따라 도덕성이나 권력에 대한 갈증과 같은 많은 인간의 특성을 보이기 시작할 것이라고 가정합니다.소설에서는 의인화된 시나리오가 흔하지만, 대부분의 학자들은 인공지능의 [18]실존적 위험에 대해 글을 쓰는 것을 거부합니다.대신, 첨단 AI 시스템은 일반적으로 지능형 에이전트로 모델링됩니다.

학문적 논쟁은 AI가 인류를 파괴하지 않을까 우려하는 한쪽과 AI가 인류를 파괴하지 않을 것이라고 믿는 다른 쪽 사이에 있습니다.양측은 인공지능의 행동에 대한 다른 사람들의 예측이 비논리적인 [18]의인화라고 주장했습니다.그 회의론자들은 AGI가 자연스럽게 권력을 원할 것이라고 믿는 의인화론자들을 비난하고, 지지자들은 AGI가 자연스럽게 인간의 윤리적 규범을 가치 있게 여길 [18][94]것이라고 믿는 일부 회의론자들을 비난합니다.

회의론자인 진화심리학자 스티븐 핑커는 다음과 같이 주장합니다.인공지능 디스토피아는 지능의 개념에 편협한 알파-남성 심리학을 투영합니다.그들은 초인적으로 지능적인 로봇들이 그들의 주인을 퇴위시키거나 세계를 점령하는 것과 같은 목표를 개발할 것이라고 가정합니다; 대신에 아마도 "인공지능은 자연스럽게 여성의 노선을 따라 발전할 것입니다: 완전히 문제를 해결할 수 있지만, 무고한 사람들을 섬멸하거나 [95]문명을 지배하려는 욕망은 없습니다."페이스북의 AI 연구 책임자인 얀 르쿤은 "인간은 자기 보존 본능처럼 서로에게 나쁜 짓을 하게 만드는 모든 종류의 추진력을 가지고 있습니다.그 드라이브들은 우리 뇌에 프로그램되어 있지만,[96] 같은 종류의 드라이브를 가진 로봇을 만들 이유는 전혀 없습니다."

다른 차이에도 불구하고, x-리스크[b] 스쿨은 첨단 인공지능이 "복수"나 "분노"와 같은 인간의 감정으로부터 인류를 파괴하지 않을 것이며, 의식에 대한 질문은 [97]위험을 평가하는 것과 관련이 없으며, 컴퓨터 시스템은 일반적으로 [98]테스토스테론과 동등한 계산 기능을 가지고 있지 않다는 핑커의 의견에 동의합니다.그들은 도구적 융합의 개념에 따라 진정한 목표를 달성하기 위한 방법으로 권력 추구나 자기 보존 행동이 인공지능에 나타난다고 생각합니다.

기타 위험원

참고 항목:인공지능의 윤리, 인공지능 군비경쟁, 글로벌 재앙적 위험

닉 보스트롬과 다른 사람들은 AGI를 만드는 최초의 경쟁자가 되기 위한 경쟁은 안전상의 지름길이나 심지어 폭력적인 [99][100]갈등으로 이어질 수 있다고 말했습니다.Roman Yampolskyi와 다른 사람들은 악의적인 AGI가 예를 들어 군대, 정부, 소시오패스, 또는 회사에 의해 사이버 [101][102]범죄에서처럼 특정 집단의 사람들로부터 이익을 얻거나, 통제하거나, 예를 들어, 악의적인 AGI가 인간의 고통을 증가시키는 목표를 선택할 수 있다고 경고합니다.예를 들어,[3]:158 정보 폭발 단계에서 그것을 돕지 않은 사람들의 경우입니다.

시나리오

자세한 정보:소설 속 인공지능과 AI 탈취

일부 학자들은 그들의 우려를 설명하기 위해 가상 시나리오를 제안했습니다.

배반전

슈퍼 인텔리전스에서 닉 보스트롬(Nick Bostrom)은 슈퍼 인텔리전스의 일정이 예측 가능한 것으로 밝혀지더라도 연구원들이 충분한 안전 예방 조치를 취하지 않을 수 있다고 우려합니다. 그 이유는 부분적으로 "바보일 때는 더 똑똑하지만 더 똑똑할 때는 더 위험한 경우"가 될 수 있기 때문입니다.보스트롬은 수십 년에 걸쳐 AI가 더욱 강력해지는 시나리오를 제시합니다.무인 버스가 마주 오는 차선으로 선회하거나 군용 드론이 무고한 군중을 향해 발포하는 등 광범위한 전개가 처음에는 종종 발생하는 사고로 인해 방해를 받기도 합니다.많은 활동가들은 더 엄격한 감시와 규제를 요구하고 있고, 심지어 일부는 임박한 재앙을 예측하고 있습니다.하지만 발전이 계속되면서 활동가들은 잘못된 것으로 판명되었습니다.자동차 인공지능이 똑똑해질수록 사고가 적어지고, 군사용 로봇이 더 정확한 목표를 달성할수록 부수적인 피해가 적어집니다.데이터를 바탕으로 학자들은 인공지능이 더 똑똑할수록 더 안전하다는 광범위한 교훈을 잘못 추론합니다.초지능 인공지능이 "위험한 방향"을 잡고 결정적인 전략적 [4]이점을 활용하기 때문에 "따라서 우리는 과감하게 회전하는 칼에 들어간다.

라이프 3.0

Max Tegmark의 2017년 저서 Life 3.0에서 기업의 "Omega team"은 여러 영역에서 자신의 소스 코드를 적당히 개선할 수 있는 매우 강력한 AI를 만듭니다.일정 시점이 지나면, 그 팀은 프로젝트에 대한 규제나 몰수를 피하기 위해 공개적으로 AI의 능력을 축소하기로 결정합니다.안전을 위해 연구팀은 AI를 외부와 소통할 수 없는 상자에 보관하고 아마존 메카니컬 터크 작업, 애니메이션 영화 및 TV 쇼 제작, 바이오 의약품 개발 등 다양한 방법으로 돈을 버는 데 사용하며 수익은 AI를 더욱 향상시키는 데 다시 투자합니다.그 팀은 전쟁을 막기 위해 "더 큰 이익을 위해" 사용하기 위해 정치적 영향력을 얻기 위해 익명의 시민 기자와 논평가로 이루어진 군대를 성광으로 터핑하는 AI를 다음으로 처리합니다.이 팀은 AI가 설계하는 시스템에 "뒷문"을 삽입하거나, 제작된 콘텐츠에 숨겨진 메시지를 삽입하거나, 인간 행동에 대한 증가하는 이해를 사용하여 누군가가 자유롭게 하도록 설득함으로써 AI가 탈출하려고 할 수 있는 위험에 직면해 있습니다.이 팀은 또한 이 프로젝트를 박스화하기로 한 결정으로 인해 다른 프로젝트가 이 [103][104]프로젝트를 추월할 수 있을 정도로 프로젝트가 지연될 위험에 직면해 있습니다.

원근법

AI가 실존적 위험을 초래할 수 있다는 가설은 일반 대중뿐만 아니라 과학계 내에서도 광범위한 반응을 불러일으킵니다.그러나 반대되는 많은 관점들은 공통점을 가지고 있습니다.

관찰자들은 AI가 [105][106]사회를 개선할 수 있는 상당한 잠재력을 가지고 있다는 것에 동의하는 경향이 있습니다.미래생명연구원 유익한 AI 2017 [104]콘퍼런스 참석자의 90%가 동의한 원칙만 담은 아실로마 AI 원칙도 "합의가 이뤄지지 않고 있어 미래 AI 역량에 대한 상한에 대한 강력한 가정을 피해야 한다", "첨단 AI는 심오한 의미를 나타낼 수 있다"는 원칙에 동의합니다.지구 생명체의 역사의 변화, 적절한 관리와 [107][108]자원으로 계획되고 관리되어야 합니다."

반대로, 많은 회의론자들은 인공 일반 지능의 의미에 대한 지속적인 연구가 가치 있다는 것에 동의합니다.회의론자 마틴 포드는 "딕 체니의 유명한 '1퍼센트 독트린'과 같은 것을 첨단 인공지능의 망령에 적용하는 것이 현명해 보입니다. 최소한 가까운 미래에 그것이 발생할 가능성은 매우 낮을 수 있지만, 그 영향은 매우 극적이어서 [109]진지하게 받아들여져야 합니다."라고 말합니다.이와 유사하게, 회의적인 이코노미스트는 2014년에 "두 번째 지능 종을 지구에 도입하는 것의 영향은 전망이 [46]멀게 보일지라도 숙고할 가치가 있을 만큼 광범위합니다."라고 말했습니다.

보스트롬과 테크마크와 같은 인공지능 안전 옹호자들은 주류 언론이 인공지능 안전에 대한 우려를 설명하기 위해 "저 무미건조한 터미네이터 사진들"을 사용하는 것을 비판했습니다: "한 사람의 학문, 전문적인 공동체, 한 사람의 삶의 일에 대한 비난을 던지는 것은 그리 재미있을 수 없습니다.저는 모든 당사자들이 [104][110]인내와 자제를 실천하고 가능한 한 직접적인 대화와 협력에 참여할 것을 요구합니다."토비 오드(Toby Ord)는 AI 인수를 위해서는 로봇이 필요하다는 생각은 잘못된 생각이라며 인터넷을 통해 콘텐츠를 전파하는 능력이 더 위험하다며 역사상 가장 해를 끼치는 인간은 체력이 [66]아닌 설득력이 돋보였다고 주장했습니다.

2022년 전문가 조사에서는 응답률 17%로 인공지능에서 [14][111]인간이 멸종할 가능성에 대해 중간값인 5~10%를 예상했습니다.

배서

자세한 정보:전 지구적 대재앙 위험

AI가 실존적 위험을 내포하고 있으며 이러한 위험은 현재보다 훨씬 더 많은 관심을 필요로 한다는 주장은 앨런 튜링,[c] 가장 많이 인용된 컴퓨터 과학자 제프리 힌튼,[114] 엘론 머스크,[115] 오픈AI CEO 샘 알트먼,[116][117] 빌 게이츠, 스티븐 [117]호킹 등 많은 컴퓨터 과학자와 공인들에 의해 지지를 받고 있습니다.이 논문의 지지자들은 때때로 회의론자들에게 당혹감을 표하기도 합니다: 게이츠는 "왜 일부 사람들이 [118]걱정하지 않는지 이해하지 못한다"고 진술하고, 호킹은 2014년 사설에서 광범위한 무관심을 비판했습니다.

따라서, 헤아릴 수 없는 이익과 위험의 가능성에 직면하여, 전문가들은 최고의 결과를 보장하기 위해 가능한 모든 것을 하고 있습니다, 그렇죠?틀렸어.만일 우수한 외계 문명이 '우리는 몇 십 년 안에 도착할 것이다'라는 메시지를 우리에게 보냈다면, 우리는 그냥 '좋아, 도착하면 전화해, 불을 켜놓을 거야?'라고 대답할까요? 아마 아닐 거예요, 하지만 이것은 [31]인공지능에서 일어나고 있는 일들입니다.

인공지능으로 인한 위험에 대한 우려는 일부 세간의 이목을 끄는 기부와 투자로 이어졌습니다.2015년, 피터 티엘, 아마존 웹 서비스, 머스크 등이 공동으로 오픈에 10억 달러를 투자했습니다.영리법인과 책임 있는 AI [119]개발을 옹호하기 위한 비영리 모기업으로 구성된 AI.Facebook의 공동 설립자인 Dustin Moskovitz는 AI [120]Alignment를 연구하는 여러 연구소에 자금을 지원하고 시드를 제공했으며, 특히 Stuart [121]Russell 교수가 이끄는 인간 호환 AI 센터를 출범시키기 위해 2016년 550만 달러를 투자했습니다.2015년 1월, 일론 머스크는 AI 의사 결정을 이해하는 연구에 자금을 지원하기 위해 Future of Life Institute에 1,000만 달러를 기부했습니다.이 연구소의 목표는 성장하는 기술의 힘을 "관리하는 지혜를 키우는 것"입니다.머스크는 딥마인드나 바카리스와 같은 인공지능을 개발하는 회사들이 "인공지능에 [122]무슨 일이 일어나고 있는지 주시할 뿐"[123][124]이라며 "나는 그곳에 잠재적으로 위험한 결과가 있다고 생각한다"고 자금을 지원하기도 합니다.

딥 러닝의 주요 선구자인 제프리 힌튼은 이 주제에 대한 초기 진술에서 "덜 지능적인 것이 더 큰 지능의 것들을 통제하는 좋은 기록이 없다"고 언급했지만, "발견의 전망이 너무 [125][126]달콤하기 때문에" 연구를 계속하고 있다고 말했습니다.2023년 힌튼은 AI로 인한 실존적 위험에 대해 목소리를 내기 위해 구글을 그만뒀습니다.그는 초인적 인공지능이 이전에 믿었던 것보다 더 가까워질 수도 있다는 우려가 그의 우려 증가를 이끌었다고 설명했습니다. "저는 그것이 매우 잘못된 것이라고 생각했습니다.30년에서 50년 또는 그 이상의 시간이 걸릴 것이라고 생각했습니다.분명히, 저는 더 이상 그렇게 생각하지 않습니다."그는 또 "5년 전의 모습과 지금의 모습을 보라.차이를 가져다가 앞으로 전파합니다.무섭네요."[127]

그의 2020년 저서, The Procpice: 옥스포드 대학교 인류의 미래 연구소의 수석 연구원인 토비 오드(Toby Ord)는 향후 100년 동안 비동맹 AI로 인한 총 실존 위험을 약 [66]10분의 1로 추정합니다.

회의론

자세한 정보:인공 일반 지능 § 실현 가능성

인공지능이 실존적인 위험을 초래할 수 있다는 주장은 많은 반대자들을 가지고 있습니다.회의론자들은 때때로 이 논문이 전능한 신에 대한 비이성적인 믿음을 대체할 수 있는 초지능의 가능성에 대한 비이성적인 믿음과 함께 암호 종교적이라고 비난합니다.Jaron Lanier는 2014년에 [128][129]당시의 기계가 어떤 식으로든 지능적이라는 개념 전체가 부유층에 의한 "착시"와 "놀라운 사기"라고 주장했습니다.

AGI가 단기적으로 가능성이 낮다는 비판도 있습니다.AI 연구원 로드니 브룩스(Rodney Brooks)는 2014년에 "향후 수백 년 동안 언제든지 악의적인 AI가 발생할 것을 걱정하는 것은 실수라고 생각합니다.저는 이러한 우려가 AI의 특정 측면에서 매우 최근의 발전과 민감한 [130]자발적 지능을 구축하는 것의 중대성과 복잡성의 차이를 구분하지 못한 근본적인 오류에서 비롯되었다고 생각합니다."앤드류 응 바이두 부총재는 2015년 AI의 실존적 위험은 "우리가 [95][131]아직 화성에 발도 들여놓지 않은 상황에서 화성의 인구 과잉을 걱정하는 것과 같다"고 말했습니다.통제되지 않는 첨단 인공지능의 위험이 실현되기 위해서는 가상의 인공지능이 인간을 제압하거나 능가해야 할 수도 있는데, 일부 전문가들은 이것이 [132][133]미래에는 연구할 가치가 없을 만큼 충분히 먼 가능성이라고 주장합니다.

AGI가 단기적인 가능성이 아니라고 믿는 회의론자들은 종종 AI로 인한 실존적인 위험에 대한 염려가 사람들을 AI의 영향에 대한 더 즉각적인 염려로부터 주의를 산만하게 할 수 있기 때문에 도움이 되지 않는다고 주장합니다. 왜냐하면 그것은 정부의 규제로 이어질 수 있거나 AI 연구에 자금을 대는 것을 더 어렵게 만들 수 있기 때문입니다.혹은 그 [134]분야의 명성을 손상시킬 수 있기 때문입니다.AI 및 AI 윤리 연구원인 팀니트 게브루(Timnit Gebru), 에밀리 M. 벤더(Emily M. Bender), 마가렛 미첼(Margaret Mitchell), 안젤리나 맥밀란 메이저(Angelina McMillan-Major)는 실존적 위험에 대한 논의가 데이터 도난, 노동자 착취, 편향, [135]권력 집중 등 오늘날 발생하는 AI의 즉각적이고 지속적인 해악으로부터 주의를 딴 데로 돌린다고 주장했습니다.그들은 또한 실존적 위험에 대한 경고와 장기주의 사이의 연관성에 주목하고 있는데, 그들은 이를 비과학적이고 유토피아적인 [136]성격의 "위험한 이념"이라고 설명합니다.

Wired Editor Kevin Kelly는 자연 지능은 AGI 지지자들이 믿는 것보다 더 미묘하며, 지능만으로는 과학 및 사회적으로 중대한 돌파구를 마련하기에 충분하지 않다고 주장합니다.그는 지능은 잘 이해되지 않는 여러 차원으로 구성되어 있으며, '지능 사다리'라는 개념은 오해의 소지가 있다고 주장합니다.그는 실제 실험이 과학적 방법에서 수행하는 중요한 역할을 하며, 지능만으로는 이러한 [137]실험을 대체할 수 없다고 지적합니다.

메타 수석 AI 과학자 얀 르쿤은 AI가 자동차나 로켓으로 과거에 있었던 것과 유사하게 지속적이고 반복적인 개선을 통해 안전하게 만들 수 있으며, AI가 [138]통제하려는 욕구가 없을 것이라고 말합니다.

몇몇 회의론자들은 AI의 잠재적인 단기적 이익을 강조합니다.마크 저커버그 메타 최고경영자(CEO)는 AI가 질병을 [139]치료하고 자율주행차의 안전성을 높이는 등 "긍정적인 것들을 엄청나게 많이 풀어줄 것입니다.AI 위험 회의론자인 물리학자 미치오 카쿠는 결정론적으로 긍정적인 결과를 제시합니다.그는 미래의 물리학에서 "로봇이 상승하려면 수십 년이 걸릴 것"이라며, 그 사이 핸슨 로보틱스와 같은 기업들이 "사랑할 수 있고 인간 [140][141]가족의 자리를 얻을 수 있는" 로봇을 만드는 데 성공할 것이라고 주장합니다.

대중적 반응

2014년 디 아틀란틱(The Atlantic)의 기사에서 제임스 햄블린(James Hamblin)은 대부분의 사람들이 인공 일반 지능에 대해 신경 쓰지 않는다고 언급하고, 이 주제에 대한 자신의 직감적인 반응을 다음과 같이 특징지었습니다. "여기서 나가요.저는 지금 바로 이 순간에 걱정되는 것이 수십만 가지 있습니다.여기에 기술적 특이점을 추가해야 하나요?"[128]

2016년 버락 오바마 대통령과 MIT 미디어 랩의 조이 이토(Joi Ito)와의 유선 인터뷰에서 이토는 다음과 같이 말했습니다.

앞으로 10년 안에 일반화된 AI가 일어날 가능성이 상당히 높다고 믿는 몇몇 사람들이 있습니다.하지만 제가 보기에 그런 일이 일어나려면 12개 혹은 2개의 다른 돌파구가 필요할 것 같습니다.따라서 이러한 돌파구가 언제 열릴 것이라고 생각하는지 모니터링할 수 있습니다.

오바마는 다음과 같이 덧붙였습니다.[142][143]

그리고 전원 코드에 가까운 사람이 있으면 됩니다.[웃음.]곧 일어날 일을 보게 되면, 그 전기를 벽 밖으로 빼내야 합니다.

Hillary Clinton은 What Happened에서 다음과 같이 말했습니다.

기술자들은...인공지능은 언젠가 실존적인 보안 위협을 가할 수 있다고 경고했습니다.머스크는 이를 "문명으로서 우리가 직면한 가장 큰 위험"이라고 불렀습니다.생각해 보세요: 기계가 스스로 생각하기 시작해서 잘 끝나는 영화를 본 적이 있나요?선거운동 기간 동안 실리콘밸리에 나갈 때마다 저는 이 점에 대해 더욱 경각심을 갖고 집에 왔습니다.직원들은 제가 아이오와 시청에서 "로봇의 등장"에 대해 이야기하기 시작할까 봐 두려워하며 살았습니다.아마도 나는 그래야 할지도.어떤 경우에도 정책 입안자들은 항상 [144]따라잡기를 하는 대신 앞서가는 기술을 따라잡아야 합니다.

일부 인기 소설에서 표현된 한 가지 테크노 유토피아적 관점은 AGI가 평화 [145]구축을 지향할 수도 있다는 것입니다.

대국민 설문조사

2018년 USA Today가 미국 대중을 대상으로 실시한 SurveyMonkey 여론조사에서 68%가 현재의 위협이 "인간의 지능"으로 남아 있다고 생각하는 것으로 나타났습니다. 그러나 이 여론조사는 또한 43%가 초지능 AI가 발생할 경우 "좋은 것보다 나쁜 것"을 초래할 것이라고 답했으며 38%는 "같은 양의 해악과 좋은 [146]것"을 할 것이라고 말했습니다.

2023년 4월 YouGov가 미국 성인들을 대상으로 실시한 여론조사에 따르면 응답자의 46%가 "AI가 지구상 인류의 종말을 초래할 가능성"에 대해 "약간 우려"하거나 "매우 우려"하는 것으로 나타났는데, 이에 비해 "매우 우려하지 않는다"거나 [147]"전혀 우려하지 않는다"는 40%가 "걱정하지 않는다"고 답했습니다.

경감

참고 항목:인공지능 정렬, 기계윤리, 우호적 인공지능, 인공지능 규제

AGI의 실존적 위험을 우려하는 많은 학자들은 가장 좋은 접근법은 어떤 종류의 안전장치, 알고리즘, 그리고 어려운 "통제 문제"를 해결하기 위한 실질적인 연구를 수행하는 것이라고 믿고 있습니다.또는 프로그래머가 재귀적으로 향상된 인공지능이 [4][148]초지능에 도달한 후에도 우호적인 방식으로 계속 행동할 확률을 극대화하기 위해 구현할 수 있습니까?사회적 조치는 AGI의 실존적 [149][150]위험을 완화시킬 수 있습니다. 예를 들어, 이타적인 AGI만 [151]생성되도록 보장하는 UN이 후원하는 "유혜적 AGI 조약"에 대한 한 가지 권고 사항입니다.마찬가지로, ASI가 잠재적으로 [152][153]서명국이 될 가능성이 있는 국제 관계 이론에 근거한 세계 평화 조약과 마찬가지로 군비 통제 접근법이 제안되었습니다.

구글의 연구원들은 일반적인 연구를 제안했습니다."AI 안전" 문제는 좁은 AI로 인한 단기적 위험과 [154][155]AGI로 인한 장기적 위험을 동시에 완화하는 것입니다.2020년 추정치에 따르면 AI에 대한 전 세계 지출은 약 400억 달러인 것에 비해 약 1천만 달러에서 5천만 달러인 것으로 나타났습니다.보스트롬은 잠재적으로 위험한 [76]기술보다 보호 기술의 자금 지원이 우선되어야 한다고 제안합니다.Elon Musk와 같은 일부 자금 지원자들은 인간의 급진적인 인지 향상이 예를 들어 인간과 기계 사이의 직접적인 신경 연결과 같은 기술이 될 수 있다고 제안합니다. 그러나 다른 이들은 향상 기술 자체가 실존적인 [156][157]위험을 초래할 수 있다고 주장합니다.연구원들은 초기 인공지능이 너무 강력해질 위험을 무릅쓰고 면밀히 모니터링하거나 "박스에 넣으려고" 시도할 수 있습니다.지배적인 초지능 AI가 인간의 이익과 일치한다면, 지배적인 AI의 생성 자체가 실존적인 [158]위험을 초래할 수 있지만, 경쟁 AI에 의한 인수의 위험을 완화하기 위한 조치를 취할 수도 있습니다.

AI 위험과 안전에 대한 연구는 정렬연구센터,[159] 기계지능연구소, 미래인류연구소,[160][161] 미래인류연구소, 미래인류연구소, 존재위험연구센터, 인간호환[162] AI센터 등의 기관이 참여하고 있습니다.

금지 및 규제에 관한 견해

배닝

일부 학자들은 AGI가 실존적인 위험을 내포하더라도 인공지능에 대한 연구를 금지하려는 시도는 여전히 현명하지 못하고 아마도 [163][164][165]소용이 없을 것이라고 말했습니다.회의론자들은 존재하는 위험이 존재하지 않기 때문에 인공지능에 대한 규제는 전혀 가치가 없을 것이라고 주장합니다.그러나 실존적 위험을 믿는 학자들은 AI 연구가 개인의 [166]이익과 직접적으로 상반되기 때문에 AI 산업의 사람들에게 의존하여 규제하거나 제약하는 것은 어렵다고 제안했습니다.학자들은 또한 연구를 금지하는 것이 현명하지 못할 것이라는 회의론자들의 의견에 동의합니다. 왜냐하면 연구가 규제가 느슨한 국가로 옮겨지거나 [166]비밀리에 진행될 수 있기 때문입니다.특히 후자의 문제는 인공지능 연구가 상당한 인프라나 [167][168]자원 없이 소규모로 이루어질 수 있기 때문에 중요합니다.금지(또는 다른 규제)와 관련된 두 가지 추가적인 가상적인 어려움은 기술 기업가들이 통계적으로 정부 규제에 대한 일반적인 회의적인 경향을 보인다는 것과 기업들이 규제와 싸우고 [169]근본적인 논쟁을 정치화할 강력한 동기를 가질 수 있다는 것입니다.

규정

참고 항목:알고리즘 규제와 인공지능 규제

2023년 3월, 생명의 미래 연구소는 거대 AI 실험 일시 중지 초안을 작성했습니다. 공개 서한, 주요 AI 개발자들에게 "GPT-4보다 강력한" 검증 가능한 시스템의 6개월 중단에 동의하고, 그 시간을 안전을 보장하기 위한 프레임워크를 도입하는 데 사용할 것을 촉구하는 청원서입니다. 또는 정부가 모라토리엄으로 개입하지 않을 경우.이 서한은 "지구 생명체 역사의 중대한 변화"의 가능성과 함께 AI가 만들어낸 선전, 일자리 상실, 인간의 노후화, 사회 전반의 [106][170]통제력 상실의 잠재적 위험을 언급했습니다.이 편지에는 AI 분야 저명인사들이 서명했지만, 현재의 [171]해악에 초점을 맞추지 않고, 언제 일시정지해야 하는지[172] 또는 충분히 [173]나아가지 않는 기술적 뉘앙스를 놓쳤다는 비판도 있었습니다.

머스크는 이르면 2017년 AI 개발에 대한 일종의 규제를 요구했습니다.NPR에 따르면, 테슬라 CEO는 자신의 산업에 영향을 미칠 수 있는 정부의 정밀 조사를 옹호하는 것에 대해 "분명히 흥분하지는 않지만, 감독 없이 완전히 진행될 위험이 너무 높다고 생각합니다." "보통 규제가 설정되는 방식은 많은 나쁜 일들이 일어날 때, 대중의 항의가 있을 때,그리고 수년이 지난 후에 규제 기관이 그 산업을 규제하기 위해 설립되었습니다.영원한 시간이 필요합니다.그것은 과거에 문명의 존재에 대한 근본적인 위험을 나타내는 나쁜 것이었지만 그것은 아니었습니다."머스크는 첫 번째 단계는 정부가 현재 연구의 실제 현황에 대한 "통찰력"을 얻는 것이며, "일단 인식이 생기면, 사람들은 극도로 두려워할 것입니다"라고 경고했습니다.그들은 당연히 그래야 합니다."이에 대해 정치인들은 아직 개발 [174][175][176]중인 기술을 규제하는 것이 현명한지에 대해 회의적인 의견을 나타냈습니다.

2021년 유엔은 자율 살상 무기 금지를 고려했지만 합의에 이르지 못했습니다.[177]2023년 7월 유엔 안전보장이사회는 처음으로 회의를 열어 AI가 세계 평화와 안정에 미치는 위험과 위협, 그리고 잠재적 [178][179]이익을 고려했습니다.안토니오 구테흐스 사무총장은 "생성 AI는 규모에 따라 선악의 가능성이 매우 큽니다.제작자 자신들은 훨씬 더 크고, 잠재적으로 재앙적이며, 실존적인 위험이 [17]도사리고 있다고 경고했습니다."회의에서 러시아는 AI 위험이 세계 안정에 대한 위협으로 간주되기에는 너무 나쁘게 이해되고 있다고 말했습니다.중국은 각국이 독자적인 규칙을 개발할 수 있어야 한다며 엄격한 글로벌 규제를 반대하는 한편, AI를 활용해 "군사적 패권을 만들거나 [178]한 나라의 주권을 훼손하는 것에 반대한다"고 주장했습니다.

의식적인 AGIs의 규제는 기존의 인간사회와 통합하는 것에 초점을 맞추고 있으며, 그들의 법적 지위와 [180]인격권에 대한 고려로 나눌 수 있습니다.AI 무기 통제는 법적, 정치적 검증 [181][182]과정과 함께 전문가 공동체의 적극적인 감시와 비공식 외교가 결합된 효과적인 기술 사양으로 구현된 새로운 국제 규범의 제도화를 필요로 할 것입니다.

2023년 7월 미국 정부는 오픈을 포함한 주요 기술 기업들로부터 자발적인 안전 약속을 확보했습니다.AI, 아마존, 구글, 메타, 마이크로소프트.회사들은 AI의 잠재적인 위험과 사회적 피해와 관련된 우려를 해결하기 위해 제3자의 감독과 독립 전문가의 보안 테스트를 포함한 안전 장치를 시행하기로 합의했습니다.당사자들은 규제가 형성되는 동안 중간 단계로 약속을 모았습니다.AI 나우 연구소의 암바 카크 전무는 "기업 주체들과의 비공개 심의가 자발적인 안전장치를 도출하는 것으로는 충분하지 않다"고 논평하고, 기업들이 자발적으로 [183][184]동의하지 않을 종류의 공개 심의와 규제를 요구했습니다.

참고 항목

메모들

  1. ^ 1951년의[9] 강의에서 튜링은 이렇게 주장했습니다. "기계 사고 방식이 일단 시작되면, 우리의 약한 힘을 능가하는 데 오래 걸리지 않을 것입니다.기계들이 죽는다는 것에 대한 의문이 없을 것이고, 그들은 서로 대화하여 그들의 지혜를 날카롭게 만들 수 있을 것입니다.그러므로 어느 단계에서는 Samuel Butler의 Erewhon에 언급된 방식으로 기계가 통제되기를 기대해야 합니다."또한 BBC에서[10] 방송된 강의에서 그는 다음과 같은 의견을 표명했습니다: "만약 기계가 생각할 수 있다면, 그것은 우리보다 더 현명하게 생각할 수 있고, 그러면 우리는 어디에 있어야 할까요?예를 들어 전략적인 순간에 전원을 꺼서 기계를 종속적인 위치에 유지할 수 있다 하더라도, 우리는 종으로서 매우 겸손해야 합니다. 이 새로운 위험은 확실히 우리에게 불안감을 줄 수 있는 것입니다."
  2. ^ 세스 바움이 해석한 바와 같이
  3. ^ 1951년의[112] 강의에서 튜링은 이렇게 주장했습니다. "기계 사고 방식이 일단 시작되면, 우리의 약한 힘을 능가하는 데 오래 걸리지 않을 것입니다.기계들이 죽는다는 것에 대한 의문이 없을 것이고, 그들은 서로 대화하여 그들의 지혜를 날카롭게 만들 수 있을 것입니다.그러므로 어느 단계에서는 Samuel Butler의 Erewhon에 언급된 방식으로 기계가 통제되기를 기대해야 합니다."또한 BBC에서[113] 방송된 한 강연에서 다음과 같이 표현했습니다. "만약 기계가 생각할 수 있다면, 그것은 우리보다 더 현명하게 생각할 수 있고, 그러면 우리는 어디에 있어야 할까요?예를 들어 전략적인 순간에 전원을 꺼서 기계를 종속적인 위치에 유지할 수 있다 하더라도, 우리는 종으로서 매우 겸손해야 합니다. 이 새로운 위험은 확실히 우리에게 불안감을 줄 수 있는 것입니다."

참고문헌

  1. ^ a b c d e f g Russell, Stuart; Norvig, Peter (2009). "26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN 978-0-13-604259-4.
  2. ^ Bostrom, Nick (2002). "Existential risks". Journal of Evolution and Technology. 9 (1): 1–31.
  3. ^ a b Turchin, Alexey; Denkenberger, David (3 May 2018). "Classification of global catastrophic risks connected with artificial intelligence". AI & Society. 35 (1): 147–163. doi:10.1007/s00146-018-0845-5. ISSN 0951-5666. S2CID 19208453.
  4. ^ a b c d e f g h i j k l m n o p q Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (First ed.). Oxford University Press. ISBN 978-0-19-967811-2.
  5. ^ Vynck, Gerrit De (23 May 2023). "The debate over whether AI will destroy us is dividing Silicon Valley". Washington Post. ISSN 0190-8286. Retrieved 27 July 2023.
  6. ^ Metz, Cade (10 June 2023). "How Could A.I. Destroy Humanity?". The New York Times. ISSN 0362-4331. Retrieved 27 July 2023.
  7. ^ ""Godfather of artificial intelligence" weighs in on the past and potential of AI". www.cbsnews.com. 25 March 2023. Retrieved 10 April 2023.
  8. ^ "How Rogue AIs may Arise". yoshuabengio.org. 26 May 2023. Retrieved 26 May 2023.
  9. ^ Turing, Alan (1951). Intelligent machinery, a heretical theory (Speech). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. Archived from the original on 26 September 2022. Retrieved 22 July 2022.
  10. ^ Turing, Alan (15 May 1951). "Can digital computers think?". Automatic Calculating Machines. Episode 2. BBC. Can digital computers think?.
  11. ^ Parkin, Simon (14 June 2015). "Science fiction no more? Channel 4's Humans and our rogue AI obsessions". The Guardian. Archived from the original on 5 February 2018. Retrieved 5 February 2018.
  12. ^ Jackson, Sarah. "The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'". Business Insider. Retrieved 10 April 2023.
  13. ^ "The AI Dilemma". www.humanetech.com. Retrieved 10 April 2023. 50% of AI researchers believe there's a 10% or greater chance that humans go extinct from our inability to control AI.
  14. ^ a b "2022 Expert Survey on Progress in AI". AI Impacts. 4 August 2022. Retrieved 10 April 2023.
  15. ^ Roose, Kevin (30 May 2023). "A.I. Poses 'Risk of Extinction,' Industry Leaders Warn". The New York Times. ISSN 0362-4331. Retrieved 3 June 2023.
  16. ^ Sunak, Rishi (14 June 2023). "Rishi Sunak Wants the U.K. to Be a Key Player in Global AI Regulation". Time.
  17. ^ a b Fung, Brian (18 July 2023). "UN Secretary General embraces calls for a new UN agency on AI in the face of 'potentially catastrophic and existential risks'". CNN Business. Retrieved 20 July 2023.
  18. ^ a b c d e Yudkowsky, Eliezer (2008). "Artificial Intelligence as a Positive and Negative Factor in Global Risk" (PDF). Global Catastrophic Risks: 308–345. Bibcode:2008gcr..book..303Y. Archived (PDF) from the original on 2 March 2013. Retrieved 27 August 2018.
  19. ^ Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015). "Research Priorities for Robust and Beneficial Artificial Intelligence" (PDF). AI Magazine. Association for the Advancement of Artificial Intelligence: 105–114. arXiv:1602.03506. Bibcode:2016arXiv160203506R. Archived (PDF) from the original on 4 August 2019. Retrieved 10 August 2019.Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015). "Research Priorities for Robust and Beneficial Artificial Intelligence" (PDF). AI Magazine. Association for the Advancement of Artificial Intelligence: 105–114. arXiv:1602.03506. Bibcode:2016arXiv160203506R. Archived (PDF) from the original on 4 August 2019. Retrieved 10 August 2019.에 인용된.
  20. ^ a b c Dowd, Maureen (April 2017). "Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse". The Hive. Archived from the original on 26 July 2018. Retrieved 27 November 2017.
  21. ^ "AlphaGo Zero: Starting from scratch". www.deepmind.com. Retrieved 28 July 2023.
  22. ^ 브로이어, 한스 피터'사무엘 버틀러의 '기계의 서'와 '설계로부터의 논쟁'.'2023년 3월 15일 웨이백 머신 현대 문헌학, Vol. 72, No. 4 (May 1975), pp. 365–383
  23. ^ Turing, A M (1996). "Intelligent Machinery, A Heretical Theory". 1951, Reprinted Philosophia Mathematica. 4 (3): 256–260. doi:10.1093/philmat/4.3.256.
  24. ^ Hilliard, Mark (2017). "The AI apocalypse: will the human race soon be terminated?". The Irish Times. Archived from the original on 22 May 2020. Retrieved 15 March 2020.
  25. ^ I.J. Good, "최초의 초지능 기계에 관한 추측" 웨이백 머신에서 2011-11-28 아카이브(HTML 2011년 11월 28일 웨이백 머신에서 아카이브), 컴퓨터의 진보, vol. 6, 1965.
  26. ^ Russell, Stuart J.; Norvig, Peter (2003). "Section 26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN 978-0-13-790395-5. Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.
  27. ^ Barrat, James (2013). Our final invention: artificial intelligence and the end of the human era (First ed.). New York: St. Martin's Press. ISBN 978-0-312-62237-4. In the bio, playfully written in the third person, Good summarized his life's milestones, including a probably never before seen account of his work at Bletchley Park with Turing. But here's what he wrote in 1998 about the first superintelligence, and his late-in-the-game U-turn: [The paper] 'Speculations Concerning the First Ultra-intelligent Machine' (1965) . . . began: 'The survival of man depends on the early construction of an ultra-intelligent machine.' Those were his [Good's] words during the Cold War, and he now suspects that 'survival' should be replaced by 'extinction.' He thinks that, because of international competition, we cannot prevent the machines from taking over. He thinks we are lemmings. He said also that 'probably Man will construct the deus ex machina in his own image.'
  28. ^ Anderson, Kurt (26 November 2014). "Enthusiasts and Skeptics Debate Artificial Intelligence". Vanity Fair. Archived from the original on 22 January 2016. Retrieved 30 January 2016.
  29. ^ Metz, Cade (9 June 2018). "Mark Zuckerberg, Elon Musk and the Feud Over Killer Robots". The New York Times. Archived from the original on 15 February 2021. Retrieved 3 April 2019.
  30. ^ Hsu, Jeremy (1 March 2012). "Control dangerous AI before it controls us, one expert says". NBC News. Archived from the original on 2 February 2016. Retrieved 28 January 2016.
  31. ^ a b c "Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence – but are we taking AI seriously enough?'". The Independent (UK). Archived from the original on 25 September 2015. Retrieved 3 December 2014.
  32. ^ "Stephen Hawking warns artificial intelligence could end mankind". BBC. 2 December 2014. Archived from the original on 30 October 2015. Retrieved 3 December 2014.
  33. ^ Eadicicco, Lisa (28 January 2015). "Bill Gates: Elon Musk Is Right, We Should All Be Scared Of Artificial Intelligence Wiping Out Humanity". Business Insider. Archived from the original on 26 February 2016. Retrieved 30 January 2016.
  34. ^ "Research Priorities for Robust and Beneficial Artificial Intelligence: an Open Letter". Future of Life Institute. Archived from the original on 15 January 2015. Retrieved 23 October 2015.
  35. ^ "Anticipating artificial intelligence". Nature. 532 (7600): 413. 2016. Bibcode:2016Natur.532Q.413.. doi:10.1038/532413a. ISSN 1476-4687. PMID 27121801. S2CID 4399193.
  36. ^ Christian, Brian (6 October 2020). The Alignment Problem: Machine Learning and Human Values. W. W. Norton & Company. ISBN 978-0-393-63582-9. Archived from the original on 5 December 2021. Retrieved 5 December 2021.
  37. ^ Dignum, Virginia (26 May 2021). "AI — the people and places that make, use and manage it". Nature. 593 (7860): 499–500. Bibcode:2021Natur.593..499D. doi:10.1038/d41586-021-01397-x. S2CID 235216649.
  38. ^ "Elon Musk among experts urging a halt to AI training". BBC News. 29 March 2023. Retrieved 9 June 2023.
  39. ^ "Statement on AI Risk". Center for AI Safety. Retrieved 8 June 2023.
  40. ^ "Artificial intelligence could lead to extinction, experts warn". BBC News. 30 May 2023. Retrieved 8 June 2023.
  41. ^ "DeepMind and Google: the battle to control artificial intelligence". The Economist. ISSN 0013-0613. Retrieved 12 July 2023.
  42. ^ "AI timelines: What do experts in artificial intelligence expect for the future?". Our World in Data. Retrieved 12 July 2023.
  43. ^ De Vynck, Gerrit (20 May 2023). "The debate over whether AI will destroy us is dividing Silicon Valley". The Washington Post.
  44. ^ "'The Godfather of A.I.' just quit Google and says he regrets his life's work because it can be hard to stop 'bad actors from using it for bad things'". Fortune. Retrieved 12 July 2023.
  45. ^ "Everything you need to know about superintelligence". Spiceworks. Retrieved 14 July 2023.
  46. ^ a b c "Clever cogs". The Economist. 9 August 2014. Archived from the original on 8 August 2014. Retrieved 9 August 2014. 2016년 3월 4일 비즈니스 인사이더의 Wayback Machine에서 신디케이트론 아카이브
  47. ^ a b Bostrom, Nick (27 April 2015), What happens when our computers get smarter than we are?, retrieved 13 July 2023
  48. ^ "Governance of superintelligence". openai.com. Retrieved 12 July 2023.
  49. ^ "Overcoming Bias: I Still Don't Get Foom". www.overcomingbias.com. Archived from the original on 4 August 2017. Retrieved 20 September 2017.
  50. ^ Cotton-Barratt, Owen; Ord, Toby (12 August 2014). "Strategic considerations about different speeds of AI takeoff". The Future of Humanity Institute. Retrieved 12 July 2023.
  51. ^ Tegmark, Max (25 April 2023). "The 'Don't Look Up' Thinking That Could Doom Us With AI". Time. Retrieved 14 July 2023. As if losing control to Chinese minds were scarier than losing control to alien digital minds that don't care about humans. [...] it's clear by now that the space of possible alien minds is vastly larger than that.
  52. ^ "19 - Mechanistic Interpretability with Neel Nanda". AXRP - the AI X-risk Research Podcast. 4 February 2023. Retrieved 13 July 2023. it's plausible to me that the main thing we need to get done is noticing specific circuits to do with deception and specific dangerous capabilities like that and situational awareness and internally-represented goals.
  53. ^ "Superintelligence Is Not Omniscience". AI Impacts. 7 April 2023. Retrieved 16 April 2023.
  54. ^ a b c d e f g h i Dan Hendrycks; Mantas Mazeika; Thomas Woodside (21 June 2023). "An Overview of Catastrophic AI Risks". arXiv:2306.12001 [cs.CY].
  55. ^ Taylor, Josh; Hern, Alex (2 May 2023). "'Godfather of AI' Geoffrey Hinton quits Google and warns over dangers of misinformation". The Guardian. ISSN 0261-3077. Retrieved 13 July 2023.
  56. ^ "How NATO is preparing for a new era of AI cyber attacks". euronews. 26 December 2022. Retrieved 13 July 2023.
  57. ^ "ChatGPT and the new AI are wreaking havoc on cybersecurity in exciting and frightening ways". ZDNET. Retrieved 13 July 2023.
  58. ^ Toby Shevlane; Sebastian Farquhar; Ben Garfinkel; Mary Phuong; Jess Whittlestone; Jade Leung; Daniel Kokotajlo; Nahema Marchal; Markus Anderljung; Noam Kolt; Lewis Ho; Divya Siddarth; Shahar Avin; Will Hawkins; Been Kim; Iason Gabriel; Vijay Bolina; Jack Clark; Yoshua Bengio; Paul Christiano; Allan Dafoe (24 May 2023). "Model evaluation for extreme risks". arXiv:2305.15324 [cs.AI].
  59. ^ Urbina, Fabio; Lentzos, Filippa; Invernizzi, Cédric; Ekins, Sean (7 March 2022). "Dual use of artificial-intelligence-powered drug discovery". Nature Machine Intelligence. 4 (3): 189–191. doi:10.1038/s42256-022-00465-9. ISSN 2522-5839. PMC 9544280. PMID 36211133.
  60. ^ Walter, Yoshija (27 March 2023). "The rapid competitive economy of machine learning development: a discussion on the social risks and benefits". AI and Ethics: 1. doi:10.1007/s43681-023-00276-7.
  61. ^ "The AI Arms Race Is On. Start Worrying". Time. 16 February 2023. Retrieved 17 July 2023.
  62. ^ Brimelow, Ben. "The short film 'Slaughterbots' depicts a dystopian future of killer drones swarming the world". Business Insider. Retrieved 20 July 2023.
  63. ^ Mecklin, John (17 July 2023). "'Artificial Escalation': Imagining the future of nuclear risk". Bulletin of the Atomic Scientists. Retrieved 20 July 2023.
  64. ^ Doherty, Ben (17 May 2018). "Climate change an 'existential security risk' to Australia, Senate inquiry says". The Guardian. ISSN 0261-3077. Retrieved 16 July 2023.
  65. ^ MacAskill, William (2022). What we owe the future. New York, NY: Basic Books. ISBN 978-1-5416-1862-6.
  66. ^ a b c d Ord, Toby (2020). "Chapter 5: Future Risks, Unaligned Artificial Intelligence". The Precipice: Existential Risk and the Future of Humanity. Bloomsbury Publishing. ISBN 978-1-5266-0021-9.
  67. ^ Samuelsson, Paul Conrad (June–July 2019). "Artificial Consciousness: Our Greatest Ethical Challenge". Philosophy Now. No. 132. Retrieved 19 August 2023.
  68. ^ Brian, Kateman (24 July 2023). "AI Should Be Terrified of Humans". Time. Retrieved 19 August 2023.
  69. ^ Fisher, Richard. "The intelligent monster that you should let eat you". www.bbc.com. Retrieved 19 August 2023.
  70. ^ More, Max (19 June 2023). "Existential Risk vs. Existential Opportunity: A balanced approach to AI risk". Extropic Thoughts. Retrieved 14 July 2023.
  71. ^ 오모훈드로, S. M. (2008, 2월)기본적인 AI 드라이브.AGI에서 (Vol. 171, 페이지 483-492).
  72. ^ Carlsmith, Joseph (16 June 2022). "Is Power-Seeking AI an Existential Risk?". arXiv:2206.13353 [cs.CY].
  73. ^ "'The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power". Fortune. Retrieved 10 June 2023.
  74. ^ Wakefield, Jane (15 September 2015). "Why is Facebook investing in AI?". BBC News. Archived from the original on 2 December 2017. Retrieved 27 November 2017.
  75. ^ Yudkowsky, Eliezer (2011). "Complex Value Systems are Required to Realize Valuable Futures" (PDF). Archived (PDF) from the original on 29 September 2015. Retrieved 10 August 2020.
  76. ^ a b Ord, Toby (2020). The Precipice: Existential Risk and the Future of Humanity. Bloomsbury Publishing Plc. ISBN 978-1-5266-0019-6.
  77. ^ 유드코프스키, E. (2011, 8월)친근한 AI의 복잡한 가치 시스템.인공 일반 지능에 관한 국제 회의(pp. 388-393)에서.스프링거, 베를린, 하이델베르크
  78. ^ Russell, Stuart (2014). "Of Myths and Moonshine". Edge. Archived from the original on 19 July 2016. Retrieved 23 October 2015.
  79. ^ Dietterich, Thomas; Horvitz, Eric (2015). "Rise of Concerns about AI: Reflections and Directions" (PDF). Communications of the ACM. 58 (10): 38–40. doi:10.1145/2770869. S2CID 20395145. Archived (PDF) from the original on 4 March 2016. Retrieved 23 October 2015.
  80. ^ a b Yudkowsky, Eliezer (29 March 2023). "The Open Letter on AI Doesn't Go Far Enough". Time. Retrieved 16 July 2023.
  81. ^ Bostrom, Nick (1 May 2012). "The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents". Minds and Machines. 22 (2): 71–85. doi:10.1007/s11023-012-9281-3. ISSN 1572-8641. S2CID 254835485. as long as they possess a sufficient level of intelligence, agents having any of a wide range of final goals will pursue similar intermediary goals because they have instrumental reasons to do so.
  82. ^ Richard Ngo; Lawrence Chan; Sören Mindermann (22 February 2023). "The alignment problem from a deep learning perspective". arXiv:2209.00626 [cs.AI].
  83. ^ "Introducing Superalignment". openai.com. Retrieved 16 July 2023.
  84. ^ Tilli, Cecilia (28 April 2016). "Killer Robots? Lost Jobs?". Slate. Archived from the original on 11 May 2016. Retrieved 15 May 2016.
  85. ^ "Norvig vs. Chomsky and the Fight for the Future of AI". Tor.com. 21 June 2011. Archived from the original on 13 May 2016. Retrieved 15 May 2016.
  86. ^ Graves, Matthew (8 November 2017). "Why We Should Be Concerned About Artificial Superintelligence". Skeptic (US magazine). Vol. 22, no. 2. Archived from the original on 13 November 2017. Retrieved 27 November 2017.
  87. ^ Johnson, Phil (30 July 2015). "Houston, we have a bug: 9 famous software glitches in space". IT World. Archived from the original on 15 February 2019. Retrieved 5 February 2018.
  88. ^ Yampolskiy, Roman V. (8 April 2014). "Utility function security in artificially intelligent agents". Journal of Experimental & Theoretical Artificial Intelligence. 26 (3): 373–389. doi:10.1080/0952813X.2014.895114. S2CID 16477341. Nothing precludes sufficiently smart self-improving systems from optimising their reward mechanisms in order to optimisetheir current-goal achievement and in the process making a mistake leading to corruption of their reward functions.
  89. ^ "Will artificial intelligence destroy humanity? Here are 5 reasons not to worry". Vox. 22 August 2014. Archived from the original on 30 October 2015. Retrieved 30 October 2015.
  90. ^ Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies. Oxford, United Kingdom: Oxford University Press. p. 116. ISBN 978-0-19-967811-2.
  91. ^ Bostrom, Nick (2012). "Superintelligent Will" (PDF). Nick Bostrom. Archived (PDF) from the original on 28 November 2015. Retrieved 29 October 2015.
  92. ^ Armstrong, Stuart (1 January 2013). "General Purpose Intelligence: Arguing the Orthogonality Thesis". Analysis and Metaphysics. 12. Archived from the original on 11 October 2014. Retrieved 2 April 2020. 전문은 2020년 3월 25일 Wayback Machine에서 보관함.
  93. ^ a b Chorost, Michael (18 April 2016). "Let Artificial Intelligence Evolve". Slate. Archived from the original on 27 November 2017. Retrieved 27 November 2017.
  94. ^ "Should humans fear the rise of the machine?". The Telegraph (UK). 1 September 2015. Archived from the original on 12 January 2022. Retrieved 7 February 2016.
  95. ^ a b Shermer, Michael (1 March 2017). "Apocalypse AI". Scientific American. 316 (3): 77. Bibcode:2017SciAm.316c..77S. doi:10.1038/scientificamerican0317-77. PMID 28207698. Archived from the original on 1 December 2017. Retrieved 27 November 2017.
  96. ^ "Intelligent Machines: What does Facebook want with AI?". BBC News. 14 September 2015. Retrieved 31 March 2023.
  97. ^ Baum, Seth (30 September 2018). "Countering Superintelligence Misinformation". Information. 9 (10): 244. doi:10.3390/info9100244. ISSN 2078-2489.
  98. ^ "The Myth Of AI". www.edge.org. Archived from the original on 11 March 2020. Retrieved 11 March 2020.
  99. ^ Bostrom, Nick, Superintelligence: paths, dangers, strategies (Audiobook), ISBN 978-1-5012-2774-5, OCLC 1061147095
  100. ^ Sotala, Kaj; Yampolskiy, Roman V (19 December 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1): 12. Bibcode:2015PhyS...90a8001S. doi:10.1088/0031-8949/90/1/018001. ISSN 0031-8949.
  101. ^ Pistono, Federico; Yampolskiy, Roman V. (9 May 2016). Unethical Research: How to Create a Malevolent Artificial Intelligence. OCLC 1106238048.
  102. ^ Haney, Brian Seamus (2018). "The Perils & Promises of Artificial General Intelligence". SSRN Working Paper Series. doi:10.2139/ssrn.3261254. ISSN 1556-5068. S2CID 86743553.
  103. ^ Russell, Stuart (30 August 2017). "Artificial intelligence: The future is superintelligent". Nature. 548 (7669): 520–521. Bibcode:2017Natur.548..520R. doi:10.1038/548520a. S2CID 4459076.
  104. ^ a b c Max Tegmark (2017). Life 3.0: Being Human in the Age of Artificial Intelligence (1st ed.). Mainstreaming AI Safety: Knopf. ISBN 978-0-451-48507-6.
  105. ^ Kumar, Vibhore. "Council Post: At The Dawn Of Artificial General Intelligence: Balancing Abundance With Existential Safeguards". Forbes. Retrieved 23 July 2023.
  106. ^ a b "Pause Giant AI Experiments: An Open Letter". Future of Life Institute. Retrieved 30 March 2023.
  107. ^ "AI Principles". Future of Life Institute. 11 August 2017. Archived from the original on 11 December 2017. Retrieved 11 December 2017.
  108. ^ "Elon Musk and Stephen Hawking warn of artificial intelligence arms race". Newsweek. 31 January 2017. Archived from the original on 11 December 2017. Retrieved 11 December 2017.
  109. ^ Martin Ford (2015). "Chapter 9: Super-intelligence and the Singularity". Rise of the Robots: Technology and the Threat of a Jobless Future. Basic Books. ISBN 978-0-465-05999-7.
  110. ^ Bostrom, Nick (2016). "New Epilogue to the Paperback Edition". Superintelligence: Paths, Dangers, Strategies (Paperback ed.).
  111. ^ "Why Uncontrollable AI Looks More Likely Than Ever". Time. 27 February 2023. Retrieved 30 March 2023. It is therefore no surprise that according to the most recent AI Impacts Survey, nearly half of 731 leading AI researchers think there is at least a 10% chance that human-level AI would lead to an "extremely negative outcome," or existential risk.
  112. ^ Turing, Alan (1951). Intelligent machinery, a heretical theory (Speech). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. Archived from the original on 26 September 2022. Retrieved 22 July 2022.
  113. ^ Turing, Alan (15 May 1951). "Can digital computers think?". Automatic Calculating Machines. Episode 2. BBC. Can digital computers think?.
  114. ^ Maas, Matthijs M. (6 February 2019). "How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons of mass destruction". Contemporary Security Policy. 40 (3): 285–311. doi:10.1080/13523260.2019.1576464. ISSN 1352-3260. S2CID 159310223.
  115. ^ Parkin, Simon (14 June 2015). "Science fiction no more? Channel 4's Humans and our rogue AI obsessions". The Guardian. Archived from the original on 5 February 2018. Retrieved 5 February 2018.
  116. ^ Jackson, Sarah. "The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'". Business Insider. Retrieved 10 April 2023.
  117. ^ a b "Impressed by artificial intelligence? Experts say AGI is coming next, and it has 'existential' risks". ABC News. 23 March 2023. Retrieved 30 March 2023.
  118. ^ Rawlinson, Kevin (29 January 2015). "Microsoft's Bill Gates insists AI is a threat". BBC News. Archived from the original on 29 January 2015. Retrieved 30 January 2015.
  119. ^ Post, Washington (14 December 2015). "Tech titans like Elon Musk are spending $1 billion to save you from terminators". Chicago Tribune. Archived from the original on 7 June 2016.
  120. ^ "Doomsday to utopia: Meet AI's rival factions". Washington Post. 9 April 2023. Retrieved 30 April 2023.
  121. ^ "UC Berkeley — Center for Human-Compatible AI (2016) - Open Philanthropy". Open Philanthropy -. 27 June 2016. Retrieved 30 April 2023.
  122. ^ "The mysterious artificial intelligence company Elon Musk invested in is developing game-changing smart computers". Tech Insider. Archived from the original on 30 October 2015. Retrieved 30 October 2015.
  123. ^ 클락 2015a.
  124. ^ "Elon Musk Is Donating $10M Of His Own Money To Artificial Intelligence Research". Fast Company. 15 January 2015. Archived from the original on 30 October 2015. Retrieved 30 October 2015.
  125. ^ Tilli, Cecilia (28 April 2016). "Killer Robots? Lost Jobs?". Slate. Archived from the original on 11 May 2016. Retrieved 15 May 2016.
  126. ^ Khatchadourian, Raffi (23 November 2015). "The Doomsday Invention: Will artificial intelligence bring us utopia or destruction?". The New Yorker. Archived from the original on 29 April 2019. Retrieved 7 February 2016.
  127. ^ "Warning of AI's danger, pioneer Geoffrey Hinton quits Google to speak freely". www.arstechnica.com. 2023. Retrieved 23 July 2023.
  128. ^ a b "But What Would the End of Humanity Mean for Me?". The Atlantic. 9 May 2014. Archived from the original on 4 June 2014. Retrieved 12 December 2015.
  129. ^ Andersen, Kurt (26 November 2014). "Enthusiasts and Skeptics Debate Artificial Intelligence". Vanity Fair. Archived from the original on 8 August 2019. Retrieved 20 April 2020.
  130. ^ Brooks, Rodney (10 November 2014). "artificial intelligence is a tool, not a threat". Archived from the original on 12 November 2014.
  131. ^ Garling, Caleb (5 May 2015). "Andrew Ng: Why 'Deep Learning' Is a Mandate for Humans, Not Just Machines". Wired. Retrieved 31 March 2023.
  132. ^ "Is artificial intelligence really an existential threat to humanity?". MambaPost. 4 April 2023.
  133. ^ "The case against killer robots, from a guy actually working on artificial intelligence". Fusion.net. Archived from the original on 4 February 2016. Retrieved 31 January 2016.
  134. ^ "AI experts challenge 'doomer' narrative, including 'extinction risk' claims". VentureBeat. 31 May 2023. Retrieved 8 July 2023.
  135. ^ Coldewey, Devin (1 April 2023). "Ethicists fire back at 'AI Pause' letter they say 'ignores the actual harms'". TechCrunch. Retrieved 23 July 2023.
  136. ^ "DAIR (Distributed AI Research Institute)". DAIR Institute. Retrieved 23 July 2023.
  137. ^ Kelly, Kevin (25 April 2017). "The Myth of a Superhuman AI". Wired. Archived from the original on 26 December 2021. Retrieved 19 February 2022.
  138. ^ Jindal, Siddharth (7 July 2023). "OpenAI's Pursuit of AI Alignment is Farfetched". Analytics India Magazine. Retrieved 23 July 2023.
  139. ^ "Mark Zuckerberg responds to Elon Musk's paranoia about AI: 'AI is going to... help keep our communities safe.'". Business Insider. 25 May 2018. Archived from the original on 6 May 2019. Retrieved 6 May 2019.
  140. ^ Elliott, E. W. (2011). "Physics of the Future: How Science Will Shape Human Destiny and Our Daily Lives by the Year 2100, by Michio Kaku". Issues in Science and Technology. 27 (4): 90.
  141. ^ Kaku, Michio (2011). Physics of the future: how science will shape human destiny and our daily lives by the year 2100. New York: Doubleday. ISBN 978-0-385-53080-4. I personally believe that the most likely path is that we will build robots to be benevolent and friendly
  142. ^ Dadich, Scott. "Barack Obama Talks AI, Robo Cars, and the Future of the World". WIRED. Archived from the original on 3 December 2017. Retrieved 27 November 2017.
  143. ^ Kircher, Madison Malone. "Obama on the Risks of AI: 'You Just Gotta Have Somebody Close to the Power Cord'". Select All. Archived from the original on 1 December 2017. Retrieved 27 November 2017.
  144. ^ Clinton, Hillary (2017). What Happened. Simon and Schuster. p. 241. ISBN 978-1-5011-7556-5. [1] Wayback Machine에서 2017년 12월 1일 아카이브됨
  145. ^ LIPPENS, RONNIE (2002). "Imachinations of Peace: Scientifictions of Peace in Iain M. Banks's The Player of Games". Utopianstudies Utopian Studies. 13 (1): 135–147. ISSN 1045-991X. OCLC 5542757341.
  146. ^ "Elon Musk says AI could doom human civilization. Zuckerberg disagrees. Who's right?". 5 January 2023. Archived from the original on 8 January 2018. Retrieved 8 January 2018.
  147. ^ "AI doomsday worries many Americans. So does apocalypse from climate change, nukes, war, and more". 14 April 2023. Archived from the original on 23 June 2023. Retrieved 9 July 2023.
  148. ^ Kaj Sotala; Roman Yampolskiy (19 December 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1).
  149. ^ Barrett, Anthony M.; Baum, Seth D. (23 May 2016). "A model of pathways to artificial superintelligence catastrophe for risk and decision analysis". Journal of Experimental & Theoretical Artificial Intelligence. 29 (2): 397–414. arXiv:1607.07730. doi:10.1080/0952813x.2016.1186228. ISSN 0952-813X. S2CID 928824.
  150. ^ Sotala, Kaj; Yampolskiy, Roman V (19 December 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1): 018001. Bibcode:2015PhyS...90a8001S. doi:10.1088/0031-8949/90/1/018001. ISSN 0031-8949. S2CID 4749656.
  151. ^ Ramamoorthy, Anand; Yampolskiy, Roman (2018). "Beyond MAD? The race for artificial general intelligence". ICT Discoveries. ITU. 1 (Special Issue 1): 1–8. Archived from the original on 7 January 2022. Retrieved 7 January 2022.
  152. ^ Carayannis, Elias G.; Draper, John (11 January 2022). "Optimising peace through a Universal Global Peace Treaty to constrain the risk of war from a militarised artificial superintelligence". AI & Society: 1–14. doi:10.1007/s00146-021-01382-y. ISSN 0951-5666. PMC 8748529. PMID 35035113. S2CID 245877737.
  153. ^ Carayannis, Elias G.; Draper, John (30 May 2023), "The challenge of advanced cyberwar and the place of cyberpeace", The Elgar Companion to Digital Transformation, Artificial Intelligence and Innovation in the Economy, Society and Democracy, Edward Elgar Publishing, pp. 32–80, doi:10.4337/9781839109362.00008, ISBN 978-1-83910-936-2, retrieved 8 June 2023
  154. ^ Vincent, James (22 June 2016). "Google's AI researchers say these are the five key problems for robot safety". The Verge. Archived from the original on 24 December 2019. Retrieved 5 April 2020.
  155. ^ 아모데이, 다리오, 크리스 올라, 제이콥 스타인하르트, 폴 크리스티아누, 존 슐만, 댄 마네."AI 안전의 구체적인 문제" arXiv preprintarXiv:1606.0656565 (2016)
  156. ^ Johnson, Alex (2019). "Elon Musk wants to hook your brain up directly to computers — starting next year". NBC News. Archived from the original on 18 April 2020. Retrieved 5 April 2020.
  157. ^ Torres, Phil (18 September 2018). "Only Radically Enhancing Humanity Can Save Us All". Slate Magazine. Archived from the original on 6 August 2020. Retrieved 5 April 2020.
  158. ^ Barrett, Anthony M.; Baum, Seth D. (23 May 2016). "A model of pathways to artificial superintelligence catastrophe for risk and decision analysis". Journal of Experimental & Theoretical Artificial Intelligence. 29 (2): 397–414. arXiv:1607.07730. doi:10.1080/0952813X.2016.1186228. S2CID 928824.
  159. ^ Piper, Kelsey (29 March 2023). "How to test what an AI model can — and shouldn't — do". Vox. Retrieved 28 July 2023.
  160. ^ Piesing, Mark (17 May 2012). "AI uprising: humans will be outsourced, not obliterated". Wired. Archived from the original on 7 April 2014. Retrieved 12 December 2015.
  161. ^ Coughlan, Sean (24 April 2013). "How are humans going to become extinct?". BBC News. Archived from the original on 9 March 2014. Retrieved 29 March 2014.
  162. ^ Bridge, Mark (10 June 2017). "Making robots less confident could prevent them taking over". The Times. Archived from the original on 21 March 2018. Retrieved 21 March 2018.
  163. ^ McGinnis, John (Summer 2010). "Accelerating AI". Northwestern University Law Review. 104 (3): 1253–1270. Archived from the original on 15 February 2016. Retrieved 16 July 2014. For all these reasons, verifying a global relinquishment treaty, or even one limited to AI-related weapons development, is a nonstarter... (For different reasons from ours, the Machine Intelligence Research Institute) considers (AGI) relinquishment infeasible...
  164. ^ Kaj Sotala; Roman Yampolskiy (19 December 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1). In general, most writers reject proposals for broad relinquishment... Relinquishment proposals suffer from many of the same problems as regulation proposals, but to a greater extent. There is no historical precedent of general, multi-use technology similar to AGI being successfully relinquished for good, nor do there seem to be any theoretical reasons for believing that relinquishment proposals would work in the future. Therefore we do not consider them to be a viable class of proposals.
  165. ^ Allenby, Brad (11 April 2016). "The Wrong Cognitive Measuring Stick". Slate. Archived from the original on 15 May 2016. Retrieved 15 May 2016. It is fantasy to suggest that the accelerating development and deployment of technologies that taken together are considered to be A.I. will be stopped or limited, either by regulation or even by national legislation.
  166. ^ a b Yampolskiy, Roman V. (2022). Müller, Vincent C. (ed.). "AI Risk Skepticism". Philosophy and Theory of Artificial Intelligence 2021. Studies in Applied Philosophy, Epistemology and Rational Ethics. Cham: Springer International Publishing. 63: 225–248. doi:10.1007/978-3-031-09153-7_18. ISBN 978-3-031-09153-7.
  167. ^ McGinnis, John (Summer 2010). "Accelerating AI". Northwestern University Law Review. 104 (3): 1253–1270. Archived from the original on 15 February 2016. Retrieved 16 July 2014.
  168. ^ "Why We Should Think About the Threat of Artificial Intelligence". The New Yorker. 4 October 2013. Archived from the original on 4 February 2016. Retrieved 7 February 2016. Of course, one could try to ban super-intelligent computers altogether. But 'the competitive advantage—economic, military, even artistic—of every advance in automation is so compelling,' Vernor Vinge, the mathematician and science-fiction author, wrote, 'that passing laws, or having customs, that forbid such things merely assures that someone else will.'
  169. ^ Baum, Seth (22 August 2018). "Superintelligence Skepticism as a Political Tool". Information. 9 (9): 209. doi:10.3390/info9090209. ISSN 2078-2489.
  170. ^ "Elon Musk and other tech leaders call for pause in 'out of control' AI race". CNN. 29 March 2023. Retrieved 30 March 2023.
  171. ^ "Open letter calling for AI 'pause' shines light on fierce debate around risks vs. hype". VentureBeat. 29 March 2023. Retrieved 20 July 2023.
  172. ^ Vincent, James (14 April 2023). "OpenAI's CEO confirms the company isn't training GPT-5 and "won't for some time"". The Verge. Retrieved 20 July 2023.
  173. ^ "The Open Letter on AI Doesn't Go Far Enough". Time. 29 March 2023. Retrieved 20 July 2023.
  174. ^ Domonoske, Camila (17 July 2017). "Elon Musk Warns Governors: Artificial Intelligence Poses 'Existential Risk'". NPR. Archived from the original on 23 April 2020. Retrieved 27 November 2017.
  175. ^ Gibbs, Samuel (17 July 2017). "Elon Musk: regulate AI to combat 'existential threat' before it's too late". The Guardian. Archived from the original on 6 June 2020. Retrieved 27 November 2017.
  176. ^ Kharpal, Arjun (7 November 2017). "A.I. is in its 'infancy' and it's too early to regulate it, Intel CEO Brian Krzanich says". CNBC. Archived from the original on 22 March 2020. Retrieved 27 November 2017.
  177. ^ Dawes, James (20 December 2021). "UN fails to agree on 'killer robot' ban as nations pour billions into autonomous weapons research". The Conversation. Retrieved 28 July 2023.
  178. ^ a b Fassihi, Farnaz (18 July 2023). "U.N. Officials Urge Regulation of Artificial Intelligence". The New York Times. ISSN 0362-4331. Retrieved 20 July 2023.
  179. ^ "International Community Must Urgently Confront New Reality of Generative, Artificial Intelligence, Speakers Stress as Security Council Debates Risks, Rewards". United Nations. Retrieved 20 July 2023.
  180. ^ Sotala, Kaj; Yampolskiy, Roman V (19 December 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1): 018001. Bibcode:2015PhyS...90a8001S. doi:10.1088/0031-8949/90/1/018001. ISSN 0031-8949.
  181. ^ Geist, Edward Moore (15 August 2016). "It's already too late to stop the AI arms race—We must manage it instead". Bulletin of the Atomic Scientists. 72 (5): 318–321. Bibcode:2016BuAtS..72e.318G. doi:10.1080/00963402.2016.1216672. ISSN 0096-3402. S2CID 151967826.
  182. ^ Maas, Matthijs M. (6 February 2019). "How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons of mass destruction". Contemporary Security Policy. 40 (3): 285–311. doi:10.1080/13523260.2019.1576464. ISSN 1352-3260. S2CID 159310223.
  183. ^ "Amazon, Google, Meta, Microsoft and other tech firms agree to AI safeguards set by the White House". AP News. 21 July 2023. Retrieved 21 July 2023.
  184. ^ "Amazon, Google, Meta, Microsoft and other firms agree to AI safeguards". Redditch Advertiser. 21 July 2023. Retrieved 21 July 2023.

서지학