설명 가능한 인공지능

Explainable artificial intelligence

설명형 AI([1]XAI)는 인간이 인공지능의 결정이나 예측을 이해할 수 있는 인공지능(AI)이다.설계자조차 AI가 왜 특정 결정을 [2][3]내렸는지 설명할 수 없는 기계학습의 블랙박스 개념과는 대조적이다.XAI는 AI 시스템 이용자들의 정신 모델을 다듬고 그들의 오해를 해소함으로써 이용자들이 보다 효과적으로 [4]행동할 수 있도록 도울 것을 약속한다.XAI는 [5]설명에 대한 사회적 권리의 구현일 수 있다.XAI는 법적 권리나 규제 요건이 없는 경우에도 관련이 있습니다.예를 들어, XAI는 최종 사용자가 AI가 올바른 결정을 내리고 있다고 믿을 수 있도록 지원함으로써 제품 또는 서비스의 사용자 경험을 개선할 수 있습니다.이와 같이 XAI의 목적은, 지금까지의 일, 현재의 일, 다음에 행해지는 일에 대해 설명하고, 그 행동의 [6]근거에 근거하는 정보를 밝히는 것입니다.이러한 특징에 의해 ①기존의 지식을 확인하고 ②기존의 지식에 도전하고 ③새로운 가정을 만들어 [7]낼 수 있다.

AI에 사용되는 알고리즘은 화이트박스와 블랙박스 머신러닝(ML) 알고리즘으로 구분할 수 있다.화이트 박스 모델은 도메인 전문가가 이해할 수 있는 결과를 제공하는 ML 모델입니다.반면 블랙박스 모델은 설명하기가 매우 어렵고 심지어 도메인 [8]전문가들도 이해하기 힘들다.XAI 알고리즘은 투명성, 해석성 및 설명성의 세 가지 원칙을 따르는 것으로 간주된다.투명성은 "훈련 데이터에서 모델 매개변수를 추출하고 테스트 데이터에서 레이블을 생성하는 프로세스가 접근 [9]설계자에 의해 설명되고 동기 부여될 수 있는 경우" 주어진다.해석가능성은 ML 모델을 이해하고 [10][11][12]인간이 이해할 수 있는 방식으로 의사결정을 위한 기본 근거를 제시할 수 있는 가능성을 설명한다.설명가능성은 중요하다고 인식되는 개념이지만, 아직 공동 정의를 이용할 [9]수 없다.ML의 설명 가능성은 "의사결정(예: 분류 또는 회귀)[13]을 생성하기 위해 주어진 예에 기여한 해석 가능한 영역의 특징 집합"으로 간주할 수 있다.알고리즘이 이러한 요건을 충족하면 의사결정을 정당화하고, 이를 추적하여 검증하며, 알고리즘을 개선하고, 새로운 사실을 [14]탐색하기 위한 기반을 제공합니다.

때로는 그 자체로 [15]해석 가능한 화이트 박스 ML 알고리즘을 사용하여 높은 정확도로 결과를 얻을 수도 있습니다.이는 특히 의료, 국방, 금융 및 법률과 같은 분야에서 중요하며,[6] 결정을 이해하고 알고리즘에 대한 신뢰를 쌓는 것이 중요합니다.많은 연구자들은 적어도 지도된 기계 학습의 경우 알고리즘이 주어진 데이터 [16][17][18]세트에 가장 적합한 모델을 찾기 위해 수학식의 공간을 검색하는 상징적 회귀라고 주장한다.

AI 시스템은 "테스트 데이터셋에서 필름 리뷰가 얼마나 긍정적인지 평가하는 정확성을 극대화하라"는 명령과 같이 시스템 설계자가 선택한 수학적으로 지정된 목표 시스템을 만족시키기 위해 동작을 최적화합니다.AI는 테스트 세트로부터 "끔찍한"이라는 단어를 포함한 리뷰는 부정적일 가능성이 높다"와 같은 유용한 일반 규칙을 학습할 수 있다.그러나, "다니엘 데이 루이스"를 포함한 검토는 대개 긍정적이다"와 같은 부적절한 규칙을 학습할 수도 있습니다. 그러한 규칙은 열차 세트 밖에서 일반화하지 못할 가능성이 높거나 사람들이 규칙을 "사기" 또는 "불공정"하다고 여기는 경우 바람직하지 않을 수 있습니다.인간은 XAI의 규칙을 감사하여 시스템이 테스트 [19]세트 이외의 미래의 실제 데이터로 일반화될 가능성을 파악할 수 있습니다.

목표들

에이전트(이 경우 알고리즘과 인간) 간의 협력은 신뢰에 달려 있습니다.만약 인간이 알고리즘 처방을 받아들이려면, 그 처방을 신뢰할 필요가 있다.신뢰 기준의 공식화의 불완전성은 간단한 최적화 접근방식의 장벽이다.그 때문에 해석성과 설명성은 다른 [20]기준을 확인하기 위한 중간 목표로 간주된다.

AI 시스템은 때때로 훈련 데이터에 대해 명시적으로 사전 프로그래밍된 목표를 충족하는 최적의 작업을 수행하지만 인간 시스템 설계자의 복잡한 암묵적 욕구를 반영하지 않는 바람직하지 않은 기술을 학습한다.예를 들어, 이미지 인식 임무를 맡은 2017년 시스템은 말이 실제로 [3]찍혔는지 아닌 우연히 말 사진과 관련된 저작권 태그를 찾아 "사기"하는 법을 배웠다.또 다른 2017년 시스템에서는 가상세계에서 아이템을 파악해야 하는 감시학습 AI가 오브젝트와 뷰어 사이에 조작기를 배치해 [21][22]부정행위를 학습했다.

투명 프로젝트 중 하나인 DARPA XAI 프로그램은 AI 성능을 크게 희생시키지 않고 "루프 속의 인간"으로 설명할 수 있는 "유리 상자" 모델을 제작하는 것을 목표로 하고 있습니다.인간 이용자는 AI의 인지(실시간과 사후 모두)를 이해할 수 있어야 하며, 언제 AI를 믿을지, 언제 AI를 [23]불신해야 할지를 결정할 수 있어야 한다.XAI의 다른 응용 프로그램으로는 블랙박스 모델에서 지식 추출 및 모델 [24]비교가 있습니다.또한 "유리 상자"라는 용어는 윤리적, 사회적, 법적 가치에 대한 시스템의 준수를 검증하고 따라서 가치 기반 설명을 [25]생성하기 위한 목적으로 시스템의 입력과 출력을 모니터링하는 도구에 사용되어 왔다.게다가 [26]설명으로서 반사실적인 스테이트먼트를 생성하는 음성 어시스턴트의 이름을 붙이기 위해서도 같은 용어가 사용되고 있습니다.

이력 및 방법

1970~1990년대 동안 [27]MYCIN,[28] GUIDON,[29] SOPHI 및[30][31] PROTOS와 같은 상징적인 추론 시스템은 진단, 교육 또는 기계 학습(해명 기반 학습) 목적을 위한 추론을 표현, 추론 및 설명할 수 있다.MYCIN은 1970년대 초 혈류 균혈증 감염을 진단하기 위한 연구 프로토타입으로 개발되었으며, 손으로 코딩한 규칙 중 어떤 것이 특정 사례의 진단에 기여했는지 설명할[32] 수 있다.인텔리전트 튜터링 시스템을 연구한 결과, 학생이 이해할 수 있는 수준으로 문제 해결 전략을 설명하면서 '알아내기 전문가' 역할을 할 수 있는 SOPHI와 같은 시스템을 개발함으로써, 학생들은 다음에 어떤 조치를 취해야 할지 알 수 있었다.예를 들어 SOPHI는 궁극적으로 SPICE 회로 시뮬레이터에 의존했지만 전자제품 문제 해결의 질적 이유를 설명할 수 있었습니다.마찬가지로, GUIDON은 MYCIN의 도메인 수준 규칙을 보완하기 위해 튜토리얼 규칙을 추가하여 의료 진단 전략을 설명했다.기계 학습에 대한 상징적인 접근법, 특히 PROTOS와 같은 설명 기반 학습에 의존하는 접근법은 자신의 행동을 설명하고 새로운 지식을 습득하기 위해 설명의 표현에 명시적으로 의존했다.

1980년대부터 1990년대 초까지 진실 유지 시스템(TMS)은 인과 추론,[33]: 360–362 규칙 기반 및 논리 기반 추론 시스템의 능력을 확장하기 위해 개발되었다.TMS는 대체 추론 행, 결론에 대한 정당성 및 모순을 초래하는 추론 행을 명시적으로 추적하여 향후 추론이 이러한 막다른 길을 피할 수 있도록 합니다.설명을 제공하기 위해 규칙 연산 또는 논리적 추론을 통해 결론에서 가정까지 추론을 추적하여 추론의 추적에서 설명이 생성되도록 합니다.예를 들어, 소크라테스에 대한 몇 가지 규칙만으로 소크라테스가 독극물로 죽었다고 결론짓는 규칙 기반의 문제 해결사를 생각해 보자.

의존 구조를 추적하는 것만으로 문제 해결자는 다음과 같은 설명을 할 수 있습니다. "소크라테스는 죽었고 독을 마셨기 때문에 죽었고, 모든 인간은 독을 마셨을 때 죽습니다.소크라테스는 사람이었고 모든 사람은 죽었기 때문에 죽었다.소크라테스는 반체제 신념을 갖고 있었고, 정부는 보수적이었으며, 보수적 정권 하에서 보수적 반체제 신념을 갖고 있는 사람들은 반드시 [34]: 164–165 독을 마셔야 한다고 말했다.

1990년대까지 연구자들은 불투명하게 훈련된 신경망에 [35]의해 생성되는 비수기적 규칙을 의미 있게 추출하는 것이 가능한지 연구하기 시작했다.임상의들을 위한 신경 네트워크 기반 의사결정 지원을 만드는 임상 전문가 시스템의 연구원들은 이러한 기술을 실제로 [5]더 신뢰하고 신뢰할 수 있도록 하는 역동적인 설명을 개발하려고 노력해왔다.2010년대에는 범죄 선고 결정과 신용성 발견을 위해 AI를 사용하는 인종 및 기타 편견에 대한 대중의 우려가 투명한 인공지능에 [3]대한 수요를 증가시켰을 수 있다.그 결과,[36] 많은 학계와 조직이 시스템의 편견을 검출하기 위한 툴을 개발하고 있습니다.

Marvin Minsky 등은 AI가 감시에 내재된 편견과 함께 감시의 한 형태로 기능할 수 있다는 문제를 제기하면서 HI(Humanistic Intelligence)를 보다 공정하고 균형 잡힌 "휴먼 인 더 루프"[37] AI를 만드는 방법으로 제안했습니다.

딥 러닝 및 유전자 알고리즘과 같은 현대의 복잡한 AI 기법은 [38]당연히 불투명하다.이 문제를 해결하기 위해, 새로운 모델을 보다 설명 및 해석하기 [39][11][10][40][41][42]쉽게 만드는 많은 새로운 방법이 개발되었습니다.여기에는 특정 입력 벡터의 어떤 특징이 뉴럴 네트워크의 [43][44][45]출력에 가장 강하게 기여하는지를 결정하는 기술인 Layerwise Relociation(LRP; 계층별 관련성 전파)과 같은 많은 방법이 포함됩니다.다른 기법은 "국소 해석 가능성"[46][47][48][49][50][51]이라고 불리는 (비선형) 블랙박스 모델에 의해 만들어진 하나의 특정 예측을 설명하기 위해 개발되었다.지역 해석성의 개념을 원격 컨텍스트(블랙박스 모델이 제3자에 의해 실행됨)로 단순히 이전하는 것이 현재 [52][53]정밀 조사 중이라는 점에 유의할 필요가 있다.

또,[15][54] 검사에 보다 투과적인 유리 박스 모델을 제작하는 작업도 행해지고 있습니다.여기에는 의사결정 트리,[55] 베이지안 네트워크, 스파스 선형 [56]모델 [57]등이 포함됩니다.공정성, 설명성, 투명성에 관한 컴퓨터 기계 협회(ACM FACCT)는 인공지능을 포함한 사회 기술 시스템의 [58][59]맥락에서 투명성과 설명 가능성을 연구하기 위해 2018년에 설립되었습니다.

일부 기술은 개별 소프트웨어 뉴런이 가장 강하게 반응하는 입력을 시각화할 수 있도록 한다.몇몇 그룹은 뉴런이 사람이 이해할 수 있는 기능을 수행하는 회로에 통합될 수 있으며,[60][61] 그 중 일부는 독립적으로 훈련한 다른 네트워크에서 안정적으로 발생할 수 있다는 것을 발견했다.

더 높은 수준에서, 주어진 입력의 특징에 대한 압축된 표현을 추출하기 위한 다양한 기법이 존재하며, 이는 표준 클러스터링 기법에 의해 분석될 수 있다.또는 네트워크를 훈련하여 자신의 행동에 대한 언어적 설명을 출력할 수 있으며, 그 후 직접 인간이 해석할 [62]수 있습니다.모델 행동은 훈련 데이터를 참조하여 설명될 수도 있다. 예를 들어, 어떤 훈련 입력이 주어진 행동에 가장 [63]큰 영향을 미쳤는지 평가하는 것이다.

규정

규제 기관, 공식 기관 및 일반 사용자가 AI 기반 동적 시스템에 의존하게 됨에 따라 신뢰와 투명성을 보장하기 위한 자동화된 의사결정 프로세스에 대한 명확한 책임성이 요구될 것이다.이 요건이 더욱 탄력을 받고 있다는 증거는 이 새로운 분야를 전담하는 첫 번째 글로벌 컨퍼런스인 '인공지능에 관한 국제 공동 회의'의 출범을 통해 확인할 수 있습니다.설명 가능한 인공지능(XAI)[64] 워크숍

유럽연합(EU)은 알고리즘의 중요성이 높아짐에 따라 발생할 수 있는 문제에 대처하기 위해 일반 데이터 보호권(GDPR)에 설명권을 도입했다.이 규정의 시행은 2018년에 시작되었다.단, GPR의 설명권은 해석가능성의 국소적인 측면만을 다룬다.미국에서는 보험회사가 보험료와 보험혜택 [65]결정을 설명할 수 있어야 합니다.프랑스에서는 Loi pour un publique numérique(디지털 공화국법)에 따라 피험자에게 데이터를 처리하는 알고리즘의 구현과 관련된 정보를 요청하고 받을 수 있는 권리가 부여된다.

비판

최근 학계에서는 AI 기술의 설명 가능성 추구를 AI의 효과 추구의 부차적 목표로 삼아야 하며, XAI의 배타적 개발을 장려하는 것은 AI의 기능을 [66][67]더욱 광범위하게 제한할 수 있다는 의견이 제시되고 있다.XAI의 비판은 AI 기술의 기능을 [66][68]조작자가 이해할 수 없는 경우에도 임상적으로 검증할 수 있다는 것을 암시하기 위해 증거 기반 의학에서 개발된 기계론적, 경험론적 추론 개념에 의존한다.

또한 XAI 시스템은 주로 최종 사용자보다는 AI 실무자가 AI 시스템을 이해할 수 있도록 하는 데 초점을 맞추고 있으며, 이러한 시스템에 대한 사용자 인식에 대한 결과는 다소 [69]세분화되어 있다.일부 연구자들은 첫 번째 모델을 설명하기 위해 두 번째 모델을 만드는 사후 설명을 사용하는 대신 본질적으로 해석 가능한 기계 학습 모델의 사용을 지지했다.이는 부분적으로는 사후 모델이 의사결정 경로의 복잡성을 증가시키고 부분적으로는 사후 설명이 완전히 분리된 [15]모델의 계산을 얼마나 충실하게 모방할 수 있는지 불분명하기 때문이다.

XAI의 목표를 분석한 결과, AI 모델의 매개변수 수가 증가함에 따라 효과가 떨어지는 손실 압축의 형태가 필요하며, 다른 요인들과 함께 이는 설명 [70]가능성의 이론적인 한계로 이어진다.설명가능성의 이러한 내재적 한계를 극복하기 위한 접근법은 Kubler-Ross의 슬픔의 순환과 유사한 범주로 느슨하게 분류될 수 있습니다.

「 」를 참조해 주세요.

XAI는 다음과 같은 다양한 분야에서 연구되고 있습니다.

레퍼런스

  1. ^ Phillips, P. Jonathon; Hahn, Carina A.; Fontana, Peter C.; Yates, Amy N.; Greene, Kristen; Broniatowski, David A.; Przybocki, Mark A. (2021-09-29). "Four Principles of Explainable Artificial Intelligence". doi:10.6028/nist.ir.8312. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  2. ^ Castelvecchi, Davide (2016-10-06). "Can we open the black box of AI?". Nature. 538 (7623): 20–23. Bibcode:2016Natur.538...20C. doi:10.1038/538020a. ISSN 0028-0836. PMID 27708329. S2CID 4465871.
  3. ^ a b c Sample, Ian (5 November 2017). "Computer says no: why making AIs fair, accountable and transparent is crucial". The Guardian. Retrieved 30 January 2018.
  4. ^ Alizadeh, Fatemeh (2021). "I Don't Know, Is AI Also Used in Airbags?: An Empirical Study of Folk Concepts and People's Expectations of Current and Future Artificial Intelligence". Icom. 20 (1): 3–17. doi:10.1515/icom-2021-0009. S2CID 233328352.
  5. ^ a b Edwards, Lilian; Veale, Michael (2017). "Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For". Duke Law and Technology Review. 16: 18. SSRN 2972855.
  6. ^ a b Gunning, D.; Stefik, M.; Choi, J.; Miller, T.; Stumpf, S.; Yang, G.-Z. (2019-12-18). "XAI-Explainable artificial intelligence". Science Robotics. 4 (37): eaay7120. doi:10.1126/scirobotics.aay7120. ISSN 2470-9476. PMID 33137719.
  7. ^ Rieg, Thilo; Frick, Janek; Baumgartl, Hermann; Buettner, Ricardo (2020-12-17). "Demonstration of the potential of white-box machine learning approaches to gain insights from cardiovascular disease electrocardiograms". PLOS ONE. 15 (12): e0243615. Bibcode:2020PLoSO..1543615R. doi:10.1371/journal.pone.0243615. ISSN 1932-6203. PMC 7746264. PMID 33332440.
  8. ^ Loyola-González, O. (2019). "Black-Box vs. White-Box: Understanding Their Advantages and Weaknesses From a Practical Point of View". IEEE Access. 7: 154096–154113. doi:10.1109/ACCESS.2019.2949286. ISSN 2169-3536.
  9. ^ a b Roscher, R.; Bohn, B.; Duarte, M. F.; Garcke, J. (2020). "Explainable Machine Learning for Scientific Insights and Discoveries". IEEE Access. 8: 42200–42216. arXiv:1905.08883. doi:10.1109/ACCESS.2020.2976199. ISSN 2169-3536.
  10. ^ a b Murdoch, W. James; Singh, Chandan; Kumbier, Karl; Abbasi-Asl, Reza; Yu, Bin (2019-01-14). "Interpretable machine learning: definitions, methods, and applications". Proceedings of the National Academy of Sciences of the United States of America. 116 (44): 22071–22080. arXiv:1901.04592. Bibcode:2019arXiv190104592M. doi:10.1073/pnas.1900654116. PMC 6825274. PMID 31619572.
  11. ^ a b Lipton, Zachary C. (June 2018). "The Mythos of Model Interpretability: In machine learning, the concept of interpretability is both important and slippery". Queue. 16 (3): 31–57. doi:10.1145/3236386.3241340. ISSN 1542-7730.
  12. ^ "Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI". DeepAI. 2019-10-22. Retrieved 2021-01-13.
  13. ^ Montavon, Grégoire; Samek, Wojciech; Müller, Klaus-Robert (2018-02-01). "Methods for interpreting and understanding deep neural networks". Digital Signal Processing. 73: 1–15. doi:10.1016/j.dsp.2017.10.011. ISSN 1051-2004.
  14. ^ Adadi, A.; Berrada, M. (2018). "Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)". IEEE Access. 6: 52138–52160. doi:10.1109/ACCESS.2018.2870052. ISSN 2169-3536.
  15. ^ a b c Rudin, Cynthia (2019). "Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead". Nature Machine Intelligence. 1 (5): 206–215. arXiv:1811.10154. doi:10.1038/s42256-019-0048-x. ISSN 2522-5839. PMC 9122117. PMID 35603010.
  16. ^ Wenninger, Simon; Kaymakci, Can; Wiethe, Christian (2022). "Explainable long-term building energy consumption prediction using QLattice". Applied Energy. Elsevier BV. 308: 118300. doi:10.1016/j.apenergy.2021.118300. ISSN 0306-2619. S2CID 245428233.
  17. ^ Christiansen, Michael; Wilstrup, Casper; Hedley, Paula L. (2022). "Explainable "white-box" machine learning is the way forward in preeclampsia screening". American Journal of Obstetrics and Gynecology. Elsevier BV. doi:10.1016/j.ajog.2022.06.057. ISSN 0002-9378. PMID 35779588. S2CID 250160871.
  18. ^ Wilstup, Casper; Cave, Chris (2021-01-15), Combining symbolic regression with the Cox proportional hazards model improves prediction of heart failure deaths, Cold Spring Harbor Laboratory, doi:10.1101/2021.01.15.21249874, S2CID 231609904
  19. ^ 를 클릭합니다"How AI detectives are cracking open the black box of deep learning". Science. 5 July 2017. Retrieved 30 January 2018..
  20. ^ Dosilovic, Filip; Brcic, Mario; Hlupic, Nikica (2018-05-25). "Explainable Artificial Intelligence: A Survey" (PDF). MIPRO 2018 - 41st International Convention Proceedings. MIPRO 2018. Opatija, Croatia. pp. 210–215. doi:10.23919/MIPRO.2018.8400040. ISBN 978-953-233-095-3. Archived from the original (PDF) on 2018-12-10. Retrieved 2018-12-09.
  21. ^ "DeepMind Has Simple Tests That Might Prevent Elon Musk's AI Apocalypse". Bloomberg.com. 11 December 2017. Retrieved 30 January 2018.
  22. ^ "Learning from Human Preferences". OpenAI Blog. 13 June 2017. Retrieved 30 January 2018.
  23. ^ "Explainable Artificial Intelligence (XAI)". DARPA. DARPA. Retrieved 17 July 2017.
  24. ^ Biecek, Przemyslaw (23 June 2018). "DALEX: explainers for complex predictive models". Journal of Machine Learning Research. 19: 1–5. arXiv:1806.08915. Bibcode:2018arXiv180608915B.
  25. ^ Aler Tubella, Andrea; Theodorou, Andreas; Dignum, Frank; Dignum, Virginia (2019). "Governance by Glass-Box: Implementing Transparent Moral Bounds for AI Behaviour". Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization. pp. 5787–5793. doi:10.24963/ijcai.2019/802. ISBN 978-0-9992411-4-1.
  26. ^ Sokol, Kacper; Flach, Peter (2018). "Glass-Box: Explaining AI Decisions With Counterfactual Statements Through Conversation With a Voice-enabled Virtual Assistant". Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence. pp. 5868–5870. doi:10.24963/ijcai.2018/865. ISBN 9780999241127. S2CID 51608978.
  27. ^ Fagan, L. M.; Shortliffe, E. H.; Buchanan, B. G. (1980). "Computer-based medical decision making: from MYCIN to VM". Automedica. 3 (2): 97–108.
  28. ^ Clancey, William (1987). Knowledge-Based Tutoring: The GUIDON Program. Cambridge, Massachusetts: The MIT Press.
  29. ^ Brown, John S.; Burton, R. R.; De Kleer, Johan (1982). "Pedagogical, natural language, and knowledge engineering techniques in SOPHIE I, II, and III". Intelligent Tutoring Systems. Academic Press. ISBN 0-12-648680-8.
  30. ^ Bareiss, Ray; Porter, Bruce; Weir, Craig; Holte, Robert (1990). "Protos: An Exemplar-Based Learning Apprentice". Machine Learning. Vol. 3. Morgan Kaufmann Publishers Inc. pp. 112–139. ISBN 1-55860-119-8.
  31. ^ Bareiss, Ray. Exemplar-Based Knowledge Acquisition: A Unified Approach to Concept Representation, Classification, and Learning. Perspectives in Artificial Intelligence.
  32. ^ Van Lent, M.; Fisher, W.; Mancuso, M. (July 2004). "An explainable artificial intelligence system for small-unit tactical behavior". Proceedings of the National Conference on Artificial Intelligence. San Jose, CA: AAAI Press. pp. 900–907. ISBN 0262511835.
  33. ^ Russell, Stuart; Norvig, Peter (2003). Artificial Intelligence: A Modern Approach. Prentice Hall Series in Artificial Intelligence (Second ed.). Upper Saddle River, New Jersey: Prentice Hall, Pearson Education. ISBN 0-13-790395-2.
  34. ^ Forbus, Kenneth; De Kleer, Johan (1993). Building Problem Solvers. Cambridge, Massachusetts: The MIT Press. ISBN 0-262-06157-0.
  35. ^ Tickle, A. B.; Andrews, R.; Golea, M.; Diederich, J. (November 1998). "The truth will come to light: directions and challenges in extracting the knowledge embedded within trained artificial neural networks". IEEE Transactions on Neural Networks. 9 (6): 1057–1068. doi:10.1109/72.728352. ISSN 1045-9227. PMID 18255792.
  36. ^ "Accenture Unveils Tool to Help Companies Insure Their AI Is Fair". Bloomberg.com. June 2018. Retrieved 5 August 2018.
  37. ^ Minsky, et al., "The Society of Intelligent Veillance" IEEE ISTAS2013, 13-17페이지
  38. ^ Mukherjee, Siddhartha (27 March 2017). "A.I. Versus M.D." The New Yorker. Retrieved 30 January 2018.
  39. ^ Csiszár, Orsolya; Csiszár, Gábor; Dombi, József (2020-07-08). "Interpretable neural networks based on continuous-valued logic and multicriteria decision operators". Knowledge-Based Systems. 199: 105972. arXiv:1910.02486. doi:10.1016/j.knosys.2020.105972. ISSN 0950-7051.
  40. ^ Doshi-Velez, Finale; Kim, Been (2017-02-27). "Towards A Rigorous Science of Interpretable Machine Learning". arXiv:1702.08608 [stat.ML].
  41. ^ Abdollahi, Behnoush, and Olfa Nasraoui. (2016). "Explainable Restricted Boltzmann Machines for Collaborative Filtering". arXiv:1606.07129 [stat.ML].{{cite arxiv}}: CS1 maint: 여러 이름: 작성자 목록(링크)
  42. ^ Dombi, József; Csiszár, Orsolya (2021). "Explainable Neural Networks Based on Fuzzy Logic and Multi-criteria Decision Tools". Studies in Fuzziness and Soft Computing. 408. doi:10.1007/978-3-030-72280-7. ISBN 978-3-030-72279-1. ISSN 1434-9922. S2CID 233486978.
  43. ^ Shiebler, Dan (2017-04-16). "Understanding Neural Networks with Layerwise Relevance Propagation and Deep Taylor Series". Dan Shiebler. Retrieved 2017-11-03.
  44. ^ Bach, Sebastian; Binder, Alexander; Montavon, Grégoire; Klauschen, Frederick; Müller, Klaus-Robert; Samek, Wojciech (2015-07-10). Suarez, Oscar Deniz (ed.). "On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation". PLOS ONE. 10 (7): e0130140. Bibcode:2015PLoSO..1030140B. doi:10.1371/journal.pone.0130140. ISSN 1932-6203. PMC 4498753. PMID 26161953.
  45. ^ Sample, Ian (5 November 2017). "Computer says no: why making AIs fair, accountable and transparent is crucial". The Guardian. Retrieved 5 August 2018.
  46. ^ Martens, David; Provost, Foster (2014). "Explaining data-driven document classifications" (PDF). MIS Quarterly. 38: 73–99. doi:10.25300/MISQ/2014/38.1.04. S2CID 14238842.
  47. ^ ""Why Should I Trust You?" Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining". doi:10.1145/2939672.2939778. S2CID 13029170. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  48. ^ Lundberg, Scott M; Lee, Su-In (2017), Guyon, I.; Luxburg, U. V.; Bengio, S.; Wallach, H. (eds.), "A Unified Approach to Interpreting Model Predictions" (PDF), Advances in Neural Information Processing Systems 30, Curran Associates, Inc., pp. 4765–4774, arXiv:1705.07874, Bibcode:2017arXiv170507874L, retrieved 2020-03-13
  49. ^ Carter, Brandon; Mueller, Jonas; Jain, Siddhartha; Gifford, David (2019-04-11). "What made you do this? Understanding black-box decisions with sufficient input subsets". The 22nd International Conference on Artificial Intelligence and Statistics: 567–576.
  50. ^ Shrikumar, Avanti; Greenside, Peyton; Kundaje, Anshul (2017-07-17). "Learning Important Features Through Propagating Activation Differences". International Conference on Machine Learning: 3145–3153.
  51. ^ "Axiomatic attribution for deep networks Proceedings of the 34th International Conference on Machine Learning - Volume 70". dl.acm.org. Icml'17: 3319–3328. 6 August 2017. Retrieved 2020-03-13.
  52. ^ Aivodji, Ulrich; Arai, Hiromi; Fortineau, Olivier; Gambs, Sébastien; Hara, Satoshi; Tapp, Alain (2019-05-24). "Fairwashing: the risk of rationalization". International Conference on Machine Learning. PMLR: 161–170. arXiv:1901.09749.
  53. ^ Le Merrer, Erwan; Trédan, Gilles (September 2020). "Remote explainability faces the bouncer problem". Nature Machine Intelligence. 2 (9): 529–539. arXiv:1910.01432. doi:10.1038/s42256-020-0216-z. ISSN 2522-5839. S2CID 225207140.
  54. ^ Singh, Chandan; Nasseri, Keyan; Tan, Yan Shuo; Tang, Tiffany; Yu, Bin (4 May 2021). "imodels: a python package for fitting interpretable models". Journal of Open Source Software. 6 (61): 3192. Bibcode:2021JOSS....6.3192S. doi:10.21105/joss.03192. ISSN 2475-9066. S2CID 235529515.
  55. ^ Vidal, Thibaut; Schiffer, Maximilian (2020). "Born-Again Tree Ensembles". International Conference on Machine Learning. PMLR. 119: 9743–9753. arXiv:2003.11132.
  56. ^ Ustun, Berk; Rudin, Cynthia (1 March 2016). "Supersparse linear integer models for optimized medical scoring systems". Machine Learning. 102 (3): 349–391. doi:10.1007/s10994-015-5528-6. ISSN 1573-0565. S2CID 207211836.
  57. ^ Bostrom, N. 및 Yudkowsky, E. (2014).인공지능의 윤리.케임브리지 인공지능 핸드북, 316-334
  58. ^ "FAT* Conference".
  59. ^ "Computer programs recognise white men better than black women". The Economist. 2018. Retrieved 5 August 2018.
  60. ^ Olah, Chris; Cammarata, Nick; Schubert, Ludwig; Goh, Gabriel; Petrov, Michael; Carter, Shan (10 March 2020). "Zoom In: An Introduction to Circuits". Distill. 5 (3): e00024.001. doi:10.23915/distill.00024.001. ISSN 2476-0757.
  61. ^ Li, Yixuan; Yosinski, Jason; Clune, Jeff; Lipson, Hod; Hopcroft, John (8 December 2015). "Convergent Learning: Do different neural networks learn the same representations?". Feature Extraction: Modern Questions and Challenges. PMLR: 196–212.
  62. ^ Hendricks, Lisa Anne; Akata, Zeynep; Rohrbach, Marcus; Donahue, Jeff; Schiele, Bernt; Darrell, Trevor (2016). "Generating Visual Explanations". Computer Vision – ECCV 2016. Lecture Notes in Computer Science. Springer International Publishing. 9908: 3–19. arXiv:1603.08507. doi:10.1007/978-3-319-46493-0_1. ISBN 978-3-319-46492-3. S2CID 12030503.
  63. ^ Koh, Pang Wei; Liang, Percy (17 July 2017). "Understanding Black-box Predictions via Influence Functions". International Conference on Machine Learning. PMLR: 1885–1894. arXiv:1703.04730.
  64. ^ "IJCAI 2017 Workshop on Explainable Artificial Intelligence (XAI)" (PDF). Earthlink. IJCAI. Archived from the original (PDF) on 4 April 2019. Retrieved 17 July 2017.
  65. ^ Kahn, Jeremy (12 December 2018). "Artificial Intelligence Has Some Explaining to Do". Bloomberg Businessweek. Retrieved 17 December 2018.
  66. ^ a b McCoy, Liam G.; Brenna, Connor T. A.; Chen, Stacy S.; Vold, Karina; Das, Sunit (2021-11-05). "Believing in black boxes: machine learning for healthcare does not need explainability to be evidence-based". Journal of Clinical Epidemiology. 142 (Online ahead of print): 252–257. doi:10.1016/j.jclinepi.2021.11.001. ISSN 0895-4356. PMID 34748907. S2CID 243810442.
  67. ^ Ghassemi, Marzyeh; Oakden-Rayner, Luke; Beam, Andrew L. (2021-11-01). "The false hope of current approaches to explainable artificial intelligence in health care". The Lancet Digital Health. 3 (11): e745–e750. doi:10.1016/S2589-7500(21)00208-9. ISSN 2589-7500. PMID 34711379. S2CID 239963176.
  68. ^ Duede, Eamon (2022-06-01). "Deep Learning Opacity in Scientific Discovery". arXiv:2206.00520. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  69. ^ Alizadeh, Fatemeh (2020). "eXplainable AI: take one step back, move two steps forward". Mensch und Computer.
  70. ^ Sarkar, Advait (2022). "Is explainable AI a race against model complexity?" (PDF). Workshop on Transparency and Explanations in Smart Systems (TeXSS), in Conjunction with ACM Intelligent User Interfaces (IUI 2022): 192–199. arXiv:2205.10119 – via CEUR Workshop Proceedings.
  71. ^ "NASA 'Evolutionary' software automatically designs antenna". NASA. NASA. Retrieved 17 July 2017.
  72. ^ "The Flash Crash: The Impact of High Frequency Trading on an Electronic Market" (PDF). CFTC. CFTC. Retrieved 17 July 2017.
  73. ^ Weng, Stephen F; Reps, Jenna; Kai, Joe; Garibaldi, Jonathan M; Qureshi, Nadeem (2017). "Can machine-learning improve cardiovascular risk prediction using routine clinical data?". PLOS ONE. 12 (4): e0174944. Bibcode:2017PLoSO..1274944W. doi:10.1371/journal.pone.0174944. PMC 5380334. PMID 28376093.
  74. ^ a b Lakkaraju, Himabindu; Rudin, Cynthia. "Learning Cost-Effective and Interpretable Treatment Regimes" (PDF). International Conference on Artificial Intelligence and Statistics (AISTATS). 2017.
  75. ^ Tosun, Akif (2020). "Explainable AI (xAI) for Anatomic Pathology". Advances in Anatomic Pathology. July 2020 - Volume 27 - Issue 4 - p 241-250 (4): 241–250. doi:10.1097/PAP.0000000000000264. PMID 32541594. S2CID 219706238.
  76. ^ https://www.spintellx.com/
  77. ^ "Tesla says it has 'no way of knowing' if autopilot was used in fatal Chinese crash". Guardian. 2016-09-14. Retrieved 17 July 2017.
  78. ^ Abrams, Rachel; Kurtz, Annalyn (July 2016). "Joshua Brown, Who Died in Self-Driving Accident, Tested Limits of His Tesla". New York Times. Retrieved 17 July 2017.
  79. ^ Qureshi, M. Atif; Greene, Derek (2018-06-04). "EVE: explainable vector based embedding technique using Wikipedia". Journal of Intelligent Information Systems. 53: 137–165. arXiv:1702.06891. doi:10.1007/s10844-018-0511-x. ISSN 0925-9902. S2CID 10656055.
  80. ^ Galhotra, Sainyam; Pradhan, Romila; Salimi, Babak (2021). "Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals". Proceedings of the 2021 International Conference on Management of Data. Vol. 2021. pp. 577–590. arXiv:2103.11972. doi:10.1145/3448016.3458455. ISBN 9781450383431. S2CID 232307670.

외부 링크