딥 드림

DeepDream
ImageNet에서 트레이닝된 VGG16 네트워크를 사용한 DeepDream 효과가 있는 모나리자
시리즈의 일부
기계 학습
및 데이터 마이닝
Scatterplot featuring a linear support vector machine's decision boundary (dashed line)
문제
지도 학습
(분류 • 회귀)
클러스터링
치수 축소
구조화된 예측
이상 검출
인공신경망
강화 학습
인간과의 학습
모델 진단
이론.
기계학습장
관련 기사

딥드림은 구글 엔지니어 알렉산더 모르드빈세프가 개발한 컴퓨터 비전 프로그램으로, 합성 신경망을 이용해 알고리즘 망상증(pareidolia)을 통해 영상의 패턴을 찾아 강화함으로써 의도적으로 과도하게 처리된 [1][2][3]영상에서 사이키델릭 체험을 연상시키는 꿈 같은 모습을 연출한다.

구글의 프로그램은 "꿈꾸는(deeping)"이라는 용어를 훈련받은 심층 네트워크에서 원하는 활성화를 생성하는 이미지의 생성을 가리키기 위해 대중화했고, 이 용어는 이제 관련 접근법의 집합을 의미합니다.

역사

DeepDream 소프트웨어는 [1][2][3]동명의 영화를 본따 코드명 "Inception"으로 명명된 심층 컨볼루션 네트워크에서 유래되었으며, 2014년[3] ImageNet 대규모 비주얼 인식 챌린지(ILSVRC)용으로 개발되어 2015년 7월에 출시되었습니다.

이 꿈의 아이디어와 이름은 구글의 딥드림 프로그램 덕분에 2015년에 인터넷에서 인기를 끌었다.이 아이디어는 뉴럴 [4]네트워크의 역사 초기부터 시작되었으며, 시각적 [5]질감을 합성하기 위해 유사한 방법이 사용되어 왔다.관련 시각화 아이디어는 여러 [6][7]연구 그룹에 의해 개발되었습니다(Google의 작업에 앞서).

구글이 그들의 기술을 공개하고 코드를 오픈 [8]소스로 만든 후, 사용자들이 자신의 사진을 [9]변형할 수 있도록 웹 서비스, 모바일 애플리케이션, 데스크톱 소프트웨어 형태의 많은 도구들이 시장에 등장했다.

과정

An image of jellyfish on a blue background
An image of jellyfish processed with DeepDream after ten iterations
An image of jellyfish processed with DeepDream after fifty iterations
DeepDream의 10회(중간)와 50회(하단) 반복을 적용한 원본 이미지(상단)는 개를 인식하도록 훈련된 네트워크입니다.

이 소프트웨어는 이미지를 [10]자동으로 분류하기 위해 이미지 내의 얼굴 및 기타 패턴을 감지하도록 설계되었습니다.그러나 일단 훈련을 받으면 네트워크는 역방향으로 실행될 수 있으며, 주어진 출력 뉴런(예: 얼굴 또는 특정 동물용)이 더 높은 신뢰 점수를 산출하도록 원본 이미지를 약간 조정하라는 요청을 받는다.이는 뉴럴 네트워크의 새로운 구조를 더 잘 이해하기 위한 시각화에 사용될 수 있으며 DeepDream 개념의 기초가 됩니다.이 반전 순서는 1 대 다의 [11]매핑프로세스를 사용하기 때문에 완전히 명확하고 명확하지 않습니다.그러나 충분히 반복한 후 초기에 원하는 특징이 없는 이미지라도 사이키델릭 및 초현실적 이미지가 알고리즘적으로 생성되는 망상증(paridolia)의 한 형태로 충분히 조정될 것이다.최적화는 역전파와 유사하지만 네트워크 가중치를 조정하는 대신 가중치를 고정하고 입력을 조정합니다.

예를 들어 기존 이미지를 "cat-like"가 되도록 변경할 수 있으며, 결과적으로 강화된 이미지를 다시 [2]프로시저에 입력할 수 있다.이 사용법은 클라우드에서 동물이나 다른 패턴을 찾는 활동과 유사합니다.

입력의 각 픽셀에 독립적으로 구배 강하를 적용하면 인접한 픽셀의 관계가 거의 없고 따라서 고주파 정보가 너무 많은 이미지가 생성됩니다.생성된 영상은 자연 영상 통계(특정 영상 선호 없음)를 선호하거나 [7][12][13]단순히 부드러운 입력을 선호하는 이전 또는 정규화 기능을 포함하면 크게 향상될 수 있습니다.예를 들어 Mahendran 등입니다.[12]부분적으로 일정한 이미지를 선호하는 총 변동 정규화기를 사용했습니다.다양한 레귤러라이저에 대해서는 [13]더 자세히 설명합니다.기능 시각화 및 정규화 기법에 대한 심층적이고 시각적인 탐구가 보다 [14]최근에 발표되었다.

LSD 및 실로시빈 유도 환각과 인용된 이미지의 유사성은 인공 신경망과 시각 [15]피질의 특정 층 사이의 기능적 유사성을 시사한다.

DeepDream과 같은 신경 네트워크는 뇌 처리와 의식 형성에 대한 통찰력을 제공하는 생물학적 유사성을 가지고 있습니다.DMT와 같은 환각제는 시각 피질의 층 내에 존재하는 세로토닌 작동 시스템의 기능을 변화시킨다.뉴럴 네트워크는 입력 벡터에 대해 훈련되며 훈련 과정 중 내부 변화에 따라 변경됩니다.입력 및 내부 수정은 시각 피질에서 각각 외인성 및 내인성 신호의 처리를 나타냅니다.심층 신경 네트워크에서 내부 변화가 수정되면 출력 이미지가 이러한 변화를 반영합니다.이 특정한 조작은 내부 뇌 메커니즘이 신경망의 내부 층과 어떻게 유사한지를 보여준다.내부 소음 수준 수정은 환각제가 시각적 [16]지각에 강한 영향을 미치는 내부 선입견을 이끄는 외부 감각 정보를 생략하는 방법을 나타낸다.

사용.

DeepDream 가공된 수영장에 있는 세 남자의 사진

꿈꾸는 아이디어는 출력물 이외의 숨겨진(내부) 뉴런에 적용할 수 있으며,[13] 이를 통해 네트워크의 다양한 부분의 역할과 표현을 탐색할 수 있습니다.또한 입력을 최적화하여 단일 뉴런([17]이 사용은 때때로 활동 최대화라고 불린다) 또는 전체 뉴런 층을 만족시킬 수 있습니다.

꿈을 꾸는 것이 네트워크를 시각화하거나 컴퓨터 아트를 제작하는 데 가장 많이 사용되지만, 최근 "꿈꾸는" 입력을 훈련 세트에 추가하는 것이 컴퓨터 [18]사이언스의 추상화 훈련 시간을 향상시킬 수 있다는 제안이 제기되었습니다.

딥드림 모델은 미술사 [19]분야에서도 응용이 가능하다는 것이 입증되었다.

딥드림은 "Doing It for the Money"[20]라는 곡의 포스터 더 피플 뮤직비디오에 사용되었다.

2017년 서섹스 대학의 연구팀이 DeepDream 알고리즘을 사전 녹화된 파노라마 영상에 적용하여 사용자가 정신 반응 물질 및/또는 정신 병리 상태의 경험을 [21]모방하기 위해 가상 현실 환경을 탐색할 수 있도록 하는 환각 기계를 만들었습니다.그들은 환각 기계에 의해 유도된 주관적 경험이 ('할루신제닉'이 아닌) 대조군 비디오와 유의하게 다르다는 것을 증명할 수 있었고, 사이키델릭 상태(실로시빈 투여 후)와 현상학적 유사성을 가지고 있었다.

2021년, 엔트로피 저널에 발표된 한 연구는 신경과학적인 [22]증거와 함께 DeepDream과 실제 사이키델릭 경험 사이의 유사성을 증명했다.저자들은 영화 클립과 딥드림이 만든 비디오의 수동적인 시각에서 인간 참가자들의 뇌파(EEG)를 기록했다.그들은 DeepDream 비디오가 실제 사이키델릭 [23]경험의 잘 알려진 바이오마커인 EEG 신호에서 더 높은 엔트로피와 뇌 [22]영역 간의 더 높은 수준의 기능적 연결을 유발한다는 것을 발견했다.

2022년 트렌토 대학(University of Trento)이 공동으로 가상현실 파노라마 영상과 딥드림 알고리즘에 의해 생성된 환각과 같은 영상을 접한 후 참가자들의 인지 유연성과 창의성을 측정했다.시뮬레이션된 사이키델릭 노출에 이어, 개인은 아마도 흔치 않은 의사결정의 탐구를 용이하게 하는 인지 역학의 재편성 때문에, 자동 과정의 감소된 기여와 그들의 의사결정 과정의 기초가 되는 혼란스러운 역학으로 구성된 더 높은 창의성과 정신적 유연성을 보였다.전략을 수립하고 자동화된 [24]선택을 금지합니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ a b Mordvintsev, Alexander; Olah, Christopher; Tyka, Mike (2015). "DeepDream - a code example for visualizing Neural Networks". Google Research. Archived from the original on 2015-07-08.
  2. ^ a b c Mordvintsev, Alexander; Olah, Christopher; Tyka, Mike (2015). "Inceptionism: Going Deeper into Neural Networks". Google Research. Archived from the original on 2015-07-03.
  3. ^ a b c Szegedy, Christian; Liu, Wei; Jia, Yangqing; Sermanet, Pierre; Reed, Scott E.; Anguelov, Dragomir; Erhan, Dumitru; Vanhoucke, Vincent; Rabinovich, Andrew (2015). "Going deeper with convolutions". IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2015, Boston, MA, USA, June 7–12, 2015. IEEE Computer Society. pp. 1–9. arXiv:1409.4842. doi:10.1109/CVPR.2015.7298594.
  4. ^ Lewis, J.P. (1988). "Creation by refinement: a creativity paradigm for gradient descent learning networks". IEEE International Conference on Neural Networks. IEEE International Conference on Neural Networks. pp. 229-233 vol.2. doi:10.1109/ICNN.1988.23933. ISBN 0-7803-0999-5.
  5. ^ Portilla, J; Simoncelli, Eero (2000). "A parametric texture model based on joint statistics of complex wavelet coefficients". International Journal of Computer Vision. 40: 49–70. doi:10.1023/A:1026553619983. S2CID 2475577.
  6. ^ Erhan, Dumitru. (2009). Visualizing Higher-Layer Features of a Deep Network. International Conference on Machine Learning Workshop on Learning Feature Hierarchies. S2CID 15127402.
  7. ^ a b Simonyan, Karen; Vedaldi, Andrea; Zisserman, Andrew (2014). Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps. International Conference on Learning Representations Workshop. arXiv:1312.6034.
  8. ^ 깃허브에서 깊은 꿈을 꾸다
  9. ^ Daniel Culpan (2015-07-03). "These Google "Deep Dream" Images Are Weirdly Mesmerising". Wired. Retrieved 2015-07-25.
  10. ^ Rich McCormick (7 July 2015). "Fear and Loathing in Las Vegas is terrifying through the eyes of a computer". The Verge. Retrieved 2015-07-25.
  11. ^ Hayes, Brian (2015). "Computer Vision and Computer Hallucinations". American Scientist. 103 (6): 380. doi:10.1511/2015.117.380. ISSN 0003-0996.
  12. ^ a b Mahendran, Aravindh; Vedaldi, Andrea (2015). "Understanding Deep Image Representations by Inverting Them". 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Conference on Computer Vision and Pattern Recognition. pp. 5188–5196. arXiv:1412.0035. doi:10.1109/CVPR.2015.7299155. ISBN 978-1-4673-6964-0.
  13. ^ a b c Yosinski, Jason; Clune, Jeff; Nguyen, Anh; Fuchs, Thomas (2015). Understanding Neural Networks Through Deep Visualization. Deep Learning Workshop, International Conference on Machine Learning (ICML) Deep Learning Workshop. arXiv:1506.06579.
  14. ^ Olah, Chris; Mordvintsev, Alexander; Schubert, Ludwig (2017-11-07). "Feature Visualization". Distill. 2 (11). doi:10.23915/distill.00007. ISSN 2476-0757.
  15. ^ LaFrance, Adrienne (2015-09-03). "When Robots Hallucinate". The Atlantic. Retrieved 24 September 2015.
  16. ^ Timmermann, Christopher (2020-12-12). "Neural Network Models for DMT-induced Visual Hallucinations". Neuroscience of Consciousness. NIH. 2020 (1): niaa024. doi:10.1093/nc/niaa024. PMC 7734438. PMID 33343929.
  17. ^ Nguyen, Anh; Dosovitskiy, Alexey; Yosinski, Jason; Brox, Thomas (2016). Synthesizing the preferred inputs for neurons in neural networks via deep generator networks. arxiv. arXiv:1605.09304. Bibcode:2016arXiv160509304N.
  18. ^ Arora, Sanjeev; Liang, Yingyu; Tengyu, Ma (2016). Why are deep nets reversible: A simple theory, with implications for training. arxiv. arXiv:1511.05653. Bibcode:2015arXiv151105653A.
  19. ^ Spratt, Emily L. (2017). "Dream Formulations and Deep Neural Networks: Humanistic Themes in the Iconology of the Machine-Learned Image" (PDF). Kunsttexte. Humboldt-Universität zu Berlin. 4. arXiv:1802.01274. Bibcode:2018arXiv180201274S.
  20. ^ fosterthepeopleVEVO (2017-08-11), Foster The People - Doing It for the Money, retrieved 2017-08-15
  21. ^ Suzuki, Keisuke (22 November 2017). "A Deep-Dream Virtual Reality Platform for Studying Altered Perceptual Phenomenology". Sci Rep. 7 (1): 15982. Bibcode:2017NatSR...715982S. doi:10.1038/s41598-017-16316-2. PMC 5700081. PMID 29167538.
  22. ^ a b Greco, Antonino; Gallitto, Giuseppe; D’Alessandro, Marco; Rastelli, Clara (July 2021). "Increased Entropic Brain Dynamics during DeepDream-Induced Altered Perceptual Phenomenology". Entropy. 23 (7): 839. Bibcode:2021Entrp..23..839G. doi:10.3390/e23070839. ISSN 1099-4300. PMC 8306862. PMID 34208923.
  23. ^ Carhart-Harris, Robin; Leech, Robert; Hellyer, Peter; Shanahan, Murray; Feilding, Amanda; Tagliazucchi, Enzo; Chialvo, Dante; Nutt, David (2014). "The entropic brain: a theory of conscious states informed by neuroimaging research with psychedelic drugs". Frontiers in Human Neuroscience. 8: 20. doi:10.3389/fnhum.2014.00020. ISSN 1662-5161. PMC 3909994. PMID 24550805.
  24. ^ Rastelli, Clara; Greco, Antonino; Kennett, Yoed; Finocchiaro, Chiara; De Pisapia, Nicola (7 March 2022). "Simulated visual hallucinations in virtual reality enhance cognitive flexibility". Sci Rep. 12 (1): 4027. Bibcode:2022NatSR..12.4027R. doi:10.1038/s41598-022-08047-w. PMC 8901713. PMID 35256740.

외부 링크

Wikimedia Commons에는 Deep Dream 이미지와 관련된 미디어가 있습니다.