에너지 기반 모델

Energy-based model

에너지 기반 모델(EBM)은 통계 물리학에서 학습으로 직접 가져온 생성 모델(GM)의 한 형태입니다.GM은 샘플 데이터 세트를 분석하여 기본 데이터 분포를 학습합니다.일단 훈련을 받으면 GM은 데이터 [1]분포와 일치하는 다른 데이터 세트를 생성할 수 있습니다.EBM은 특히 그래픽 및 기타 구조화된 [2]모델을 훈련하기 위해 이러한 학습에 대한 많은 확률론적 및 비확률론적 접근 방식을 위한 통합 프레임워크를 제공합니다.

EBM은 대상 데이터 세트의 특성을 학습하고 유사하지만 더 큰 데이터 세트를 생성합니다.EBM은 데이터 세트의 잠재 변수를 감지하고 유사한 [2]분포를 가진 새로운 데이터 세트를 생성합니다.

대상 애플리케이션에는 자연어 처리, 로봇 공학 및 컴퓨터 [2]비전이 포함됩니다.

역사

"에너지 기반 모델"이라는 용어는 JMLR 논문에서 처음 만들어졌는데, 저자들은 EBM을 사용하여 독립적인 성분 분석을 과도한 설정으로 일반화한다고 정의했습니다. EBM에 대한 다른 초기 연구는 잠재적이고 관측 가능한 변수의 구성으로 에너지를 나타내는 모델을 제안했습니다.EBM은 [4]2003년에 표면화되었습니다.

접근

EBM은 관찰된 변수와 잠재 변수의 조합의 각 구성에 정규화되지 않은 확률 스칼라(에너지)를 연결하여 종속성을 캡처합니다.추론은 관찰된 변수의 집합(값)이 주어진 에너지를 최소화하는 잠재 변수를 찾는 것으로 구성됩니다.마찬가지로 모델은 낮은 에너지를 잠재 변수의 값을 수정하는 데 연결하고 높은 에너지를 잘못된 [2]값에 연결하는 함수를 학습합니다.

전통적인 EBM은 일반적으로 고차원 데이터 세트에 적용하기 어려운 확률적 경사 하강(SGD) 최적화 방법에 의존합니다.2019년, 오픈Langevin Dynamics (LD)를 대신 사용한 변형을 AI가 공개했습니다. LD는 목표 함수 학습의 일부로 추정기에 노이즈를 도입하는 반복 최적화 알고리즘입니다.후분 분포에서 [2]샘플을 생성하여 베이지안 학습 시나리오에 사용할 수 있습니다.

EBM은 에너지를 확률로 정규화할 필요가 없습니다.즉, 에너지는 1에 합칠 필요가 없습니다.확률론적 모델처럼 정규화 상수를 추정할 필요가 없기 때문에 EBM을 사용한 특정 형태의 추론 및 학습이 더 다루기 쉽고 [2]유연합니다.

샘플은 마르코프 체인 몬테카를로 [5]접근법을 통해 암묵적으로 생성됩니다.LD와 [2]함께 과거 영상의 재생 버퍼를 사용하여 최적화 모듈을 초기화합니다.

특성.

EBM은 유용한 [2]특성을 보여줍니다.

  • 단순성 및 안정성 -EBM은 설계 및 훈련이 필요한 유일한 객체입니다.균형을 유지하기 위해 별도의 네트워크를 교육할 필요는 없습니다.
  • 적응형 계산 시간 – EBM은 날카롭고 다양한 샘플 또는 (더 빨리) 거칠고 덜 다양한 샘플을 생성할 수 있습니다.무한한 시간이 주어지면 이 절차는 실제 [1]표본을 생성합니다.
  • 유연성–VAE(Variational Autoencoder) 및 흐름 기반 모델에서 제너레이터는 연속 공간에서 서로 다른 데이터 모드를 포함하는 (가능하면) 불연속 공간으로의 맵을 학습합니다.EBM은 분리된 영역(다중 모드)에 낮은 에너지를 할당하는 방법을 배울 수 있습니다.
  • 적응형 생성-EBM 생성기는 확률 분포에 의해 암묵적으로 정의되며, 분포가 변경됨에 따라 (훈련 없이) 자동으로 적응하여 EBM이 생성기 훈련이 비실용적인 도메인을 해결할 수 있을 뿐만 아니라 모드 붕괴를 최소화하고 분포 외 [5]샘플에서 스퓨리어스 모드를 피할 수 있습니다.
  • 구성성 -개별 모형은 정규화되지 않은 확률 분포이므로 전문가의 제품 또는 기타 계층적 기법을 통해 모형을 결합할 수 있습니다.

실험 결과

CIFAR-10 및 ImageNet 32x32와 같은 이미지 데이터 세트에서 EBM 모델은 비교적 빠르게 고품질 이미지를 생성했습니다.그것은 다른 유형의 이미지를 생성하기 위해 한 유형의 이미지에서 학습한 기능을 결합하는 것을 지원했습니다.분산되지 않은 데이터 세트를 사용하여 일반화할 수 있었고, 흐름 기반 및 자동 회귀 모델을 능가했습니다.EBM은 적대적 섭동에 상대적으로 내성이 있어 분류 훈련을 [2]통해 명시적으로 훈련된 모델보다 더 잘 작동합니다.

대안

EBM은 가변 자동 인코더(VAE) 또는 생성적 적대 신경망(GAN)[2]과 같은 기술과 경쟁합니다.

레퍼런스

  1. ^ a b "Implicit Generation and Generalization Methods for Energy-Based Models". OpenAI. 2019-03-21. Retrieved 2019-12-27.
  2. ^ a b c d e f g h i j Rodriguez, Jesus (2019-04-01). "Generating Training Datasets Using Energy Based Models that Actually Scale". Medium. Retrieved 2019-12-27.
  3. ^ Teh, Yee Whye; Welling, Max; Osindero, Simon; Hinton, Geoffrey E. (December 2003). "Energy-Based Models for Sparse Overcomplete Representations". JMLR.
  4. ^ LeCun, Yann (September 2003). "CBLL, Research Projects, Computational and Biological Learning Lab, Courant Institute, NYU". cs.nyu.edu. Retrieved 2019-12-27.
  5. ^ a b Du, Yilun; Mordatch, Igor (2019-03-20). "Implicit Generation and Generalization in Energy-Based Models". arXiv:1903.08689 [cs.LG].

외부 링크