시간차 학습

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

시간적 차이(TD) 학습은 가치 함수의 현재 추정치에서 부트스트랩을 통해 학습하는 모델 없는 강화 학습 방법의 클래스를 참조한다.이러한 방법은 몬테카를로 방법과 같은 환경에서 표본을 추출하여 동적 프로그래밍 ^[1]방법과 같은 현재 추정치에 기초하여 업데이트를 수행합니다.

몬테카를로 방법은 최종 결과가 알려진 후에만 추정치를 조정하는 반면, TD 방법은 최종 결과가 ^[2]알려지기 전에 미래에 대한 더 정확한 예측과 일치하도록 예측을 조정한다.다음 예시와 같이 부트스트래핑의 한 형태입니다.

"토요일의 날씨를 예측하고 싶다고 가정하면, 일주일 중 매일의 날씨를 고려해 토요일의 날씨를 예측하는 모델이 있다고 가정해 보세요.표준 케이스에서는 토요일까지 기다렸다가 모든 모델을 조정합니다.그러나 예를 들어 금요일이라면 토요일 날씨가 어떨지 잘 알고 있어야 합니다.그러면 토요일이 ^[2]오기 전에 토요일 모델을 변경할 수 있습니다.

시간적 차이 방법은 동물 ^{[3][4][5][6][7]}학습의 시간적 차이 모델과 관련이 있다.

수학 공식화

표 형식의 TD(0) 방식은 가장 간단한 TD 방식 중 하나입니다.이것은 보다 일반적인 확률적 근사 방법의 특별한 경우이다.$정책{\displaystyle {}^{}}$ $「\displaystyle$\$pi$ $\}$ $a{\displaystyle }$ a ${\displaystyle {}_{}}$ N \$displaystyle$($s$ { $t }$ \ $mathbb${$t$${\displaystyle {}_{}{}_{}}$}$$} a 、 ${\displaystyle V^{}}${\ \ $displaystyle$ V^ { \ pi$$} denote$$ 、 { t$}$${\displaystyle }$$states$ N \ displaystyle ( ${\displaystyle {}_{}}$ ${\displaystyle {\_}_{}}$ { t } ) ${\displaystyle {rwards}_{}}$ ） 、 \ mathbbb R ) $。$$\displaystyle (r_{t}_{t\in$ \$mathbb {N}}}}$ 및$$ $할인율$^[8] $"\displaystyle$$\gamma$$$}" ({displaystyle \$pi$ :

${\displaystyle V^{\pi }(s)=E_{a\sim \pi }\left\{t=0}^{\infty}\sum^{t}r_{t}(a_{t}){\Bigg}s_{0}=s\right\}.}$

편의상 표기법에서 동작을 삭제합니다.${\displaystyle V^{}}$ ${\$ {\$displaystyle$ V$^{\pi$}}: 해밀턴-야코비-벨만 방정식을 충족합니다.

${\displaystyle V^{\pi }(s)=E_{\pi }\{r_{0}+\pi V^{\pi }(s_{1}) s_{0}=s\}$

${\displaystyle {따라서\mathrm{}}_{}}$ r 0${\displaystyle {}_{}}$+ ${\displaystyle v^{}}$ V ${\displaystyle {}^{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$）{ $displaystyle$ $r_{0}+\$$gamma$ V$^{\$$pi$ $}($$s_{1$})는$$ V $s$에 $대한{\displaystyle {}^{}}$ 편향되지 않은 추정치입니다.이 관찰에 의해 V for$(\$ V$^{\pi$를 추정하기 위한 다음 알고리즘이 생성됩니다.

알고리즘은 표${\displaystyle }V{\displaystyle }$ ( ${\displaystyle s}$)\$displaystyle$ V$(s)$를 임의로 초기화하여 시작합니다. MDP의 각 상태에 대해 하나의 값을 지정합니다. 양의 $(\displaystyle \alpha$})가$$ 선택됩니다.

그런 다음 정책 $"\displaystyle\pi$를 반복 평가하여 $보상{\displaystyle }$r\$displaystyle$ r$"$을 얻고 규칙을 사용하여 ^[9]이전 상태의 값 함수를 업데이트합니다.

${\displaystyle V(s)\left 화살표 V(\alpha)(\overbrace {r+\gamma V(s)')} ^{\text{TD 타깃}-V}$

$여기$서 s$(\displaystyle$ s$)$와 s$(\$ s$')$는 각각 이전 상태와 새로운 상태입니다.$값{\displaystyle }$r + ${\displaystyle v}$V ( ${\displaystyle {}^{}}$ ${\displaystyle )}$ )$${ $displaystyle$ r + \ $gamma V$ ( s$$) }는$$ TD 타깃이라고 불립니다.

TD-Lambda

TD-Lambda는 Richard S에 의해 발명된 학습 알고리즘입니다. 서튼은 Arthur ^[1]Samuel의 시간적 차이 학습에 대한 초기 연구를 기반으로 합니다.이 알고리즘은 Gerald Tesauro가 TD-Gammon을 만들기 위해 적용한 것으로 잘 알려져 있습니다.TD-Gammon은 숙련된 인간 ^[10]플레이어 수준의 백개먼 게임을 하는 방법을 배운 프로그램입니다.

lambda$(\displaystyle \lambda$ 파라미터는 트레이스 붕괴 파라미터로 0${\displaystyle 1}$1 { $displaystyle$ 0 $\leqslant \lambda \leqslant$ 1$\}$을 참조합니다.설정이 높을수록 트레이스가 오래 지속됩니다.즉, 보상의 크레딧이 더 멀리 있는 상태 및 $액션$에 더 큰 비중을 부여할 수 $있습니다.$}은$$(는) 더 높으며, θ$=$ $1$ {$displaystyle$ \displayda$=1$}은(는) 몬테카를로 RL 알고리즘에 대한 병렬 학습을 생성한다$.$

신경과학 TD 알고리즘

TD 알고리즘은 신경과학 분야에서도 주목을 받고 있다.연구진은 복부피질영역(VTA)과 실체니그라(SNC)에서 도파민 뉴런의 발화 속도가 알고리즘의 ^{[3][4][5][6][7]}오류 기능을 모방하는 것으로 보인다는 것을 발견했다.오류 함수는 주어진 상태 또는 시간 단계에서 예상 보상과 실제 받은 보상 간의 차이를 보고합니다.오차 함수가 클수록 기대 보상과 실제 보상 간의 차이가 커집니다.이것이 미래의 보상을 정확하게 반영하는 자극과 짝을 이룰 때, 오차는 자극을 미래의 보상과 연관짓는 데 사용될 수 있다.

도파민 세포도 비슷한 행동을 하는 것으로 보인다.한 실험에서 도파민 세포의 측정은 원숭이가 자극을 ^[11]주스의 보상과 연관시키도록 훈련하는 동안 이루어졌다.처음에 도파민 세포는 원숭이가 주스를 받았을 때 발화 속도를 증가시켜 예상 보상과 실제 보상에서 차이를 보였다.시간이 지남에 따라 이러한 반격의 증가는 보상을 위한 가장 초기의 믿을만한 자극으로 전파되었다.일단 원숭이가 완전히 훈련되면, 예측된 보상을 제시해도 발사율이 증가하지 않았다.그 후, 도파민 세포의 발화율은 기대한 보상이 만들어지지 않았을 때 정상 활성화 이하로 떨어졌다.이는 TD의 오류 함수가 강화 학습에 어떻게 사용되는지 매우 유사하다.

모델과 잠재적 신경 기능 사이의 관계는 TD를 사용하여 행동 ^[12][13]연구의 많은 측면을 설명하려는 연구를 만들어냈다.그것은 또한 정신분열증이나 도파민의 약리학적 ^[14]조작이 학습에 미치는 영향을 연구하는 데 사용되어 왔다.

「 」를 참조해 주세요.

• Q-러닝
• 사사
• Rescolla-Wagner 모델
• PVLV

메모들

참고 문헌

• Sutton, R.S., Barto A.G. (1990). "Time Derivative Models of Pavlovian Reinforcement" (PDF). Learning and Computational Neuroscience: Foundations of Adaptive Networks: 497–537.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)
• Gerald Tesauro (March 1995). "Temporal Difference Learning and TD-Gammon". Communications of the ACM. 38 (3): 58–68. doi:10.1145/203330.203343.
• 임란 고리.보드 게임에서의 강화 학습.
• S. P. Meyn, 2007.Cambridge University Press, 2007, Control Technologies for Complex Networks(복합 네트워크를 위한 제어 기법)마지막 장과 요약된 Meyn & Tweedie 부록을 참조하십시오.

외부 링크

• Scholarpedia 시간적 차이 학습
• TD가몬
• TD-Networks 리서치 그룹
• TDGravity 애플릿 4개 연결(+휴대전화 버전)– TD-Leaf 방식으로 자체 학습(TD-Lambda와 얕은 나무 검색 조합)
• Self Learning Meta-Tic-Tac-Toe 간단한 보드 게임을 하는 미니맥스 AI의 상태 평가 상수를 학습하기 위해 시간적 차이 학습을 사용하는 방법을 보여주는 웹 앱 예.
• 시간 차이 학습을 사용하여 Q-러닝을 가속화하는 방법을 설명하는 문서인 강화 학습 문제
• TD-시뮬레이터 표준 조건화를 위한 시간차 시뮬레이터