스킬 트리 구축

기술 트리 구축(CST)은 시연에서 얻은 샘플 솔루션 궤적 세트로부터 기술 트리를 구축할 수 있는 계층적 강화 학습 알고리즘입니다.CST는 증분 MAP(최대 사후) 변화점 검출 알고리즘을 사용하여 각 데모 궤적을 스킬으로 분할하고 결과를 스킬트리에 통합한다.CST는 ^[1]George Konidaris, Scott Kuindersma, Andrew Barto 및 Roderic Grupen에 의해 2010년에 도입되었습니다.

알고리즘.

CST는 주로 변경점 감지, 정렬 및 병합의 세 부분으로 구성됩니다.CST의 주요 초점은 온라인 변경점 검출입니다.변화점 검출 알고리즘은 데이터를 스킬로 분할하기 위해 사용되며 할인된 $보상{\displaystyle {}_{}^{}}$ ${\displaystyle R_{}^{}}$ t${\displaystyle {}_{}^{}}${\$displaystyle R_{t}^{}}$의 합계를 목표 회귀 변수로 사용한다.각 스킬에는 적절한 추상화가 할당됩니다.입자 필터는 CST의 계산 복잡성을 제어하기 위해 사용됩니다.

변경점 검출 알고리즘은 다음과 같이 구현됩니다.이전 $p{\displaystyle (qq}$ Q$)$ {$displaystyle$ p$(q$q Q) {displaystyle p$($q$$\$in$ Q)}의 시간 t$(\displaystyle$ t$\in$ T$)$ 및 모델 Q에 대한 데이터가 제공됩니다.알고리즘은 $적합확률{\displaystyle P(j,}$ ${\displaystyle t}$,${\displaystyle {}_{}^{}}$q$$${\displaystyle {}_{}^{}}$의$모델q$({$displaystyle P(j,t,$q)_$\{\}^\{\})$를 사용하여${\displaystyle }시간{\displaystyle }$ ${\displaystyle \mathrm{j}}$+ 1({$displaystyle j+$1$$)부터$t$({$displaystyle$t$$})까지의 세그먼트를 적합시킬 수 있다고 가정합니다. P${\displaystyle (j{}_{}^{}}$ t${\displaystyle )}$를 계산하기 위해 사용합니다.$$({$displaystyle$ P$(j,t,q)_$ 입니다$.$이전 가우스 노이즈의 평균은 0이며, 그 ${\displaystyle 후}$의 분산은 I ${\displaystyle n}$ ${\displaystyle v}$ ${\displaystyle e}$ ${\displaystyle r}$ ${\displaystyle G}$ ${\displaystyle a}$ m${\displaystyle a\frac{}{}}$ ( ${\displaystyle \frac{\mathrm{v}}{}}$2 , ${\displaystyle \frac{\mathrm{u}}{}}$2)$${ $displaystyle InverseGamma$( { \ $frac${ $v$} {2} , {\ $frac {u}$ {$2}}}}$} 。각 무게의 선행은 ${\displaystyle \mathrm{NOR}}$ ${\displaystyle m}$ a${\displaystyle {}_{}^{}}$ ( ${\displaystyle 0}$ ,${\displaystyle {2\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ $displaystyle$ Normal _ { }^{ $}(0$,\$sigma$^{2}\delta $) 뒤$에 $있습니다.$

${\displaystyle \mathrm{적합}}$ $확률{\displaystyle }$P (${\displaystyle }$j ,${\displaystyle t}$ ,${\displaystyle {}_{}^{}q{}_{}^{}}$) { $displaystyle$P ($j$ ,$t$ , q ) _ {$$}^{}}는$$ 다음 방정식으로 계산됩니다.

${\displaystyle P(j,t,q)=pi frac {-{\frac {n}{\frac ^{m}}{\left (A+D)^{-1}\right ^{\frac {1}{2}}{\frac {{\frac {v}}}{\frac {y+u}{frac}{frac}{frac}{frac}{{{{{frac}}}}}{frac}{frac}}}{frac}}}{frac}{frac}}} {\frac {n+v} {2}} {\Gamma({\frac {v} {2}})}} {\Gamma({\frac {v} {2}})}}$

다음으로 CST는 ${\displaystyle {Viterbi}_{}^{}}$ ${\displaystyle \mathrm{알고리즘}}$을 사용하여 모델q${\displaystyle ,}$ P${\displaystyle {}_{}^{}}$t (${\displaystyle }$j , ${\displaystyle q}$ $),$ {$displaystyle P_${t$}^{j,q}$ 및$$ $P{\displaystyle {}_{}^{}}$ ${\displaystyle J_{}^{}}$ A$$ {$displaystyle P_{j}^MAP}$를 사용하여 시간 j에서의 변화점의 확률을 계산합니다.

${\displaystyle P_{t}(j,q)=(1-G(t-j-1))P(j,t,q)p(q)P_{j}^{MAP}}$

${\displaystyle P_{j}^{MAP}=\max _{i,q}{P_{j}(i,q)g(j-i)}{1-G(j-i-1)},\forall j<t}$

파라미터와 변수에 대한 설명은 다음과 같습니다.

${\displaystyle A=\sum _{i=j}^{t}\Phi(x_{i})\Phi(x_{i})^{T}}$

${\displaystyle {\phi }_{}}$ ${\displaystyle ({}_{}^{}}$x i ) { $displaystyle \Phi$ ( $x _$ { $i$} _ {$$}^{ }} : 상태$$x i { \ $displaystyle x$ _$${ i }}에서 $평가$된 m 기본함수의 벡터

${\displaystyle y=(\sum _{i=j}^{t}R_{i}^{2})-b^{T}(A+D)^{-1}b}$

${\displaystyle b=\sum _{i=j}^{t}R_{i}\Phi(x_{i})}$

${\displaystyle R_{i}=\sum _{j=i}^{T}\gamma^{j-i}r_{j}$

$γ$\ $displaystyle$ \ $Gamma$ _ {$$}^{ } : 감마 ${\displaystyle {\mathrm{함수}}_{}^{}}$

${\displaystyle n_{}^{}=t-j}$

${\displaystyle m_{}^{}}${\$displaystyle m_$ : 함수가 갖는 기본 수.

$displaystyle D_$ : 대각선 위에${\displaystyle {}^{}}$1$(\$^{-$1})$이 있는 m by m 매트릭스.

스킬 $길이{\displaystyle }$l(\$displaystyle$ l$)$은 파라미터 p를 사용하여 기하학적 분포를 따르는 것으로 가정합니다.

${\displaystyle g_{}^{}(l)=(1-p)^{l-1}p}$

${\displaystyle G_{}^{}(l)=(1-(1-p)^{l})}$

${\displaystyle p_{}^{}=black {1}{k}}$

${\displaystyle k_{}^{}}$ {\$displaystyle k_{}^{}:}$ 예상$$ 스킬 길이

위의 방법을 사용하면 CST는 데이터를 스킬체인으로 세그먼트화할 수 있습니다.변화점 검출의 시간 복잡도는 $)$ {{$displaystyle$O($NL)},$ 스토리지 크기는 O$)$ {{$displaystyle$ O$(Nc$입니다.$여기$서$$N({$displaystyle$ N$}$은 파티클 수,$L{\displaystyle }$(\$displaystyle$L$$)은${\displaystyle }연산{\displaystyle }$ $,$입니다.$displaystyle$ O$(c)}$ 변경점$$.

다음 단계는 정렬입니다.CST는 컴포넌트 스킬을 조정해야 합니다.변화점은 완전히 같은 장소에서 발생하지 않기 때문입니다.따라서 첫 번째 궤적을 분할한 후 두 번째 궤적을 분할할 때 두 번째 궤적의 변화점 위치에 대한 편향이 있다.이 편견은 가우시안들의 혼합을 따른다.

마지막 단계는 병합입니다.CST는 스킬체인을 스킬트리에 Marge 합니다CST는 같은 스킬을 할당함으로써 궤적 세그먼트의 쌍을 Marge합니다.모든 궤적은 동일한 목표를 가지며 최종 세그먼트에서 시작하여 두 개의 체인을 병합합니다.두 세그먼트가 통계적으로 유사한 경우 병합됩니다.이 순서는 스킬세그먼트의 페어를 Marge할 수 없을 때까지 반복됩니다.${\displaystyle P(j,t,q)}$ are used to determine whether a pair of trajectories are modeled better as one skill or as two different skills.

유사 코드

다음 의사 코드는 변경점 검출 알고리즘에 대해 설명합니다.

입자 : = [ ] ; t = 1:T do //p pre p${\displaystyle \mathrm{pre}}$ ${\displaystyle r}$ t ${\displaystyle i}$ ${\displaystyle c}$ \ $display style$p\$in$ particles$$do$$ p_tjq : = ( 1 - G ( t - p. pos - 1) × p . fit _ prob × p _ p _ p _ model ( p _ p _ p _ map ) × p _ p _ p _ p _ map p _ p _ map p _ map 。MAP : = p_tjq × g(t-p.pos) / (1 - G(t - p.pos - 1) end // 입자의 수가 θ N이면 필요에 따라 필터링하고, 그 후 입자 := particle_filter(p)MAP, M) end // t = 1 do max_path : = [ ] max_MAP : = 1/ Q else max_map : = ${\displaystyle \underset{}{max}}$p \ $displaystyle$\ $max$ _ ${p}$ $p$의 Viterbi 경로를 결정합니다.MAP max_path : = max_path.path${\$ {\$display${ displaystyle $\cup }$ max_map$$ : = max_max.path 。MAP end // q${\displaystyle q}$ Q \ $displaystyle$q \ $in$$Q$do$$ new _ p : = create _ create _ t ( model = q , pos = t , prev _ MAP = max _ map , path )p : = p$\cup {\displaystyle }$ {\ \ $displaystyle$\ cup $particles{\displaystyle }$ particles particles P\$displaystyle$ ${\displaystyle //}$ p p p p p p p p p p particles particlesP$map$ particles particles particles particles particles particles particles particles for forP \ create 。ticle(current_state, current_reward, p) end // 가장 가능성이 높은 경로를 최종 포인트 리턴 max_path로 되돌립니다.

function update_current_state, current_contract, particle)은 p := 파티클 r_t := current_contract // t = 0이면 초기화입니다.A : = Zero matrix (p.m, p.m) p.b : = Zero vector (p.m) p.z : = 0 p.sum r : = 0 p.tr1 : =$$ 0 p.tr2 : = 0 end if / // 현재 상태 ${\displaystyle {\delta }_{}}$ t$$\$displaystyle \Phi$ _${t}$ p.$syledisplaystyle$ = P.${\displaystyle \mathrm{}}$}$$= 0 p.syle = 0p : = 0 p.zyle = 0p : = 0 = 0 = 0 =p.A:= p.A+ ${\displaystyle {\phi }_{}}$ t $φ$ { $displaystyle \ Phi$ _ { t $}$ \$파이 _{t}^{$$T.$z$$ : =$$$γ$ { $displaystyle$ \$phi$ _ { t$$$$$}$ ${\displaystyle p_{}}$.b : = p.${\displaystyle b_{}}$+ r t { $displaystyle r$_ { $t$$$} p$$$$.z p.tr1 : = 1+ ${\displaystyle {\gamma \mathrm{}}^{}}$2 \ $displaystyle \ sum$ r $=$ 2 $p{\displaystyle {}_{}^{}}$.b + sum ${\displaystyle {\mathrm{}}_{}^{}}$.p.tr2 : =$\gamma {\displaystyle }$ { $displaystyle$ \ $display$ $style$$$$}$ ${\displaystyle p_{}}$ . tr2 + ${\displaystyle {}_{}}$ { t$}$ p$$ . tr1 p . fit _ prob : = compute _ fit _ prob ( p , v , $u$ , $delta$ ,$\}$ )

전제 조건

CTS는 증명된 기술이 트리를 형성하고, 도메인 보상 함수가 알려져 있으며, 기술 쌍을 병합하기 위한 최선의 모델은 두 가지 모두를 개별적으로 표현하기 위해 선택된 모델이라고 가정한다.

이점

CST는 스킬 체인보다 훨씬 빠른 학습 알고리즘입니다.CST는 고차원 정책 학습에 적용할 수 있습니다.실패하는 에피소드도 스킬을 향상시킬 수 있습니다.에이전트 중심의 기능을 사용하여 습득한 스킬을 다른 문제에 사용할 수 있습니다.

사용하다

CST는 PinBall 도메인에서 인간 데모를 통해 기술을 습득하기 위해 사용되었습니다.또한 모바일 조작기로 시연하여 기술을 습득하는 데에도 사용되었습니다.

「 」를 참조해 주세요.

• 전전두피질 기저신경절 작업기억
• 상태-행동-보상-상태-행동
• Sammon 매핑

레퍼런스

• Konidaris, George; Scott Kuindersma; Andrew Barto; Roderic Grupen (2010). "Constructing Skill Trees for Reinforcement Learning Agents from Demonstration Trajectories". Advances in Neural Information Processing Systems 23.

• Konidaris, George; Andrew Barto (2009). "Skill discovery in continuous reinforcement learning domains using skill chaining". Advances in Neural Information Processing Systems 22.

• Fearnhead, Paul; Zhen Liu (2007). "On-line Inference for Multiple Change Points". Journal of the Royal Statistical Society.