멀티태스크 최적화

Multitask optimization

멀티태스킹 최적화는 복수의 자급자족 과제를 동시에 해결하는 데 초점을 맞춘 최적화 문헌의 패러다임이다.[1][2]그 패러다임은 예측 분석에서 전달 학습과[3] 다중 작업 학습이라는[4] 잘 확립된 개념에서 영감을 얻었다.

멀티태스킹 최적화의 주요 동기는 최적화 작업이 최적의 솔루션이나 기능 환경의 일반적인 특징 측면에서 서로 관련된다면,[5] 검색 진행률을 이전하여 다른 작업에 대한 검색을 실질적으로 가속화할 수 있다는 것이다.

패러다임의 성공은 반드시 단순한 업무에서 보다 복잡한 업무로의 단방향 지식 이전에만 국한되는 것은 아니다.실제로 시도는 의도치 않게 몇 가지 작은 문제를 해결할 수 있는 더 어려운 과제를 의도적으로 해결하는 것이다.[6]

방법들

다중 작업 최적화를 위한 두 가지 일반적인 접근법이 있다.베이지안 최적화 [1]및 진화 연산

멀티 태스킹 베이시안 최적화

멀티 태스킹 베이시안 최적화는 지식 전달 개념을 활용해 머신러닝 알고리즘의 자동 하이퍼 파라미터 최적화 프로세스를 가속화하는 현대적 모델 기반 접근법이다.[7]이 방법은 여러 개의 작업 가우스 프로세스 모델을 구축하여 여러 개의 검색에서 생성되는 데이터를 병렬로 진행시킨다.[8]캡처된 태스크간 종속성은 이후 각 검색 공간에서 후보 솔루션의 후속 샘플링을 더 잘 알리기 위해 활용된다.

진화 다중 작업

진화적 멀티태스킹은 모집단 기반 검색 알고리즘의 암묵적 병렬주의를 이용하여 여러 개의 구별되는 최적화 작업을 동시에 진행하기 위한 수단으로 탐구되어 왔다.모든 작업을 통일된 검색 공간에 매핑함으로써, 후보 솔루션의 진화하는 인구는 지속적인 유전자 전이를 통해 그들 사이의 숨겨진 관계를 활용할 수 있다.이것은 다른 작업과 관련된 솔루션이 교차할 때 유도된다.[2][9]최근에는 직접 솔루션 크로스오버와는 다른 지식 전달 방식이 모색되고 있다.[10]

적용들

멀티 태스킹 최적화를 위한 알고리즘은 실제 애플리케이션의 광범위한 범위에 걸쳐 있다.최근의 연구에서는 관련 설계를 멀티태스킹 방식으로 공동으로 실시함으로써 엔지니어링 설계 매개변수의 최적화에 있어 속도 업의 가능성을 강조하고 있다.[9]머신러닝에서, 관련 데이터 집합에 걸쳐 최적화된 기능의 전송은 학습된 모델의 일반화 능력을 향상시키는 것은 물론, 교육 과정의 효율성을 높일 수 있다.[11][12]또한, 멀티 태스킹의 개념은 머신러닝 모델과 앙상블 학습의 자동 하이퍼 파라미터 최적화의 진전으로 이어졌다.[13][14]

클라우드 컴퓨팅에서도 애플리케이션이 보고되었으며,[15] 향후 여러 고객을 동시에 만족시킬 수 있는 클라우드 기반 온디맨드 최적화 서비스를 지향하는 개발이 추진되고 있다.[2][16]최근의 연구는 화학에 응용하는 것을 추가로 보여주었다.[17]

참고 항목

참조

  1. ^ a b 굽타, A, 옹, Y. S, & 펑, L. (2018)전송 최적화에 대한 통찰력: 경험이 최고의 선생님이기 때문이다.컴퓨팅 인텔리전스의 새로운 주제에 관한 IEEE 거래, 2(1), 51-64.
  2. ^ a b c 굽타, A, 옹, Y. S, & 펑, L. (2016)다단계적 진화: 진화적 다중 작업으로의 진화.IEEE의 진화적 계산, 20(3), 343-357.
  3. ^ 팬, S. J., & Yang, Q. (2010)편입학 학습에 대한 설문 조사.IEEE 지식 및 데이터 엔지니어링 거래, 22(10), 1345-1359.}
  4. ^ Caruana, R, "멀티태스크 학습", Pratt & Thrun 1998 없음:(
  5. ^ 청, 엠, 구프타, 에이, 옹, 와이, 니, 지 W. (2017).동시 글로벌 최적화를 위한 공진화 다중 작업: 복잡한 엔지니어링 설계의 사례 연구 포함.인공지능 공학 응용, 64, 13-24}
  6. ^ 카비, S, 콜메나레조, S. G, 호프만, M. W, 데닐, M, 왕, Z, & 드 프리타스, N. (2017년)의도적인 의도치 않은 에이전트: 많은 연속적인 제어 작업을 동시에 해결하는 법을 배운다.arXiv 사전 인쇄 arXiv:1707.03300
  7. ^ 스워스키, K, 스누크, J, & 아담스, R. P. (2013)다중 작업 베이지안 최적화.신경 정보 처리 시스템의 발전 (pp. 2004-2012)
  8. ^ Bonilla, E. V, Chai, K. M, & Williams, C. (2008).다중 작업 가우스 공정 예측.신경 정보 처리 시스템의 진보 (pp. 153-160).
  9. ^ a b 옹, Y. S. & 굽타, A. (2016년)진화적 다중 작업: 인지 다중 작업에 대한 컴퓨터 과학 관점.인지 연산, 8(2), 125-142.
  10. ^ 펑, L, 주, L, 중, J, 굽타, A, 옹, Y. S, 탄, K. C, 진, A. K. (2018)명시적 자동 인코딩을 통한 진화적 멀티태스킹.사이버네틱스에 대한 IEEE 거래, (99)
  11. ^ 찬드라, R, 굽타, A, 옹, Y. S, & 고, C. K. (2016, 10월)피드포워드 신경망의 모듈 훈련을 위한 진화 다중 작업 학습.국제 신경 정보 처리 회의 (pp. 37-46)에서.스프링거, 참.
  12. ^ 요신스키, J, 클루네, J, 벤지오, Y, & 립슨, H. (2014년)심층 신경망에서 형상은 얼마나 전달 가능한가?신경 정보 처리 시스템의 진보 (pp. 3320-3328)에서.
  13. ^ Wen, Y. W. & Ting, C. K. (2016, 7월)다원적 유전자 프로그래밍을 통해 의사결정 나무의 앙상블을 학습한다.Evolutional Computing(CEC)에서 2016 IEEE Congress on (pp. 5293-5300).IEEE
  14. ^ 장, 비, 진, A. K, & 셀리스, T. (2018, 7월)앙상블 분류를 위한 진화 피쳐 하위 스페이스 생성.유전자 및 진화 연산 회의(pp. 577-584)에서.ACM.
  15. ^ 바오, L, 제, Y, 심, M, 부, X, 유, J, 리, Q, & Chen, P. (2018, 6월)클라우드 컴퓨팅 서비스 구성을 위한 진화적 멀티태스킹 알고리즘세계 서비스 회의 (pp. 130-144)에서.스프링거, 참.
  16. ^ 탕, 제이, 첸, Y, 덩, 지, 샹, Y, & 조이, C. P. (2018)다요소 진화 알고리즘을 개선하기 위한 그룹 기반 접근법IJCAI (pp. 3870-3876)에서.
  17. ^ Felton, K, Wigh, D, & Lapkin A. (2021, 4월)다중 작업 베이지안 화학 반응 최적화.켐크시브