메타 최적화

Meta-optimization
메타 최적화 개념.

수치 최적화에서 메타 최적화는 하나의 최적화 방법을 사용하여 다른 최적화 방법을 조정하는 것이다.메타최적화는 머서와 샘슨이[1] 유전 알고리즘의 최적 매개변수 설정을 찾기 위해 1970년대 후반부터 사용한 것으로 보고되고 있다.

메타최적화 및 관련 개념은 문헌에서도 메타진화, 초최적화, 자동 파라미터 교정, 초휴양성 등으로 알려져 있다.

동기

차등 진화를 위한 성능 환경.

유전자 알고리즘과 미분진화와 같은 최적화 방법에는 주어진 문제를 최적화하는 데 있어 그들의 행동과 효율성을 좌우하는 몇 가지 매개변수가 있으며, 이러한 매개변수는 만족스러운 결과를 얻기 위해 실무자가 선택해야 한다.손으로 행동 파라미터를 선택하는 것은 무엇이 최적기를 잘 수행하게 하는가에 대한 인간의 오해에 취약한 힘든 작업이다.

최적기의 행동 매개변수는 변경할 수 있으며 최적화 성능은 가로로 표시할 수 있다.이는 계산이 빠른 동작 매개변수와 최적화 문제가 거의 없는 최적기에 연산적으로 실현 가능하지만, 동작 매개변수의 수가 그러한 성능 환경을 계산하기 위한 시간 사용량을 기하급수적으로 증가시킬 때 계산적으로 가능하다.이는 옵티마이저의 행동 매개변수로 구성된 검색 공간에 대한 차원성의 저주다.따라서 행동 매개변수의 공간을 검색하기 위해 효율적인 방법이 필요하다.

방법들

차등 진화의 메타 최적화.

최적기에 대한 좋은 행동 매개변수를 찾는 간단한 방법은 메타 최적화 도구라고 불리는 또 다른 오버레이 최적화 도구를 사용하는 것이다.튜닝할 행동 매개변수가 실제 값인지 이산 값인지, 그리고 어떤 성능 측정치가 사용 중인지 등에 따라 이를 수행하는 방법이 다르다.

유전자 알고리즘의 매개변수 최적화는 그레펜스테트와 킨에 [3]의해 이루어졌으며, 매개변수와 유전자 연산자 모두를 최적화하는 실험은 베크가 보고하였다.[4]COMPLEX-RF 알고리즘의 메타최적화는 Krus와 Andersson이 수행하였으며,[5][6] 여기서 정보이론에 기초한 최적화의 성능지수가 도입되어 더욱 발전하였다.입자 군집 최적화의 메타 최적화는 메이스너 외 연구진,[7] 페더슨 및 치퍼필드,[8] 메이슨 외 연구진이 수행했다.[9]페더슨과 치퍼필드는 메타 최적화를 차등 진화에 적용했다.[10]비라타리 외 메타 [11][12]최적화 개미 군집 최적화또한 통계적 모델은 행동 매개변수의 선택과 최적화 성능 사이의 관계에 대해 더 많이 밝히기 위해 사용되었다. 예를 들어 프랑소와 라베르그네,[13] 그리고 난넨과 에이벤을 참조하라.[14]다양한 메타최적화 기법의 비교는 스미트와 에이벤이 했다.[15]

참고 항목

참조

  1. ^ Mercer, R.E.; Sampson, J.R. (1978). "Adaptive search using a reproductive metaplan". Kybernetes. 7 (3): 215–228. doi:10.1108/eb005486.
  2. ^ Grefenstette, J.J. (1986). "Optimization of control parameters for genetic algorithms". IEEE Transactions on Systems, Man, and Cybernetics. 16 (1): 122–128. doi:10.1109/TSMC.1986.289288. S2CID 23313487.
  3. ^ Keane, A.J. (1995). "Genetic algorithm optimization in multi-peak problems: studies in convergence and robustness". Artificial Intelligence in Engineering. 9 (2): 75–83. doi:10.1016/0954-1810(95)95751-Q.
  4. ^ Bäck, T. (1994). "Parallel optimization of evolutionary algorithms". Proceedings of the International Conference on Evolutionary Computation. pp. 418–427.
  5. ^ Krus, PK.; Andersson (Ölvander), J. (2003). "Optimizing optimization for design optimization". Proceedings of DETC’03 2003 ASME Design Engineering Technical Conferences and Computers and Information in Engineering Conference Chicago, Illinois, USA.
  6. ^ Krus, PK.; Ölvander(Andersson), J. (2013). "Performance index and meta-optimization of a direct search optimization method" (PDF). Engineering Optimization. 45 (10): 1167–1185. Bibcode:2013EnOp...45.1167K. doi:10.1080/0305215X.2012.725052. S2CID 62731978.
  7. ^ Meissner, M.; Schmuker, M.; Schneider, G. (2006). "Optimized Particle Swarm Optimization (OPSO) and its application to artificial neural network training". BMC Bioinformatics. 7 (1): 125. doi:10.1186/1471-2105-7-125. PMC 1464136. PMID 16529661.
  8. ^ Pedersen, M.E.H.; Chipperfield, A.J. (2010). "Simplifying particle swarm optimization". Applied Soft Computing. 10 (2): 618–628. CiteSeerX 10.1.1.149.8300. doi:10.1016/j.asoc.2009.08.029.
  9. ^ Mason, Karl; Duggan, Jim; Howley, Enda (2018). "A Meta Optimisation Analysis of Particle Swarm Optimisation Velocity Update Equations for Watershed Management Learning". Applied Soft Computing. 62: 148–161. doi:10.1016/j.asoc.2017.10.018.
  10. ^ Pedersen, M.E.H. (2010). Tuning & Simplifying Heuristical Optimization (PDF) (PhD thesis). University of Southampton, School of Engineering Sciences, Computational Engineering and Design Group. S2CID 107805461. Archived from the original (PDF) on 2020-02-13.
  11. ^ Birattari, M.; Stützle, T.; Paquete, L.; Varrentrapp, K. (2002). "A racing algorithm for configuring metaheuristics". Proceedings of the Genetic and Evolutionary Computation Conference (GECCO). pp. 11–18.
  12. ^ Birattari, M. (2004). The Problem of Tuning Metaheuristics as Seen from a Machine Learning Perspective (PDF) (PhD thesis). Université Libre de Bruxelles.
  13. ^ Francois, O.; Lavergne, C. (2001). "Design of evolutionary algorithms - a statistical perspective". IEEE Transactions on Evolutionary Computation. 5 (2): 129–148. doi:10.1109/4235.918434.
  14. ^ Nannen, V.; Eiben, A.E. (2006). "A method for parameter calibration and relevance estimation in evolutionary algorithms" (PDF). Proceedings of the 8th Annual Conference on Genetic and Evolutionary Computation (GECCO). pp. 183–190.
  15. ^ Smit, S.K.; Eiben, A.E. (2009). "Comparing parameter tuning methods for evolutionary algorithms" (PDF). Proceedings of the IEEE Congress on Evolutionary Computation (CEC). pp. 399–406.