멀티태스킹

Many-task computing

컴퓨팅 과학다과업 컴퓨팅(MTC)[1][2][3][4][5][6][7]병렬 컴퓨팅에 대한 접근법으로, HTC(High-Troughput Computing)[8]와 HPC(High-Performance Computing)라는 두 가지 컴퓨팅 패러다임 사이의 격차를 해소하는 것을 목표로 한다.null

정의

MTC는 HTC를 연상시키지만, "많은 컴퓨팅 리소스(즉, 종속 및 독립 작업을 모두 포함)를 사용하여 월별 운영(예: FLOPS, 태스크/s, MB/s I/O 비율)과 달리 초 단위로 측정되는 많은 컴퓨팅 작업(예: 종속 작업 및 독립 작업 포함)을 수행하는 것을 강조한다.MTC는 파일 시스템 작동을 통해 결합되는 여러 개별 활동을 구성하는 고성능 연산을 가리킨다.업무는 작거나 크거나, 단일 프로세서 또는 다중 프로세서, 계산 집약적 또는 데이터 집약적일 수 있다.작업 집합은 정적 또는 동적, 동종 또는 이종, 느슨하게 결합되거나 긴밀하게 결합될 수 있다.작업 수, 컴퓨팅 수량 및 데이터 볼륨의 총계는 매우 클 수 있다.MTC는 일반적으로 통신 집약적이지만 HPC에서 흔히 볼 수 있는 표준 메시지 전달 인터페이스를 사용하여 자연스럽게 표현되지 않는 느슨하게 결합된 애플리케이션을 포함하고 있어, 이질적이지만 "행복하게" 병렬이 아닌 많은 계산에 주목한다.[6]null

라이쿠 외 연구진은 "긴밀하게 연결된 MPI보다 HPC에 더 많은 것이 있고, 당황스러울 정도로 평행하게 오래 달리는 일자리보다 HTC에 더 많은 것이 있다"고 덧붙였다.HPC 애플리케이션, 그리고 과학 그 자체처럼, 애플리케이션은 우리가 시야를 넓히면 새로운 방식으로 HPC를 적용할 수 있는 많은 기회를 위해 점점 더 복잡해지고 있다.어떤 애플리케이션은 단순한 작업이 너무 많아서 관리가 어렵다.대량의 데이터에서 작동하거나 생성되는 애플리케이션은 확장하기 위해 정교한 데이터 관리가 필요하다.각각 밀접하게 결합된 MPI 작업으로 구성된 많은 작업을 포함하는 애플리케이션이 존재한다.느슨하게 결합되는 애플리케이션은 종종 작업들 사이에 의존성을 가지며, 일반적으로 프로세스 간 통신을 위해 파일을 사용한다.기존 대규모 시스템에서 이러한 종류의 애플리케이션을 효율적으로 지원하기 위해서는 상당한 기술적 문제가 수반될 것이며 과학에 큰 영향을 미칠 것이다."[6]

관련 영역

관련 분야로는 다중 프로그램 다중 데이터(MPMD), 높은 처리량 컴퓨팅(HTC), 워크플로우, 용량 컴퓨팅 또는 당혹스러울 정도로 병렬이 있다.MTC 워크로드를 지원할 수 있는 프로젝트로는 Condor,[9] Mapreduce,[10] Hadoop,[11] Boinc,[12] Coald[permanent dead link] HTC-Mode,[13] Falkon,[14] Swift 등이 있다.[15][16]

참조

  1. ^ 그리드 및 슈퍼컴퓨터에 대한 많은 작업 컴퓨팅에 관한 IEEE 워크숍(MTAGS08
  2. ^ ACM 워크샵: 그리드 및 슈퍼컴퓨터의 다태스크 컴퓨팅 (MTAGS09) 2009, http://datasys.cs.iit.edu/events/MTAGS09/
  3. ^ 그리드 및 슈퍼컴퓨터(MTAGS10) 2010, http://datasys.cs.iit.edu/events/MTAGS10/에 대한 IEEE 워크샵
  4. ^ ACM 워크샵 - 그리드 및 슈퍼컴퓨터(MTAGS11) 2011, http://datasys.cs.iit.edu/events/MTAGS11/
  5. ^ 병렬 및 분산 시스템에 대한 IEEE 거래, 다태스크 컴퓨팅에 관한 특별 이슈, 2011년 6월, http://datasys.cs.iit.edu/events/TPDS_MTC/
  6. ^ a b c 나. 라이쿠, 나.포스터, Y. 자오."그리드 및 슈퍼컴퓨터를 위한 멀티태스킹 컴퓨팅", IEEE Grid 및 슈퍼컴퓨터에서의 멀티태스킹 컴퓨팅(MTAGS08) 워크숍, 2008
  7. ^ "다양한 작업 컴퓨팅: 성능과 성능의 격차를 해소하기" 2009년 1월 28일 국제 과학 그리드 금주(iSGTW), http://www.isgtw.org/?pid=1001602 웨이백 머신에 보관된 2011-01-01
  8. ^ M. 리브니, J. 바스니, R. 라만, T. 탄넨바움."고처리량 컴퓨팅을 위한 메커니즘," SPEEDUP Journal 1(1), 1997
  9. ^ D. Thain, T. Tannenbaum, M. Libny, "실제로 분산 컴퓨팅:콘도르 경험" 동시성과 연산: 연습과 경험 17 (2-4), 페이지 323-356, 2005
  10. ^ J. Dean, S. Ghemawat."맵리듀스:대규모 클러스터에서 간소화된 데이터 처리."OSDI, 2004년
  11. ^ A. 비알렉키, M. 카파렐라, D.커팅, 오말리"하둡: 범용 하드웨어로 구축된 대규모 클러스터에서 애플리케이션 실행을 위한 프레임워크" http://lucene.apache.org/hadoop/, Wayback Machine, 2005년 2007-02-10 아카이브
  12. ^ D.P. Anderson, "BOINC: 공공 자원 컴퓨팅 및 저장을 위한 시스템," IEEE/ACM 그리드 컴퓨팅 국제 워크숍, 2004
  13. ^ IBM Corporation."HTC(High-Throughput Computing) 패러다임", IBM System Blue Gene 솔루션:Blue Gene/P Application Development, IBM RedBooks, 2008
  14. ^ I. 라이쿠, Y. 자오, C.두미트레스쿠, 나.포스터, M. 와일드. "포콘: 빠르고 가벼운 작업 실행 프레임워크", IEEE/ACM SC, 2007
  15. ^ Y. 자오, M. 헤이트건, B.클리포드, 나.포스터, G. 라스체프스키, I. 라이쿠, T. 스테프-프라운, M. 와일드."Swift: 빠르고 안정적이며 느슨하게 결합된 병렬 계산", IEEE SWF, 2007
  16. ^ M. Wilde, M. Heatgan, J. M. Wozniak, B.클리포드, D. S. 캣츠, 그리고 나.포스터." 스위프트: 분산 병렬 스크립팅을 위한 언어."병렬 컴퓨팅, 37:633–652, 2011.