딥스피드
DeepSpeed | |
| 원본 작성자 | 마이크로소프트 리서치 |
|---|---|
| 개발자 | 마이크로소프트 |
| 초기 릴리즈 | 2020년 5월 18일; 전 |
| 안정적 해제 | v0.5.10 / 2022년 1월 14일; 전 |
| 리포지토리 | github |
| 기록 위치 | 파이톤, CUDA, C++ |
| 유형 | 소프트웨어 라이브러리 |
| 면허증 | MIT 라이선스 |
| 웹사이트 | 심속의 |
DeepSpeed는 PyTorch를 위한 오픈 소스 딥러닝 최적화 라이브러리다.[1]이 도서관은 컴퓨팅 성능과 메모리 사용을 줄이고 기존의 컴퓨터 하드웨어에서 더 나은 병렬 처리를 가진 대형 분산형 모델을 훈련하기 위해 설계되었다.[2][3]DeepSpeed는 짧은 지연 시간, 높은 처리량 교육에 최적화되어 있다.1000억개 이상의 매개변수를 가진 모델 훈련용 ZeRO(Zero Drivation Optimizer)를 포함한다.[4]혼합정밀교육, 단일GPU, 다중GPU, 다중노드교육은 물론 맞춤형 모델 병렬화 등이 특징이다.DeepSpeed 소스 코드는 MIT 라이센스에 따라 라이센스가 부여되며 GitHub에서 사용할 수 있다.[5]
이 팀은 최대 6.2배 처리량 향상, 2.8배 빠른 컨버전스, 4.6배 낮은 통신량을 달성했다고 주장했다.[6]
참고 항목
참조
- ^ "Microsoft Updates Windows, Azure Tools with an Eye on The Future". PCMag UK. May 22, 2020.
- ^ Yegulalp, Serdar (February 10, 2020). "Microsoft speeds up PyTorch with DeepSpeed". InfoWorld.
- ^ "Microsoft unveils "fifth most powerful" supercomputer in the world". Neowin.
- ^ "Microsoft trains world's largest Transformer language model". February 10, 2020.
- ^ "microsoft/DeepSpeed". July 10, 2020 – via GitHub.
- ^ "DeepSpeed: Accelerating large-scale model inference and training via system optimizations and compression". Microsoft Research. 2021-05-24. Retrieved 2021-06-19.
추가 읽기
- Rajbhandari, Samyam; Rasley, Jeff; Ruwase, Olatunji; He, Yuxiong (2019). "ZeRO: Memory Optimization Towards Training A Trillion Parameter Models" (PDF). arXiv:1910.02054.
{{cite journal}}:Cite 저널은 필요로 한다.journal=(도움말)
외부 링크
- 규모에 맞는 AI - Microsoft Research
- GitHub - Microsoft/DeepSpeed
- ZeRO & DeepSpeed: 새로운 시스템 최적화를 통해 1,000억개 이상의 매개변수를 가진 교육 모델 구현 - 마이크로소프트 Research
