Nvidia DGX

Nvidia DGX
5대의 DGX-1 슈퍼컴퓨터를 탑재한 랙

Nvidia DGX는 GPGPU를 사용하여 딥 러닝 애플리케이션을 [1]고속화하는 것을 전문으로 하는 NVIDIA 제품 서버 및 워크스테이션 시리즈입니다.DGX 시스템의 일반적인 설계는 고성능 x86 서버 CPU를 탑재한 마더보드를 탑재한 랙마운트 섀시를 기반으로 합니다(일반적으로 인텔 Xeons는 최근 DGX A100 및 DGX Station A100은 AMD EPYC CPU를 [2]사용하고 있습니다).DGX 시스템의 주요 컴포넌트는 독립된 시스템 보드 상에 4~16개의 Nvidia Tesla GPU 모듈 세트입니다.DGX 시스템에는 대형 히트 싱크와 강력한 팬이 있어 수천 와트의 열 출력을 충분히 냉각합니다.GPU 모듈은 일반적으로 SXM 소켓 버전을 사용하여 시스템에 통합됩니다.

모델

Pascal - Volta

DGX-1

DGX-1 서버는 Pascal 또는 Volta 도터[3] 카드를 기반으로 한8개의 GPU를 갖추고 있으며, 총 128GB의 HBM2 메모리를 NVLink 메쉬 [4]네트워크로 접속하고 있습니다.DGX-1은 2016년 [5]4월 6일에 발표되었다.모든 모델은 인텔 Xeon E5 CPU의 듀얼 소켓 구성을 기반으로 하며 다음과 같은 기능을 갖추고 있습니다.

  • 512 GB DDR4-2133
  • 듀얼 10 Gb 네트워킹
  • 1.92 TB SSD×4
  • 3200W의 조합 전원 장치 기능
  • 3U 랙마운트 섀시

이 제품 라인은 GPU와 AI 액셀러레이터 간의 격차를 해소하기 위한 것입니다.디바이스는 딥 러닝 [6]워크로드에 특화된 특정 기능을 갖추고 있습니다.초기 Pascal 기반 DGX-1은 170테라플롭스의 반정밀 [7]처리를 제공했지만 Volta 기반 업그레이드로 960테라플롭스로 [8]증가했습니다.

DGX-1은 1세대 SXM 소켓을 탑재한 Pascal 기반 구성에서만 사용할 수 있었습니다.DGX-1의 그 후의 리비전에서는, SXM-2 소켓을 개입시킨 제1세대 Volta 카드를 서포트하고 있습니다.Nvidia는 Pascal 기반의 DGX-1을 사용하는 사용자가 Volta 기반의 [9][10]DGX-1로 업그레이드할 수 있는 업그레이드 키트를 제공했습니다.

  • Pascal 기반의 DGX-1에는 인텔 Xeon E5-2698 V3와 E5-2698 V4의 2가지 종류가 있습니다.E5-2698 V4를 탑재한 모델의 가격은 알 수 없습니다.E5-2698 V3를 탑재한 Pascal 기반의 DGX-1의 출시 가격은 129,000달러였습니다[11].
  • Volta 기반의 DGX-1은 E5-2698 V4를 탑재하고 출시 가격은 149,[11]000달러였다.

DGX 역

턴키 데스크사이드 AI 슈퍼컴퓨터로 설계된 DGX Station은 냉각, 다중 전원, 19인치 랙 등의 일반적인 데이터센터 인프라스트럭처 없이도 완전히 독립적으로 동작할 수 있는 타워형 컴퓨터입니다.

DGX 스테이션은 처음에 다음과 같은 [12]사양으로 제공되었습니다.

  • Volta 기반의 Tesla V100 액셀러레이터x 4 (각각 16 GB의 HBM2 메모리를 탑재)
  • 480 TFLOPS FP16
  • 인텔 Xeon E5-2698 v4 싱글
  • 256 GB DDR4
  • 1.92 TB SSD×4
  • 듀얼 10 Gb 이더넷

DGX 스테이션은 총 시스템 컴포넌트의 1500W에 가까운 열을 보다 효율적으로 관리하기 위해 수냉식으로 설계되어 있어 부하가 [13]걸린 상태에서도 노이즈 범위를 35dB 미만으로 유지할 수 있습니다.다른 기능 중에서도 이 시스템은 소음이 크고, 열이 많이 발생하며, 넓은 영역을 차지하는 랙마운트 DGX 시스템을 실행할 수 있는 인프라가 없는 고객에게 매력적인 구매가 되었습니다.이는 Nvidia가 하이 퍼포먼스 컴퓨팅 데스크사이드를 도입하는 첫 번째 모험으로,[14] Nvidia의 마케팅 전략으로 계속 주목 받고 있습니다.

DGX-2

Nvidia DGX-1의 후계 기종은 Nvidia DGX-2로, 1개의 유닛에 16장의 Volta 베이스의 V100 32GB(2세대) 카드를 사용합니다.2018년 [15]3월 27일에 발표되었습니다.DGX-2는 512GB의 공유 메모리를 탑재한 2개의 Petaflops를 제공하여 대용량 데이터셋을 처리하고 고대역폭 내부 통신에 NVSwitch를 사용합니다.DGX-2에는 총 512GB의 HBM2 메모리가 탑재되어 있으며, 총 1.5개의 메모리가 탑재되어 있습니다.DDR4의 TB또한 8장의 100Gb/sec InfiniBand 카드와 30.72TB의 SSD 스토리지가 [16]모두 10U 랙마운트 섀시에 내장되어 있으며 최대 [17]부하에서 최대 10kW를 소비합니다.DGX-2의 초기 가격은 399,[18]000달러였다.

DGX-2는 각각8개의 GPU를 갖춘2개의 독립된 GPU 도터보드를 탑재하고 있다는 점에서 다른 DGX 모델과 다릅니다.이들 보드는 NVSwitch 시스템에 의해 접속되어 있어 시스템 내의 모든 GPU에서 보드 [17]간에 추가 레이텐시를 발생시키지 않고 풀 대역폭 통신을 가능하게 합니다.

DGX-2의 고성능 모델인 DGX-2H도 제공되었습니다.DGX-2H는 DGX-2의 듀얼 인텔 Xeon Platinum 8168을 업그레이드된 듀얼 인텔 Xeon Platinum 8174로 대체했습니다.이 업그레이드는 두 CPU가 모두 24코어이기 때문에 시스템당 코어 수가 증가하거나 시스템의 새로운 기능을 활성화하지는 않지만 CPU의 기본 주파수를 2.7GHz에서 3.1GHz로 [19][20][21]증가시킵니다.

암페어

DGX A100 서버

2020년 5월 14일 발표, 발매.DGX A100은 제3세대 DGX 서버이며, 8Ampere 기반의 A100 [22]액셀러레이터가 포함되어 있습니다.또한 15TB의 PCIe Gen 4 NVMe 스토리지,[23] 1TB의 RAM 및 8개의 Mellanox 전원 200GB/s HDR InfiniBand ConnectX-6 NIC가 포함되어 있습니다.DGX A100은 전작인 DGX-2보다 훨씬 작은 인클로저로 랙 유닛이 [24]6대밖에 차지하지 않습니다.

또, DGX A100은 AMD EYPC 7742 CPU로 이행했습니다.이는 인텔 Xeon CPU를 탑재하지 않은 최초의 DGX 서버입니다.DGX A100 서버의 초기 가격은 199,[22]000달러였습니다.

DGX 스테이션 A100

DGX Station A100은 원래 DGX Station의 후속 제품으로서 DGX Station과 같은 틈새를 메우는 것을 목표로 하고 있습니다.이는 기계 학습을 이용하는 소규모 기업이나 개인에 의해 구입, 임대 또는 대여할 수 있는 조용하고 효율적인 턴키 클러스터 인 어 박스 솔루션입니다.타워 방향, 싱글 소켓 CPU 메인보드, 새로운 냉매 기반 냉각 시스템, 동일 세대의 [14]랙 마운트 DGX A100에 비해 줄어든 가속기 수 등 기존 DGX 스테이션의 많은 설계 선택 사항을 따르고 있습니다.DGX Station A100 320G의 가격은 160G 모델의 경우 13만 달러, 99,000달러이며, Nvidia는 또한 이러한 시스템의 소규모 [25][26]구현 비용을 절감하기 위해 미국(rentacomputer.com) 및 유럽(iRent IT 시스템)의 파트너를 통해 매월 약 9,000달러에 Station을 대여할 수 있습니다.

DGX 스테이션 A100 에는, 2개의 다른 설정이 짜넣어져 있습니다.

  • 40GB(HBM) 또는 80GB(HBM2e) 메모리로 구성된 암페어 기반의 A100 액셀러레이터 4대,
    따라서 총 160GB 또는 320GB의 DGX Station A100 베리안트 160G 또는 320G가 됩니다.
  • 2.5 PFLOPS FP16
  • 싱글 64코어 AMD EPYC 7742
  • 512 GB DDR4
  • 1.92 TB NVMe OS 드라이브x 1
  • 7.68 TB U.2 NVMe 드라이브x 1
  • 듀얼 포트 10 Gb 이더넷
  • 싱글 포트 1 Gb BMC 포트

호퍼

DGX H100 서버

2022년 [27]3월 22일에 발표된 DGX H100은 8대의 Hopper 기반의 H100 액셀러레이터를 탑재한 제4세대 DGX 서버입니다.총 32대의 PFLOP의 FP8 AI 컴퓨팅과 640GB의 HBM3 메모리를 탑재하여 DGX A100 H2 메모리보다 업그레이드한 것입니다.이 업그레이드로 VRAM 대역폭도 3TB/[28]s로 증가합니다.DGX H100은 각 H100 SXM 카드의 700W TDP를 수용하기 위해 랙마운트 크기를 8U로 늘립니다.또한 DGX H100에는 운영 체제 스토리지용 1.92TB SSD 2개와 애플리케이션 데이터용 솔리드 스테이트 스토리지 30.72TB가 있습니다.

Nvidia Bluefield 3 DPU를 [29]2대 탑재하여 Mellanox ConnectX-7 NIC를 통해 400Gb/s InfiniBand로 업그레이드하여 DGX A100의 대역폭을 2배로 늘렸습니다.DGX H100은 새로운 'Cedar Fever' 카드를 사용합니다.각 카드에는 4개의 ConnectX-7 400GB/s 컨트롤러와 시스템당 2장의 카드가 탑재되어 있습니다.이것으로 DGX H100 3이 됩니다.Infiniband [30]전체 패브릭 대역폭 2 Tb/s.

DGX H100에는 현재 지정되지 않은2개의 4세대 Xeon 스케일러블 CPU(코드네임 사파이어 래피드)[31]와 2TB의 시스템 메모리가 [32]탑재되어 있습니다.

DGX H100은 현재 가격이 없습니다.

DGX 슈퍼팟

DGX SuperPod는 Nvidia가 DGX [33]하드웨어를 사용하여 제공하는 고성능 턴키 슈퍼컴퓨터 솔루션입니다.이 긴밀하게 통합된 시스템은 고성능 DGX 컴퓨팅 노드를 고속 스토리지 및 고대역폭 네트워킹과 결합하여 요구가 매우 높은 머신 러닝 워크로드에 고유한 플러그 앤 플레이 솔루션을 제공합니다.Argonne National Laboratory의 Selene Supercomputer는 DGX SuperPod 기반 시스템의 한 예입니다.

Selene은 280개의 DGX A100 노드로 구축되었으며, 완성 당시 가장 강력한 슈퍼컴퓨터 Top500에서 5위를 차지했으며, 높은 성능을 계속 유지하고 있습니다.이 통합은 고객이라면 누구나 최소한의 노력으로 이용할 수 있습니다.새로운 Hopper 기반의 SuperPod는 32개의 DGX H100 노드로 확장 가능하며, 총 256개의 H100 GPU와 64개의 x86 CPU를 지원합니다.이를 통해 전체 SuperPod에 20TB의 엄청난 HBM3 메모리, 70.4TB/s의 양분 대역폭, 최대 1개의 ExaFLOP의 FP8 [34]AI 컴퓨팅을 제공할 수 있습니다.그런 다음 이러한 SuperPod를 추가로 결합하여 훨씬 더 큰 슈퍼컴퓨터를 만들 수 있습니다.

다가오는 에오스는 슈퍼 컴퓨터, 설계, 그리고 Nvidia,[35][36][37]에 의해 운영되는 18H100 기반 SuperPods의, 576DGX H100 시스템, 500Quantum-2 인피니 밴드 스위치, 360NVLink Switches 총 건설될 것이다 지어 에오스는 18EFLOPs FP8 컴퓨팅의, 그리고 FP16 컴퓨팅의 9EFLOPs를 배달하고, 에오스는 가장 빠른 AI슈퍼 허용할 것이다.그 worl에d.[38][39]

Nvidia는 스토리지 디바이스나 시스템을 생산하지 않기 때문에 Nvidia SuperPod는 고성능 스토리지를 제공하기 위해 파트너에게 의존합니다.Nvidia SuperPods의 현재 스토리지 파트너는 Dell EMC, DDN, HPE, IBM(Spectrum Scale), NetApp, Pavilion Data 및 VAST [40]Data입니다.

액셀러레이터

DGX에서 [41][42][43]사용되는 액셀러레이터 비교:



액셀러레이터
H100
A100 80 GB
A100 40 GB
V100 32 GB
V100 16 GB
P100
아키텍처 소켓 FP32
쿠다
코어		 FP64 코어
(텐서 제외)		 혼재
INT32/FP32
코어		 INT32
코어		 부스트
시계		 기억
시계		 기억
버스 폭		 기억
대역폭		 VRAM 싱글
정확
(FP32)		 이중
정확
(FP64)		 INT8
(텐서 제외)		 INT8
조밀 텐서		 INT32 FP16 FP16
조밀 텐서		 플로트 16
조밀 텐서		 텐서플로트-32
(TF32)
조밀 텐서		 FP64
조밀 텐서		 상호 접속
(NVLINK)		 GPU L1 캐시 크기 L2 캐시 크기 TDP GPU
다이 사이즈		 트랜지스터
세어보세요		 제조 공정
호퍼 SXM5 16896 4608 16896 없음 1780MHz 4.8 기가비트/초 HBM3 5120 비트 3072 GB/초 80 GB 60 TFLOP 30 TFLOP 없음 TOP 4000개 없음 없음 2000 TFLOP 2000 TFLOP 1000 TFLOP 60 TFLOP 900 GB/초 GH100 25344KB(192KBx132) 51200 KB 700 W 814mm2 80B TSMC 4 nm N4
암페어 SXM4 6912 3456 6912 없음 1410MHz 3.2 기가비트/초 HBM2 5120 비트 2039 GB/초 80 GB 19.5 TFLOP 9.7 TFLOP 없음 TOP 624개 19.5 TOP 78 TFLOP 312 TFLOP 312 TFLOP 156 TFLOP 19.5 TFLOP 600 GB/초 GA100 20736KB(192KBx108) 40960 KB 400 W 826mm2 542B TSMC 7 nm N7
암페어 SXM4 6912 3456 6912 없음 1410MHz 2.4 기가비트/초 HBM2 5120 비트 1555 GB/초 40 GB 19.5 TFLOP 9.7 TFLOP 없음 TOP 624개 19.5 TOP 78 TFLOP 312 TFLOP 312 TFLOP 156 TFLOP 19.5 TFLOP 600 GB/초 GA100 20736KB(192KBx108) 40960 KB 400 W 826mm2 542B TSMC 7 nm N7
볼타 SXM3 5120 2560 없음 5120 1530MHz 1.75 Gbit/s HBM2 4096비트 900 GB/초 32 GB 15.7 TFLOP 7.8 TFLOP 상위 62개 없음 15.7 TOP 31.4 TFLOP 125 TFLOP 없음 없음 없음 300 GB/초 GV100 10240KB(128KBx80) 6144 KB 350W 815mm2 21.1B TSMC 12 nm FFN
볼타 SXM2 5120 2560 없음 5120 1530MHz 1.75 Gbit/s HBM2 4096비트 900 GB/초 16 GB 15.7 TFLOP 7.8 TFLOP 상위 62개 없음 15.7 TOP 31.4 TFLOP 125 TFLOP 없음 없음 없음 300 GB/초 GV100 10240KB(128KBx80) 6144 KB 300W 815mm2 21.1B TSMC 12 nm FFN
파스칼 SXM 없음 1792 3584 없음 1480MHz 1.4 기가비트/초 HBM2 4096비트 720 GB/초 16 GB 10.6 TFLOP 5.3 TFLOP 없음 없음 없음 21.2 TFLOP 없음 없음 없음 없음 160 GB/초 GP100 1344KB(24KBx56) 4096 KB 300W 610 mm2 153 B TSMC 16 nm FinFET+

「 」를 참조해 주세요.

레퍼런스

  1. ^ "NVIDIA DGX-1: Deep Learning Server for AI Research". NVIDIA. Retrieved 2022-03-24.
  2. ^ "NVIDIA DGX Systems for Enterprise AI". NVIDIA. Retrieved 2022-03-24.
  3. ^ "nvidia dgx-1" (PDF).
  4. ^ "inside pascal". 5 April 2016. Eight GPU hybrid cube mesh architecture with NVLink
  5. ^ "NVIDIA Unveils the DGX-1 HPC Server: 8 Teslas, 3U, Q2 2016".
  6. ^ "deep learning supercomputer".
  7. ^ "DGX-1 deep learning system" (PDF). NVIDIA DGX-1 Delivers 75X Faster Training...Note: Caffe benchmark with AlexNet, training 1.28M images with 90 epochs
  8. ^ "DGX Server". DGX Server. Nvidia. Retrieved 7 September 2017.
  9. ^ https://images.nvidia.com/content/volta-architecture/pdf/volta-architecture-whitepaper.pdf[베어 URL PDF]
  10. ^ https://images.nvidia.com/content/technologies/deep-learning/pdf/DGX-1-UserGuide.pdf[베어 URL PDF]
  11. ^ a b Oh, Nate. "NVIDIA Ships First Volta-based DGX Systems". www.anandtech.com. Retrieved 2022-03-24.
  12. ^ "CompecTA NVIDIA DGX Station Deep Learning System". www.compecta.com. Retrieved 2022-03-24.
  13. ^ https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/dgx-station/dgx-station-data-science-supercomputer-datasheet-v4.pdf[베어 URL PDF]
  14. ^ a b https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/dgx-station/nvidia-dgx-station-a100-datasheet.pdf[베어 URL PDF]
  15. ^ "Nvidia launches the DGX-2 with two petaFLOPS of power". 28 March 2018.
  16. ^ "NVIDIA DGX -2 for Complex AI Challenges". NVIDIA. Retrieved 2022-03-24.
  17. ^ a b Cutress, Ian. "NVIDIA's DGX-2: Sixteen Tesla V100s, 30 TB of NVMe, only $400K". www.anandtech.com. Retrieved 2022-04-28.
  18. ^ "The NVIDIA DGX-2 is the world's first 2-petaflop single server supercomputer". www.hardwarezone.com.sg. Retrieved 2022-03-24.
  19. ^ https://docs.nvidia.com/dgx/pdf/dgx2-user-guide.pdf[베어 URL PDF]
  20. ^ "Product Specifications". www.intel.com. Retrieved 2022-04-28.
  21. ^ "Product Specifications". www.intel.com. Retrieved 2022-04-28.
  22. ^ a b Ryan Smith (May 14, 2020). "NVIDIA Ampere Unleashed: NVIDIA Announces New GPU Architecture, A100 GPU, and Accelerator". AnandTech.
  23. ^ Tom Warren; James Vincent (May 14, 2020). "Nvidia's first Ampere GPU is designed for data centers and AI, not your PC". The Verge.
  24. ^ "Boston Labs welcomes the DGX A100 to our remote testing portfolio!". www.boston.co.uk. Retrieved 2022-03-24.
  25. ^ Mayank Sharma (2021-04-13). "Nvidia will let you rent its mini supercomputers". TechRadar. Retrieved 2022-03-31.
  26. ^ Jarred Walton (2021-04-12). "Nvidia Refreshes Expensive, Powerful DGX Station 320G and DGX Superpod". Tom's Hardware. Retrieved 2022-04-28.
  27. ^ Newsroom, NVIDIA. "NVIDIA Announces DGX H100 Systems – World's Most Advanced Enterprise AI Infrastructure". NVIDIA Newsroom Newsroom. Retrieved 2022-03-24.
  28. ^ Walton, Jarred (2022-03-22). "Nvidia Reveals Hopper H100 GPU With 80 Billion Transistors". Tom's Hardware. Retrieved 2022-03-24.{{cite web}}: CS1 maint :url-status (링크)
  29. ^ Newsroom, NVIDIA. "NVIDIA Announces DGX H100 Systems – World's Most Advanced Enterprise AI Infrastructure". NVIDIA Newsroom Newsroom. Retrieved 2022-04-19.
  30. ^ servethehome (2022-04-14). "NVIDIA Cedar Fever 1.6Tbps Modules Used in the DGX H100". ServeTheHome. Retrieved 2022-04-19.
  31. ^ "Nvidia taps Intel's Sapphire Rapids CPU for DGX H100 system". www.theregister.com. Retrieved 2022-06-08.
  32. ^ "NVIDIA DGX H100". NVIDIA. Retrieved 2022-03-24.
  33. ^ https://images.nvidia.com/aem-dam/Solutions/Data-Center/nvidia-dgx-superpod-datasheet.pdf[베어 URL PDF]
  34. ^ Jarred Walton (2022-03-22). "Nvidia Reveals Hopper H100 GPU With 80 Billion Transistors". Tom's Hardware. Retrieved 2022-03-24.
  35. ^ Vincent, James (2022-03-22). "Nvidia reveals H100 GPU for AI and teases 'world's fastest AI supercomputer'". The Verge. Retrieved 2022-05-16.
  36. ^ Mellor, Chris (2022-03-31). "Nvidia Eos AI supercomputer will need a monster storage system". Blocks and Files. Retrieved 2022-05-21.
  37. ^ Comment, Sebastian Moss. "Nvidia announces Eos, "world's fastest AI supercomputer"". Data Center Dynamics. Retrieved 2022-05-21.
  38. ^ "Nvidia Announces 'Eos' Supercomputer". HPCwire. 2022-03-22. Retrieved 2022-03-24.
  39. ^ "NVIDIA Eos: the world's fastest AI supercomputer, 4608 x DGX H100 GPUs". TweakTown. 2022-03-22. Retrieved 2022-05-21.
  40. ^ Mellor, Chris (2022-03-31). "Nvidia Eos AI supercomputer will need a monster storage system". Blocks and Files. Retrieved 2022-04-29.
  41. ^ Smith, Ryan (March 22, 2022). "NVIDIA Hopper GPU Architecture and H100 Accelerator Announced: Working Smarter and Harder". AnandTech.
  42. ^ Smith, Ryan (May 14, 2020). "NVIDIA Ampere Unleashed: NVIDIA Announces New GPU Architecture, A100 GPU, and Accelerator". AnandTech.
  43. ^ "NVIDIA Tesla V100 tested: near unbelievable GPU power". TweakTown. September 17, 2017.