현장 처리

In-situ processing

ISP(In-situ processing, ISP)라고도 하는 현장처리는 데이터가 있는 곳에서 데이터를 처리하는 것을 가리키는 컴퓨터 과학 용어다.in-situ는 "원래, 자연 또는 현존하는 장소나 위치에 앉는다"를 의미한다.현장 프로세스는 데이터를 컴퓨터의 중앙 처리 장치(CPU)로 전송하는 대신 SSD(Solid State Drive)나 NVDIMM과 같은 메모리 장치에 저장된 데이터를 처리한다.

이 기술은 저장장치 내부의 임베디드 프로세싱 엔진을 활용해 사용자 애플리케이션(앱)을 제자리에 실행할 수 있도록 하기 때문에 데이터가 처리되는 기기를 그대로 둘 필요가 없다.기술은 새로운 것이 아니라, 강력한 임베디드 프로세서의 가용성과 더불어 현대적인 SSD 아키텍처는 사용자 애플리케이션을 사내에서 실행하는 것을 더욱 매력적으로 만든다.[1]SSD는 하드 디스크 드라이브(HDD)에 비해 높은 데이터 처리량을 제공한다.또한 HDD와 대조적으로 SSD는 여러 I/O 명령을 동시에 처리할 수 있다.

SSD는 플래시 메모리 어레이를 관리하고 호스트 머신에 고속 인터페이스를 제공하기 위해 상당한 양의 처리 마력을 가지고 있다.이러한 처리 능력은 사용자 애플리케이션을 인플레이스 방식으로 실행할 수 있는 환경을 제공할 수 있다.컴퓨터 저장 장치(CSD) 용어는 사용자 애플리케이션을 내부에서 실행할 수 있는 SSD를 가리킨다.효율적인 CSD 아키텍처에서 내장형 처리 하위시스템은 저전력 및 고속 링크를 통해 플래시 메모리 어레이에 저장된 데이터에 액세스할 수 있다.이러한 CSD를 클러스터에 배치하면 빅데이터 및 고성능 컴퓨팅(HPC) 애플리케이션의 전반적인 성능과 효율성을 높일 수 있다.[1]

데이터 전송 병목 현상 감소

웹 스케일 데이터 센터 설계자들은 고용량 호스트를 선호하는 스토리지 아키텍처를 개발하려고 노력해 왔다.다음 그림( 참조)에서 이러한 스토리지 시스템은 64개의 SSD가 호스트에 연결된 위치에 표시된다.단순성을 위해 SSD 한 개에 대한 세부 정보만 시연하십시오.최신 SSD는 일반적으로 플래시 메모리 어레이 I/O 작업에 동시에 사용할 수 있는 16개 이상의 플래시 메모리 채널을 포함하고 있다.채널당 512MB/s 대역폭을 고려하면 16개 플래시 메모리 채널이 있는 SSD의 내부 대역폭은 약 8GB/s이다.이 거대한 대역폭은 호스트 인터페이스 소프트웨어와 하드웨어 아키텍처의 복잡성으로 인해 약 1 GB/s로 감소한다.즉, 64개 SSD의 모든 내부 채널의 누적 대역폭은 SSD의 수, SSD당 채널의 수, 512GB/s에 해당하는 512MB/s(각 채널의 대역폭)의 곱셈에 도달한다.SSD의 외부 인터페이스의 누적 대역폭은 64에 1GB/s(각 SSD의 호스트 인터페이스 대역폭)를 곱한 64GB/s이다.그러나 호스트와 통신하려면 모든 SSD를 PCIe 스위치에 연결해야 했다.따라서 호스트의 가용 대역폭은 32GB/s로 제한된다.

최신 SSD 아키텍처 및 스토리지 서버의 데이터 전송 병목 현상

전체적으로 모든 SSD의 누적된 내부 대역폭과 호스트가 사용할 수 있는 대역폭 사이에는 16배 차이가 있다.즉, 32TB의 데이터를 읽기 위해서는 호스트가 16분이 필요한 반면 SSD의 내부 구성요소는 약 1분 안에 동일한 양의 데이터를 읽을 수 있다.또한, 그러한 스토리지 시스템에서는 호스트와 스토리지 유닛 사이에 복잡한 하드웨어와 소프트웨어 스택을 통해 데이터가 지속적으로 이동해야 하는데, 이는 상당한 에너지 소비를 부과하고 대형 데이터 센터의 에너지 효율을 현저히 떨어뜨린다.따라서 스토리지 설계자는 데이터 이동을 줄일 수 있는 기법을 개발해야 하며, ISP 기술이 도입되어 앞서 언급한 과제를 데이터로 옮겨 극복할 수 있게 되었다.

효율성 및 활용률

컴퓨팅 스토리지 기술은 클러스터 내 데이터 이동을 최소화하고 전력 효율이 높은 프로세싱 엔진을 전체 시스템에 증강시켜 클러스터의 처리 마력을 높인다.이 기술은 HDD와 SSD 모두에 잠재적으로 적용될 수 있지만, 현대적인 SSD 아키텍처는 그러한 기술을 개발하는 데 더 나은 도구를 제공한다.사용자 애플리케이션을 내부에서 실행할 수 있는 SSD를 CSD(Computing Storage Device)이러한 저장 장치는 확장 가능한 프로세싱 자원으로, 이는 그들이 현대 서버의 고급 프로세서를 대체하도록 설계되지 않았다는 것을 의미한다.대신, 그들은 호스트의 CPU와 협력할 수 있고 시스템에 대한 그들의 효율적인 처리 능력을 증가시킬 수 있다.Springer Publishing이 오픈 액세스 정책(대중이 무료로 액세스 가능)에 따라 발행한 과학 기사 「컴퓨팅 스토리지: 빅데이터 및 HPC 애플리케이션을 위한 효율적이고 확장 가능한 플랫폼」[1]은 클러스터에서의 CSD 활용의 이점을 보여준다.

스토리지 내 처리의 예는 시각화 노력,[2] 생물학[3], 화학 등의 분야에서 볼 수 있다.이는 이 기술이 어떻게 이동되는 데이터에 상관없이 데이터 이동을 통한 것보다 더 효율적으로 동작과 결과를 볼 수 있는지를 보여준다.다음 그림( 참조)은 CSD가 Apache Hadoop 클러스터와 Message Passing Interface 기반 분산 환경에서 어떻게 활용될 수 있는지를 보여준다.

CSD 장착 Hadoop 클러스터
CSD 장착 MPI 기반 클러스터

산업

스토리지 업계에서는 NGD 시스템,[4] ScaleFlux[5] 및 Eideticom을 포함한 여러 회사의 구현이 현재 제공되고 있다.[6]마이크론 테크놀로지와[7] 삼성 등 다른 회사들도 비슷한 일을 하려고 했다.이 모든 접근방식은 데이터가 위치한 곳에서 데이터를 관리하거나 처리하는 방향이 같다.

NGD Systems는 현장 처리 스토리지를 최초로 만든 회사로 2017년부터 2가지 버전의 기기를 생산하고 있다.카탈리나-1은 프로세싱과 함께 24TB의 플래시를 제공하는 독립형 SSD였습니다.[4]뉴포트라는 두 번째 제품이 2018년에 출시되었는데, 이 제품은 최대 32TB의 플래시 메모리를 제공하였다.[8][9]

ScaleFlux는 CSS-1000 NVMe 디바이스를 사용하여 호스트 리소스 소싱 및 [10]커널 변경 사항을 처리하고 호스트 리소스를 사용하여 디바이스 또는 기본 SSD에서 최대 6.4TB 플래시 관리아이디티콤은 무부하 DRAM 전용 NVMe 장치라는 장치를 실제 플래시 스토리지가 없는 가속기로 영구 데이터를 활용한다.[11]마이크론은 2013년 플래시메모리 서밋(FMS) 행사에서 자사 버전을 '스케일 인(Scale In)'이라고 불렀지만 제품화가 불가능해 생산 중인 SATA SSD를 기반으로 했다.[7]삼성은 그동안 KV스토어 등에서 다양한 버전의 기기를 개발해왔다.[12]

참조

  1. ^ a b c d e Torabzadehkashi, Mahdi; Rezaei, Siavash; HeydariGorji, Ali; Bobarshad, Hossein; Alves, Vladimir; Bagherzadeh, Nader (15 November 2019). "Computational storage: an efficient and scalable platform for big data and HPC applications". Journal of Big Data. 6 (100). doi:10.1186/s40537-019-0265-5.
  2. ^ Raffin, Bruno (December 2014). "In-Situ_2014" (PDF).
  3. ^ "In situ Structural Biology". Utrecht University. 2016-03-17. Retrieved 2018-06-04.
  4. ^ a b "Computational storage takes spotlight in new NGD Systems SSD". Tech Target. 2020-02-13. Retrieved 2019-03-07.
  5. ^ "What if I told you that flash drives could do their own processing?". The Register. 2020-02-13. Retrieved 2018-02-13.
  6. ^ "IDC Innovators: Computational Storage, 2019". IDC. 2020-02-13. Retrieved 2019-08-01.
  7. ^ a b Doller, Ed (14 August 2013). "Micron Scale In Keynote - 2013 FMS" (PDF). www.FlashMemorySummit.com.
  8. ^ "NGD Systems Releases First 16TB NVMe Computational U.2 SSD". Storage Review. 2020-02-13. Retrieved 2018-10-31.
  9. ^ "$20M for Upstart Storage Device Firm NGD". Orange County Business Journal. 2020-02-13. Retrieved 2020-02-10.
  10. ^ "Data-Driven Computational Storage Server Solution (Compute and Storage Acceleration Solution) : Inspur". xeonscalable.inspursystems.com. Retrieved 2018-06-04.
  11. ^ "Modern Storage Technologies in 2020: What You Need to Know". Bigstep. 2020-02-13. Retrieved 2020-01-10.
  12. ^ Do, Jaeyoung; Kee, Yang-Suk; Patel, Jignesh M.; Park, Chanik; Park, Kwanghyun; DeWitt, David J. (2013-06-22). "Query processing on smart SSDs". Query processing on smart SSDs: opportunities and challenges. ACM. pp. 1221–1230. doi:10.1145/2463676.2465295. ISBN 9781450320375. S2CID 12496095.