데이터 중심 컴퓨팅

Data-centric computing

데이터 중심 컴퓨팅은 정보 아키텍처와 데이터 센터 설계에 관련성이 있는 새로운 개념이다.비용이 많이 들고 복잡한 데이터 마이그레이션 없이 업그레이드가 가능한, 애플리케이션과 독립적으로 데이터를 저장하는 정보 시스템을 기술한다.이는 기하급수적으로 증가하는 데이터 세트를 저장, 검색, 이동 및 처리하기 위한 조직의 요구를 해결하는 데 필요한 정보 시스템의 급격한 변화다.[1]

배경

전통적인 정보 시스템 아키텍처는 애플리케이션 중심적 사고방식에 기반을 두고 있다.전통적으로 애플리케이션은 비교적 작은 구조화된 데이터 집합에 대처하기 위해 설치되고, 비교적 정적인 상태를 유지하며, 간헐적으로 업데이트되며, 고정된 컴퓨팅, 스토리지 및 네트워킹 요소 집합을 활용했다.[2]

이러한 접근 방식은 수십 년 동안 잘 작동했지만, 지난 10년 동안 데이터 증가, 특히 비정형 데이터 증가가 조직, 정보 아키텍처 및 데이터 센터 인프라에 새로운 압력을 가했다.2018년 보고서에 따르면, 새로운 데이터의 90%가 구조화되지 않았으며, 조직 중 59%가 100억 개 이상의 파일과 개체를[3] 대규모 서버와 스토리지 노드에 분산 관리한다고 한다.조직들은 기하급수적인 데이터 증가에 대처하는 동시에 빅 데이터 분석 및 머신러닝과 같은 서비스를 사용하여 해당 데이터에서 통찰력을 추출하는 더 나은 접근 방식을 모색하고 있다.그러나 기존 아키텍처는 페타바이트급 규모에서 성능 제한 없이 서비스 요구사항을 해결할 수 있도록 구축되지 않는다.[4]

기존 아키텍처들은 하드웨어 인프라와 애플리케이션 중심 시스템 설계, 개발 및 관리의 한계로 인해 데이터를 완전히 저장, 검색, 이동 및 활용하지 못한다.[5]

데이터 중심 워크로드

데이터 중심 컴퓨팅이 다루는 두 가지 문제가 있다.

  1. 조직은 모든 가용 데이터를 활용해야 하지만 기존 애플리케이션은 민첩하거나 유연하지 못하다.서비스 제공에 대한 새로운 접근방식(마이크로 서비스 및 컨테이너 포함)에 의해 지원되는 지속적인 서비스 혁신으로의 새로운 전환은 기존의 애플리케이션 중심 사고 방식에서 벗어나는 새로운 가능성을 열어준다.
  2. 데이터 센터 하드웨어의 기존 제한은 비정형 데이터 세트의 완전한 이동, 관리 및 활용을 제한하기도 한다.기존 CPU는 스토리지, 네트워킹 및 분석에 필요한 전문 기능을 포함하지 않기 때문에 성능을 저해하고 있다.[6]네트워크를 통한 하드 드라이브와 SAS/SATA 솔리드 스테이트 드라이브를 포함한 느린 스토리지로 인해 성능이 저하되고 데이터 접근성이 제한될 수 있다.[7]새로운 하드웨어 기능이 필요하다.

데이터 중심 컴퓨팅

데이터 중심 컴퓨팅은 혁신적인 하드웨어와 소프트웨어를 융합하여 애플리케이션이 아닌 데이터를 영구적인 가치원으로 취급하는 접근법이다.[8]데이터 중심 컴퓨팅은 기존 데이터 소스와 새로운 데이터 소스에서 최대한 많은 가치를 추출하기 위해 하드웨어와 소프트웨어를 모두 재고하는 것을 목표로 한다.정적 애플리케이션 성능 및 복원력보다 데이터 전송 및 데이터 계산을 우선시하여 민첩성을 높인다.

데이터 중심 하드웨어 및 소프트웨어

데이터 중심 컴퓨팅의 목표를 달성하기 위해 데이터 센터 하드웨어 인프라는 대규모 확장, 급속한 성장, 고성능 데이터 이동의 필요성 및 광범위한 계산 요건을 충족하도록 진화한다.

  • 분산 하드웨어 인프라가 표준이 되고 데이터와 서비스가 퍼블릭 클라우드와 온프레미스 모두에서 많은 컴퓨팅 및 스토리지 노드에 분산된다.
  • 무어의 법칙의 평탄화로 인해,[9] 데이터 이동, 데이터 보호, 데이터 보안 등 집중적인 작업을 처리함으로써 CPU 부하를 줄이는 새로운 프로세서가 등장하고 있다.[10]
  • NVMe 드라이브와 같은 신기술과 NVMeoF와 같은 네트워킹은 데이터 중심 컴퓨팅 아키텍처의 표준 구성요소가 될 것이다.[11]

소프트웨어에 관한 한, 데이터 중심 컴퓨팅은 전통적인 정적 애플리케이션의 소멸을 가속화한다.[12]애플리케이션은 알고리즘이 오갈수록 수명이 짧고, 지속적으로 추가, 업데이트 또는 제거된다.소프트웨어는 하위 집합 대신 사용 가능한 모든 데이터에 대한 분석을 수행하도록 재설계된다.마이크로 서비스는 데이터를 방문하여 계산을 수행하고 기존 접근방식을 뛰어넘는 속도로 프로세스의 결과를 표현한다.

참조

  1. ^ "The Data-Centric Revolution". TDAN.com. Retrieved 2019-12-07.
  2. ^ Bhageshpur, Kiran (2016-10-06). "The Emergence Of Data-Centric Computing". The Next Platform. Retrieved 2019-12-07.
  3. ^ Bhagheshpur, Kiran. "2018 State of Unstructured Data Management" (PDF). Igneous. Retrieved December 7, 2019.{{cite web}}: CS1 maint : url-status (링크)
  4. ^ "Requirements for Unstructured Data at Petabyte Scale". StorageSwiss.com - The Home of Storage Switzerland. 2019-10-14. Retrieved 2019-12-07.
  5. ^ George S. Davidson, Kevin W. Boyack, Ron A. Zacharski, Stephen C. Helmreich, and Jim R. Cowie (April 2006). "Data-Centric Computing with the Netezza Architecture" (PDF). sandia.gov. Retrieved December 7, 2019.{{cite web}}: CS1 maint : 복수이름 : 작성자 목록 (링크) CS1 maint : url-status (링크)
  6. ^ Why We Need Open, Data-Centric Computing Architectures, retrieved 2019-12-07
  7. ^ States, Austin TX United (2016-11-10). "The Network is the New Storage Bottleneck". Datanami. Retrieved 2019-12-07.
  8. ^ "Data-Centric Manifesto". datacentricmanifesto.org. Retrieved 2019-12-07.
  9. ^ Simonite, Tom. "The foundation of the computing industry's innovation is faltering. What can replace it?". MIT Technology Review. Retrieved 2019-12-07.
  10. ^ "DPU: Data Processing Unit Programmable Processor". Fungible. Retrieved 2019-12-07.
  11. ^ Kieran, Mike (2019-03-21). "When You're Implementing NVMe Over Fabrics, the Fabric Really Matters". NetApp Blog. Retrieved 2019-12-07.
  12. ^ "Microservices Momentum Accelerates". DevOps.com. 2018-05-10. Retrieved 2019-12-07.