벡터웨이즈

Vectorwise
액티언 벡터
개발자액티언 코퍼레이션
안정적 해제
벡터 5.1 / 2018년 11월 14일(2018-11-14)[1]
운영 체제크로스 플랫폼
유형RDBMS
면허증소유권
웹사이트www.actian.com/products/analytics-platform/vector-smp-analytics-database/
Actian Vector in Hadoop
개발자액티언 코퍼레이션
안정적 해제
Vector in Hadoop 5.1 / 2018년 6월 10일(2018-06-10)[2]
운영 체제리눅스
유형RDBMS
면허증소유권
웹사이트www.actian.com/analytic-database/vectorh-sql-hadoop/

Actian Vector(이전의 VectorWise)는 분석 데이터베이스 애플리케이션에서 고성능을 발휘하도록 설계된 SQL 관계형 데이터베이스 관리 시스템이다.[3]비클러스터 하드웨어에 대한 100GB, 300GB, 1TB, 3TB의 데이터베이스 크기에 대한 트랜잭션 처리 성능 위원회의 TPC-H 벤치마크에 대한 기록 갱신 결과를 발표했다.[4][5][6][7]

벡터웨이즈는 2003~2008년 센트럼 위스쿤데 & 인포마티카(CWI, 네덜란드 국립수학컴퓨터과학연구소) 내에서 진행된 X100 연구 프로젝트에서 비롯됐다.2008년 창업기업으로 분사했고, 2011년 잉그레스코퍼레이션에 인수됐다.[8]2010년 6월에 상용 제품으로 출시되었으며,[9][10][11][12] 초기에는 64비트 Linux 플랫폼용, 나중에는 윈도용으로도 출시되었다.2014년 4월 3.5개 출시를 시작으로 제품명을 '벡터'[13]로 줄였다.2014년 6월, Actian Vortex는 HDFS에 스토리지가 있는 Hadoop에서 Vector의 클러스터된 대규모 병렬 처리 버전으로 발표되었다.[14][15]Actian Vortex는 나중에 Hadoop에서 Actian Vector로 이름이 바뀌었다.

기술

기본적인 구조와 VectorWise 데이터베이스의 X100의 엔진 설계 원칙은 항상 잘 VectorWise 설립자 마르친 Żukowski의 두 Phd 논문:"밸런싱 Vectorized 쿼리 실행 Bandwidth-Optimized 저장과"[16]과 산도르 테즐러 Héman: 다른 설립자의 감독 professo 아래"압축 기둥 스토어의 업데이트"[17]에서 설명하였다.r피터Boncz. X100 엔진은 Ingres SQL 프런트엔드와 통합되어 데이터베이스가 Ingres SQL 구문과 클라이언트 및 데이터베이스 관리 툴의 Ingres 집합을 사용할 수 있게 되었다.[18]

쿼리 실행 아키텍처는 "Vectorized Query Execution(벡터화된 쿼리 실행)" - 캐쉬에 맞는 데이터의 벡터 청크로 처리한다.이를 통해 벡터 프로세싱과 단일 명령, 다중 데이터(SIMD)의 원칙을 수반할 수 있으며, 동시에 여러 데이터에 대해 동일한 작업을 수행하고 현대 하드웨어에 대한 데이터 수준 병렬화를 이용할 수 있다.또한 대부분의 RDBMS에서 볼 수 있는 전통적인 "한 번에 행 처리"에서 발견되는 오버헤드를 줄인다.

데이터베이스 저장소는 검색 최적화 버퍼 관리자를 사용하여 압축된 열 지향 형식이다.[19]HDFS의 Actian Vortex에서는 동일한 독점 포맷이 사용된다.

(PDTs)[17][21]— 안정적인 저장 장치 위에 안쪽으로 자연스럽게 스캔 동안, 그리고 투명하다 기운이 인덱싱 된 차이점의B-tree-like 구조 전문화된 작은 트랜잭션 업데이트 patent-pending[20]Positional 델타의 나무들을 통해 지원된 데이터 걸려 많은 안정된 저장소에 직접 차를 통해 지원된다.ly를 선전하다.d 백그라운드 프로세스의 안정적인 저장.패치형 구조의 차이를 저장하고 안정적 스토리지를 대량으로 다시 쓰는 방식은 파일이 추가 전용인 HDFS와 같은 파일 시스템에서 작업할 수 있게 했다.[14]

역사

2003년 CWI(Centrum Wiskunde & Informatica)에서 원제작자가 수행한 모네DB의 TPC-H 비교거래처리 성과평가에서는 분석 데이터베이스로서의 성능 향상의 여지가 있었다.그 결과, CWI 연구자들은 분석 질의의 성능을 개선하기 위해 파이프라인 질의 처리("벡터 처리")를 이용한 새로운 아키텍처를 제안했다.이로 인해 모네DB를 위한 새로운 커널을 설계할 목적으로 「X100」 프로젝트를 만들어, 「MonetDB/X100」이라고 불리게 되었다.[16][22][23]

X100 프로젝트 팀은 2007 DaMoN 최우수 논문상 "셀 광대역 엔진에 대한 설계 데이터 처리"[24][25]와 2008년 DaMoN 최우수 논문상 "DSM 대 NSM: 블록 지향 쿼리 처리에서의 CPU 성능 트레이드오프"[26][27]를 수상했다.

2009년 8월, X100 프로젝트의 출발지는 1999년 논문 "새로운 병목현상에 최적화된 데이터베이스 아키텍처:메모리 액세스".VLDB는 프로젝트 팀이 지난 10년 동안 논문에 포함된 아이디어를 구현하는 데 큰 진전을 이루었다는 것을 인정하였다.[28]이 논문의 중심 전제는 기존의 관계형 데이터베이스 시스템이 1970년대 후반과 1980년대 초반에 하드 디스크에서 데이터를 읽고 쓰는 데 필요한 시간에 데이터베이스 성능을 좌우하던 시기에 설계되었다는 것이다.당시 사용 가능한 CPU는 상대적으로 느렸고 메인 메모리는 상대적으로 작았기 때문에 한 번에 메모리에 거의 데이터가 로드될 수 없었다.시간이 지남에 따라 하드웨어가 개선되었고, 무어의 법칙에 따라 CPU 속도와 메모리 크기는 2년마다 대략 두 배씩 증가했지만, 전통적인 관계형 데이터베이스 시스템의 설계는 채택되지 않았다.CWI 연구팀은 최신 하드웨어를 가장 잘 활용하기 위한 데이터베이스 코드와 데이터 구조의 개선을 설명했다.[29]

2008년에 X100 프로젝트는 모네DB로부터 분리되어 자체 회사와 함께 독립된 프로젝트로서 "VectorWise"로 개칭되었다.공동창업자에는 피터 A가 포함되었다.본츠와 마르신 주코프스키.[30][31]

2010년 6월, Ingres Corporation이 공식적으로 VectorWise 기술을 발표하면서 Ingres VectorWise 1.0이 출시되었다.[10][32][33]

2011년 3월 VectorWise 1.5가 출시되어 [34]TPC-H 100GB 벤치마크에서 기록적인 돌파 결과를 발표하였다.[5][35]새로운 기능에는 병렬 쿼리 실행(여러 CPU 코어에 실행된 단일 쿼리), 대량 로딩 개선 및 SQL 지원 강화가 포함되었다.2011년 6월에는 VectorWise 1.6이 출시되어 [6]TPC-H 100GB,[36] 300GB[37], 1TB[38] 비클러스터 벤치마크에 대한 기록 경신 결과를 발표하였다.

2011년 12월, 순위 및 백분위수 및 강화된 날짜, 시간 및 타임스탬프 데이터 유형과 같은 분석 기능에 대한 새로운 SQL 지원, 해시 조인 및 집계에서 디스크 스필링에 대한 지원으로 VectorWise 2.0이 출시되었다[39].

2012년 6월, 벡터와이즈 2.5가 출시되었다.[40]이번 릴리스 저장소 포맷은 데이터베이스를 여러 위치에 저장할 수 있도록 재구성되었으며, PDT에서 안정적인 저장소로의 백그라운드 업데이트 전파 메커니즘을 개선하여 전체 재작성 대신 변경된 블록만 다시 쓸 수 있도록 했으며, 특허받은[41] PBM(Prediction Buffer Manager)이 새로 도입되었다.[42]

2013년 3월, VectorWise 3.0이 출시되었다.[43]새로운 기능에는 보다 효율적인 스토리지 엔진, 더 많은 데이터 유형 및 분석 SQL 기능 지원, 향상된 DDL 기능, 향상된 모니터링 및 프로파일링 접근성 등이 포함되었다.

2014년 3월 액티안 벡터 3.5가 출시되었으며, 새로운 브랜드와 단축 명칭이 추가되었다.[13]새로운 기능에는 분할된 테이블 지원, 향상된 디스크 스필링, 온라인 백업 기능 및 향상된 SQL 지원 등이 포함되었다.MERGE/UPSERTDML 작업 및FIRST_VALUE그리고LAST_VALUE윈도우 집계 기능.2015년 3월 Actian Vector 4가 출시됨

2014년 6월 San Jose Actian에서 열린 Hadoop Summit 2014에서 Actian Vortex - 클러스터링된 MPP 버전을 발표했으며, Hadoop에서 동일한 수준의 SQL 지원이 HDFS에서 직접 작동한다고 밝혔다.[14]Actian Vortex는 나중에 Hadoop에서 Actian Vector로 이름이 변경되었으며, 비클러스터 Actian Vector 릴리스도 일치하도록 업데이트된다.[1]Actian Vector in Hadoop 4는 2015년 12월에 출시되었다.

2019년 4월 클라우드 옵션으로 액티언 아발란드가 출시됐다.

액티언 벡터 5.0은 2016년 7월, 5.1은 2018년 6월 출시됐다.액티언 벡터 인 하둡 5.0은 2017년 10월에 출시되었으며, 5.1은 2018년 11월에 출시되었다.2019년 4월 아마존웹서비스(AWS)용 아발란치 버전 5.1이 출시됐고, 2019년 10월에는 마이크로소프트 아즈레 버전 5.1이 출시됐다.

참고 항목

참조

  1. ^ a b "Actian Vector releases" (PDF). Retrieved 2016-08-20.
  2. ^ "Vector in Hadoop 5.0 – New Features You Should Care About". 2017-09-19. Retrieved 2018-04-04.
  3. ^ "Vectorwise Enterprise". Actian Corporation. Retrieved 3 May 2012.
  4. ^ "TPC-H - Top Ten Performance Results - Non-Clustered". Transaction Processing Performance Council. Retrieved 3 May 2012.
  5. ^ a b "Vectorwise Smashes TPC-H Record at Scale Factor 100 Delivering 340% of Previous Best Record" (Press release). Actian Corporation. 15 February 2011. Retrieved 7 February 2016.
  6. ^ a b "Vectorwise Breaks 300GB and 1TB TPC-H Benchmark Records Hands Down" (Press release). Actian Corporation. 4 May 2011. Retrieved 7 February 2011.
  7. ^ "Actian Analytics Platform Outperforms All Others By 2X, Sets New Record In Latest TPC-H Benchmark". Actian Corporation. Retrieved 20 Aug 2016.
  8. ^ "CWI spin-off company VectorWise sold to Ingres Corporation".
  9. ^ Clarke, Gavin (2 February 2010). "Ingres' VectorWise rises to answer Microsoft". The Register.
  10. ^ a b Babcock, Charles (9 June 2010). "Ingres Unveils VectorWise Database Engine". InformationWeek.
  11. ^ Suleman, Khidr (8 June 2010). "Ingres launches VectorWise database engine". V3.co.uk.
  12. ^ Zukowski, Marcin; Boncz, Peter (2012). "From x100 to vectorwise". Proceedings of the 2012 international conference on Management of Data - SIGMOD '12. p. 861. doi:10.1145/2213836.2213967. ISBN 978-1-4503-1247-9.
  13. ^ a b "Pssst: Want to Hear About Actian Vector 3.5?". 2016-05-04.
  14. ^ a b c "Vector(wise) goes Hadoop".
  15. ^ "Peter Boncz - Actian Vector on Hadoop: The First Industrial-strength DBMS to Truly Leverage Hadoop".
  16. ^ a b Żukowski, Marcin (11 September 2009). "Balancing vectorized query execution with bandwidth-optimized storage" (PDF). Universiteit van Amsterdam. Retrieved 7 February 2016. {{cite journal}}:Cite 저널은 필요로 한다. journal=(도움말)
  17. ^ a b Héman, Sandor (2015). "Updating Compressed Column Stores" (PDF). Vrije Universiteit Amsterdam. Retrieved 7 February 2016. {{cite journal}}:Cite 저널은 필요로 한다. journal=(도움말)
  18. ^ Inkster, Doug; Żukowski, Marcin; Boncz, Peter (September 2011). "Integration of VectorWise with Ingres" (PDF). SIGMOD Record. 40 (3): 45–53. doi:10.1145/2070736.2070747. hdl:1871/33100. Retrieved 7 February 2016.
  19. ^ Zukowski, Marcin; Boncz, Peter (March 2012). "Vectorwise: Beyond Column Stores" (PDF). IEEE Data Engineering Bulletin. 35 (1): 21–27. Retrieved 4 May 2012.
  20. ^ 미국 애플리케이션 20100235335, 샌도 ABC 헤만, 피터 A.본츠, 마르신 주코프스키, 니콜라스 J.네스(Nes), "위치 델타 트리 업데이트 시스템 및 방법을 활용한 칼럼 스토어 데이터베이스 아키텍처" 2010-09-16 발간
  21. ^ Héman, Sándor; Żukowski, Marcin; Nes, Niels; Sidirourgos, Lefteris; Boncz, Peter. "Positional update handling in column stores" (PDF). SIGMOD Conference 2010: 543–554.
  22. ^ "Homepage of Peter Boncz". Retrieved 7 February 2016.
  23. ^ "Faster database technology with MonetDB/X100". CWI Amsterdam. Retrieved 4 May 2012.
  24. ^ Héman, S.; Nes, N.J.; Zukowski, M.; Boncz, P.A. (2007). "Vectorized Data Processing on the Cell Broadband Engine". Universiteit van Amsterdam. Retrieved 4 May 2012. {{cite journal}}:Cite 저널은 필요로 한다. journal=(도움말)
  25. ^ "Third International Workshop on Data Management on New Hardware (DaMoN 2007)". Carnegie Mellon’s School of Computer Science (SCS). Retrieved 4 May 2012.
  26. ^ Zukowski, Marcin; Nes, Niels; Boncz, Peter (2008). "DSM vs. NSM". Proceedings of the 4th international workshop on Data management on new hardware - DaMoN '08. p. 47. doi:10.1145/1457150.1457160. ISBN 9781605581842.
  27. ^ "Fourth International Workshop on Data Management on New Hardware (DaMoN 2008)". Carnegie Mellon School of Computer Science. Retrieved 4 May 2012.
  28. ^ "10-year Best Paper Award – VLDB 2009". International Conference on Very Large Data Bases. Retrieved 4 May 2012.
  29. ^ Boncz, Peter; Manegold, Stefan; Kersten, Martin L. (15 June 1999). Database architecture optimized for the new bottleneck: Memory access (PDF). Proceedings of the 25th International Conference on Very Large Data Bases. Universiteit van Amsterdam. pp. 54–65. ISBN 1-55860-615-7. Retrieved 11 December 2013.
  30. ^ Curt Monash (25 April 2013). "Goodbye VectorWise, farewell ParAccel?". DBMS2. Retrieved 11 December 2013.
  31. ^ "Peter Boncz". Staff web page. CWI. Retrieved 11 December 2013.
  32. ^ Clark, Don (22 September 2011). "Database-Software Firm Tries 'Action Apps'". The Wall Street Journal.
  33. ^ "Ingres Vectorwise 1.0". Retrieved 7 February 2016.
  34. ^ "An early look at Actian VectorWise 1.5".
  35. ^ "TPC-H SF100 Vectorwise 1.5".
  36. ^ "TPC-H SF100 Vectorwise 1.6".
  37. ^ "TPC-H SF300 Vectorwise 1.6".
  38. ^ "TPC-H SF1000 Vectorwise 1.6".
  39. ^ "An even faster VectorWise".
  40. ^ "Actian Releases Vectorwise 2.5 – Record-Breaking Database Is Now Even Faster".
  41. ^ B1 미국 특허 8825959 B1, Michal Swifakowski, Peter Boncz, Marcin Zukowski, "데이터 버퍼링 정책 개선을 위한 데이터 액세스 시간 예측 방법 및 장비"가 2014-09-02에 발표되었다.
  42. ^ Świtakowski, Michał; Boncz, Peter; Żukowski, Marcin (August 2012). "From Cooperative Scans to Predictive Buffer Management" (PDF). Proceedings of the VLDB Endowment. VLDB 2012. 5 (12). arXiv:1208.4170. Bibcode:2012arXiv1208.4170S. Retrieved 7 February 2016.
  43. ^ "Actian Announces Availability of Vectorwise 3.0 for Getting Fast Answers from Big Data".

외부 링크