벡터 데이터베이스

에 관한 시리즈의 일부
머신러닝 데이터 마이닝
패러다임 지도학습 비지도 학습 온라인 학습 일괄 학습 메타학습 준지도학습 자기 지도 학습 강화학습 규칙 기반 학습 양자 기계 학습
문제 분류 생성 모델링 회귀 클러스터링 차원 축소 밀도추정 이상 탐지 데이터클리닝 자동ML 결사규칙 시맨틱 분석 구조화 예측 특징공학 특징 학습 순위 정하기 배우기 문법 귀납법 온톨로지 학습 멀티모달 학습
지도학습 (분류 • 회귀) 도제식 학습 의사결정나무 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 나이브 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련성 벡터 머신(RVM) SVM(Support Vector Machine)
클러스터링 버치 치유하다 계층적 k- means 퍼지 기대-최대화(EM) DBSCAN 광학 장치 평균 이동
차원 축소 요인분석 CCA ICA LDA NMF PCA PGD t-SNE SDL
구조화 예측 그래픽 모델 베이즈넷 조건부 랜덤 필드 히든 마르코프
이상 탐지 RANSAC k-NN 국소이상치인자 격리림
인공신경망 오토인코더 인지 컴퓨팅 딥러닝 딥드림 피드포워드 신경망 순환신경망 LSTM GRU ESN 저장소 계산 제한 볼츠만 기계 간 확산모델 SOM 합성곱 신경망 유넷 변압기 비전. 맘바 스파이킹 신경망 멤트랜지스터 전기화학램(ECRAM)
강화학습 Q-러닝 사스 시간차(TD) 다중 에이전트 셀프플레이
인간과 함께 배우기 능동학습 크라우드소싱 휴먼 인 더 루프 RLHF
모델 진단 결정계수 혼동행렬 학습곡선 ROC 곡선
수학적 기초 커널 머신 편향-분산 트레이드오프 계산학습이론 경험적 리스크 최소화 오캠학습 PAC 학습 통계학습 VC이론
기계 학습 장소 ECML PKDD 뉴립스 ICML ICLR 아이제이카이 ML JMLR
관련기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 컴퓨터 비전 및 이미지 처리 분야의 데이터 세트 목록 기계 학습의 개요
v t

VDBMS(vector database management system) 또는 간단히 벡터 데이터베이스 또는 벡터 저장소는 다른 데이터 항목과 함께 벡터(고정 길이의 숫자 목록)를 저장할 수 있는 데이터베이스입니다. 벡터 데이터베이스는 일반적으로 하나 이상의 ANN(Proximate Neighbor) 알고리즘을 구현하므로 ^[1][2]쿼리 벡터로 데이터베이스를 검색하여 가장 가까운 데이터베이스 레코드를 검색할 수 있습니다.

벡터는 고차원 공간에서 데이터를 수학적으로 표현한 것입니다. 이 공간에서 각 차원은 데이터의 특징에 해당하며 정교한 데이터를 표현하기 위해 수만 개의 차원이 사용될 수 있습니다. 이 공간에서 벡터의 위치는 벡터의 특성을 나타냅니다. 단어, 구 또는 전체 문서, 이미지, 오디오 및 기타 유형의 데이터를 모두 벡터화할 수 있습니다.^[3]

이러한 특징 벡터는 특징 추출 알고리즘, 단어 임베딩^[4] 또는 딥 러닝 네트워크와 같은 기계 학습 방법을 사용하여 원시 데이터에서 계산될 수 있습니다. 목표는 의미론적으로 유사한 데이터 항목이 서로 가까운 특징 벡터를 수신하는 것입니다.

벡터 데이터베이스는 유사성 검색, 다중 모드 검색, 추천 엔진, 대규모 언어 모델(LLM) 등에 사용할 수 있습니다.^[5]

벡터 데이터베이스는 또한 대규모 언어 모델의 도메인별 응답을 개선하기 위한 방법인 RAG(Retrieve-Augmented Generation)를 구현하는 데 사용됩니다. 관심 도메인을 설명하는 텍스트 문서가 수집되고 각 문서에 대해 특징 벡터("embedding"이라고 함)가 일반적으로 딥 러닝 네트워크를 사용하여 계산되고 벡터 데이터베이스에 저장됩니다. 사용자 프롬프트가 주어지면 프롬프트의 특징 벡터가 계산되고 데이터베이스가 가장 관련성이 높은 문서를 검색하기 위해 쿼리됩니다. 그런 다음 이것들은 대규모 언어 모델의 컨텍스트 창에 자동으로 추가되고 대규모 언어 모델은 이 컨텍스트가 주어진 프롬프트에 대한 응답을 생성합니다.^[6]

벡터 검색 기법

고차원 벡터에서 유사성 검색을 위한 가장 중요한 기술은 다음과 같습니다.

• HNSW(Hierarchical Navigable Small World) 그래프
• LSH(Locality-Sensitive Hashing) 및 스케치
• 제품 양자화(PQ)
• 반전 파일

그리고 이 기술들의 조합.^{[citation needed]}

최근 벤치마크에서 HNSW 기반 구현은 최고의 성능을 발휘합니다.^[7][8] 유사성 검색 및 응용에 관한 국제 회의, SISAP 및 신경 정보 처리 시스템 회의(NeurIPS)와 같은 회의는 대규모 데이터베이스에서 벡터 검색에 관한 대회를 주최합니다.

벡터 데이터베이스 목록

이름.	면허증.
아파치 카산드라[9][10]	아파치 라이선스 2.0
크로마[11][12]	아파치 라이선스 2.0[13]
Azure Cosmos DB 통합[14]	독점(Managed Service)
카우치베이스[15][16]	BSL 1.1[17]
탄성검색[18]	서버 측 공용 라이센스, 탄력 라이센스[19]
FAISS[20]	MIT 라이선스[21]
라마[22] 인덱스	MIT 라이선스[23]
밀부스[24][25]	아파치 라이선스 2.0
몽고DB 아틀라스[26]	서버 측 공용 라이센스(관리 서비스)
오픈 검색[27][28][29]	아파치 라이선스 2.0[30]
솔방울[31]	독점(Managed Service)
pg[32] 벡터가 포함된 포스트그레스	포스그레SQL 라이센스[33]
쿼드런트[34]	아파치 라이선스 2.0[35]
레디스 스택[36][37]	Redis 소스 사용 가능 라이센스[38]
초현실적DB[39]	BSL 1.1[40]
베스파[41]	아파치 라이선스 2.0[42]
위비에이티브[43]	BSD 3-Clause[44]

참고문헌