맘바(심층학습)

시리즈의 일부
기계학습 및 데이터 마이닝
패러다임 지도학습 비지도학습 온라인 학습 일괄학습 메타러닝 준지도학습 자기 지도 학습 강화학습 규칙기반학습 양자기계학습
문제 분류 생성모델 회귀 클러스터링 치수 축소 밀도추정 이상감지 데이터 정리 오토ML 연관규칙 의미분석 구조화 예측 피쳐 엔지니어링 특징학습 순위 정하기 문법유도 온톨로지 학습 멀티모달러닝
지도학습 (분류 • 회귀분석) 도제학습 의사결정나무 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형회귀 나이브 베이즈 인공신경망 로지스틱 회귀분석 퍼셉트론 관련성 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 BARCH 치유하다 계층적 k- 퍼지 기대 – 최대화(EM) DBSCAN 옵틱스 평균 이동
차원 축소 요인분석 CCA ICA LDA NMF PCA PGD t-SNE SDL
구조화 예측 그래픽 모델 베이즈넷 조건부 랜덤 필드 히든 마르코프
이상감지 RANSAC k-NN 국소이상인자 고립림
인공신경망 오토인코더 인지 컴퓨팅 딥러닝 딥드림 피드포워드 신경망 순환신경망 LSTM GRU ESN 리저버 컴퓨팅 제한된 볼츠만 기계 GAN 확산모델 SOM 컨벌루션 신경망 유넷 변압기 비전. 맘바 스파이킹 신경망 멤트랜지스터 전기화학램(ECRAM)
강화학습 큐러닝 사스아 시간차(TD) 멀티 에이전트 셀프플레이
인간과 함께 배우기 능동학습 크라우드소싱 인간-인-더-루프
모델 진단 학습곡선
수학적 기초 커널 머신 편의-분산 상충 전산학습이론 경험적 리스크 최소화 오컴러닝 PAC 학습 통계학습 VC이론
기계학습장 ECML PKDD 뉴립스 ICML ICLR IJCAI ML JMLR
관련기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 컴퓨터 비전 및 이미지 처리의 데이터셋 목록 기계학습개요
v t

맘바는 시퀀스 모델링에 초점을 맞춘 딥 러닝 아키텍처입니다. 특히 긴 시퀀스를 처리하는 데 있어 트랜스포머 모델의 몇 가지 한계를 해결하기 위해 카네기 멜론 대학교와 프린스턴 대학교의 연구원들에 의해 개발되었으며, 구조화된 상태 공간 시퀀스(S4) 모델을 기반으로 합니다.^[1][2][3]

건축

Mamba는 긴 데이터 시퀀스를 처리할 수 있도록 구조화된 상태 공간 시퀀스 모델(S4)을 통합합니다.^[1] S4는 불규칙하게 샘플링된 데이터를 처리하고 제한 없는 컨텍스트를 가질 수 있도록 연속 시간, 반복 및 컨볼루션 모델의 강점을 결합하여 효과적이고 효율적으로 긴 종속성을 모델링할 수 있습니다. 교육과 테스트 모두에서 계산 효율성을 유지합니다.^[4]

S4 모델을 기반으로 구축된 Mamba는 특히 시변 연산 처리에 있어 상당한 개선점을 제공합니다. 설계의 핵심은 입력에 따라 구조화된 상태 공간 모델(SSM) 매개 변수를 조정하는 고유한 선택 메커니즘입니다.^[5][1] 이를 통해 Mamba는 시퀀스 내에서 관련 정보에 선택적으로 집중할 수 있으므로 관련성이 낮은 데이터를 효과적으로 필터링할 수 있습니다. 모델은 시간 불변에서 시간 가변 프레임워크로 전환되며, 이는 시스템의 계산과 효율성 모두에 영향을 미칩니다.^[1][6]

Mamba는 하드웨어 인식 알고리즘을 사용하여 이 시간 분산에 의해 도입된 계산 문제를 해결합니다. 이 알고리즘은 커널 융합, 병렬 스캔 및 재계산을 사용하여 GPU와 같은 현대 하드웨어에서 효율적인 계산을 가능하게 합니다.^[1] 이를 통해 메모리 집약적인 계층에서 확장된 상태를 구현하는 것을 방지하여 성능과 메모리 사용량을 최적화할 수 있습니다. 그 결과 이전 방법에 비해 긴 시퀀스를 처리하는 데 훨씬 더 효율적인 아키텍처가 되었습니다.^[1][6]

또한 Mamba는 훈련과 추론 모두에서 효율성을 유지하면서 언어, 오디오, 유전체학 등 다양한 데이터 유형에 걸쳐 일반적인 시퀀스 모델링 기능을 향상시키면서 SSM 설계를 MLP 블록과 통합함으로써 아키텍처를 단순화합니다.^[1]

변종

MoE-Mamba는 Mamba 아키텍처를 전문가(MoE) 계층과 통합합니다. 이 조합을 사용하면 보다 효율적인 구현이 가능하므로 모델이 2.2배 적은 훈련 단계로 맘바와 비슷한 성능을 달성할 수 있으며 트랜스포머보다 맘바의 추론 성능 이득을 유지할 수 있습니다.^[7] 모델의 설계에는 맘바 계층과 MoE 계층이 교대로 포함되어 있어 전체 시퀀스 컨텍스트를 효율적으로 통합하고 각 토큰에 가장 관련성이 높은 전문가를 적용할 수 있습니다.

참고 항목

• 언어 모델링
• 트랜스포머(기계학습모델)
• 상태공간모형
• 순환신경망

참고문헌