파이토치

파이토치

원저작자	애덤 파스케 샘 그로스 수미스 친탈라 그레고리 채넌
개발자	메타 AI
초기 릴리즈	2016년 9월, 5년 전(2016-09)[1]
안정된 릴리스	1.12.0[2] / 2022년 6월 28일; 41일 전(2022년 6월 28일)
저장소	github.com/pytorch/pytorch
기입처	파이썬 C++ 쿠다
운영 체제	리눅스 MacOS 창문들
플랫폼	IA-32, x86-64
이용가능기간:	영어
유형	머신러닝 및 딥러닝용 라이브러리
면허증.	BSD[필요한 건]
웹 사이트	pytorch.org

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

PyTorch는 Torch ^[3][4][5]라이브러리를 기반으로 하는 오픈 소스 머신 러닝 프레임워크로, 주로 Meta ^[7][8][9]AI에 의해 개발된 컴퓨터 비전 및 자연 언어 ^[6]처리와 같은 애플리케이션에 사용됩니다.이 소프트웨어는 Modified BSD 라이센스로 출시된 무료 오픈 소스 소프트웨어입니다.PyTorch는 Python 인터페이스가 더 세련되고 개발의 주요 초점이지만 C++ 인터페이스도 ^[10]갖추고 있습니다.

Tesla ^[11]Autopilot, ^[12]Uber's Pyro, Hugging Face's Transformers,^[13] PyTorch ^[14][15]Lightning, ^[16][17]Catalyst 등 많은 딥 러닝 소프트웨어가 PyTorch 위에 구축되어 있습니다.

PyTorch는 다음 두 가지 고급 ^[18]기능을 제공합니다.

• 그래픽스 처리 장치(GPU)를 통한 강력한 고속화를 실현하는 텐서 컴퓨팅(NumPy 등)
• 테이프 기반 자동 분화 시스템을 기반으로 구축된 심층 신경 네트워크

역사

Meta(이전의 Facebook)는 PyTorch와 고속 기능 임베딩을 위한 Convolutional Architecture(Caffe2)를 모두 운영하지만 두 프레임워크에 의해 정의된 모델은 상호 호환되지 않습니다.오픈 뉴럴 네트워크 익스체인지(ONNX) 프로젝트는 프레임워크 간 모델 변환을 위해 Meta와 Microsoft에 의해 2017년 9월에 만들어졌습니다.카페2는 2018년 ^[19]3월 말에 파이토크에 합병되었다.

파이토치 텐서

PyTorch는 텐서(Tensor)라고 하는 클래스를 정의합니다.torch.Tensor)를 사용하여 균일한 다차원 직사각형 숫자 배열에 저장 및 작업을 수행합니다.PyTorch Tensors는 NumPy 어레이와 비슷하지만 CUDA 대응 NVIDIA GPU에서도 동작할 수 있습니다.PyTorch는 AMD의 ROCm이나 Apple의 ^[20]Metal Framework 등 다른 GPU 플랫폼에도 대응하고 있습니다.

PyTorch는 다양한 유형의 ^[21]텐서를 지원합니다.

여기서 "텐서"라는 용어는 수학이나 물리학에서와 같은 의미를 지니지 않습니다.이러한 영역에서 단어의 의미는 기계 학습의 단어와 접선적으로만 관련이 있습니다.수학에서, 텐서는 선형 대수학에서 특정한 종류의 물체인 반면, 물리학에서 "텐서"라는 용어는 보통 수학자들이 텐서 장이라고 부르는 것을 가리킨다.

모듈

Autograd 모듈

PyTorch는 자동 미분이라고 불리는 방법을 사용한다.레코더는 수행한 연산을 기록한 후 이를 뒤로 재생하여 구배를 계산합니다.이 방법은 특히 뉴럴 네트워크를 구축하여 포워드 패스에서 파라미터의 미분을 계산함으로써 한 에폭에서 시간을 절약하는 경우에 효과적입니다.

Optim모듈

torch.optim는 뉴럴 네트워크 구축에 사용되는 다양한 최적화 알고리즘을 구현하는 모듈입니다.일반적으로 사용되는 메서드는 대부분 이미 지원되므로 처음부터 구축할 필요가 없습니다.

nn모듈

PyTorch autograd는 계산 그래프를 쉽게 정의하고 구배를 취할 수 있지만 원시 autograd는 복잡한 신경망을 정의하기에는 너무 낮은 수준일 수 있습니다.여기서부터가nn모듈이 도움이 됩니다.그nnmodule은 네트워크의 레이어를 정의하는 것만으로 뉴럴네트워크를 쉽게 만들 수 있는 레이어와 툴을 제공합니다.

PyTorch는 또한 데이터 로딩 유틸리티 및 분산 교육 기능 등 다른 많은 유용한 하위 모듈을 포함하고 있습니다.

예

다음 프로그램은 라이브러리의 낮은 수준의 기능을 간단한 예시와 함께 보여줍니다.

수입품 횃불 d타입 = 횃불.흘러가다 장치 = 횃불.장치("cpu") # CPU의 모든 계산이 실행됩니다. # device = torch.device cuda:0") # GPU의 모든 계산이 실행됩니다.  # 텐서 생성 및 난수로 텐서를 채운다. a = 횃불.랜드(2, 3, 장치=장치, d타입=d타입) 인쇄물(a) # 텐서 A의 출력 # 출력: 텐서([-1.1884, 0.8498, -1.7129]), #                  [-0.8816,  0.1944,  0.5847]])  # 텐서 생성 및 난수로 텐서를 채운다. b = 횃불.랜드(2, 3, 장치=장치, d타입=d타입) 인쇄물(b) # 텐서 B의 출력 # 출력: 텐서([0.7178, -0.8453, -1.3403]), #                  [ 1.3262,  1.1512, -1.7070]])  인쇄물(a*b) # 2개의 텐서의 곱셈 출력 # 출력: 텐서([-0.8530, -0.7183, 2.58]), #                  [-1.1692,  0.2238, -0.9981]])  인쇄물(a.합()) # 텐서 A의 모든 원소의 합계 출력 # 출력: 텐서(-2.1540)  인쇄물(a[1,2]) # 두 번째 행의 세 번째 열에 있는 요소의 출력(0 기준) # 출력: 텐서(0.5847)  인쇄물(a.맥스.()) # 텐서 A의 최대값 출력 # 출력: 텐서(-1.7129) 

다음 코드 블록은 제공된 고급 기능의 예를 보여 줍니다.nn모듈.이 예에서는 선형 레이어를 가진 뉴럴 네트워크가 정의되어 있습니다.

수입품 횃불 부터 횃불 수입품 하지 않다 # PyTorch에서 nn 서브모듈 Import  학급 뉴럴 네트워크(하지 않다.모듈): # 뉴럴 네트워크는 클래스로 정의된다.     방어하다 __init__(자신): # 레이어 및 변수는 __init_ 메서드로 정의됩니다.         잘 하는 군요(뉴럴 네트워크, 자신).__init__() # 모든 네트워크에 있어야 합니다.         자신.평평하게 하다 = 하지 않다.평평하게 하다() # 평탄화 층의 정의.         자신.linear_relu_stack = 하지 않다.시퀀셜( # 레이어 스택의 정의.             하지 않다.선형(28*28, 512), # 입력 및 출력 모양을 가진 선형 레이어             하지 않다.리루(), # ReLU는 nn에서 제공하는 많은 활성화 기능 중 하나입니다.             하지 않다.선형(512, 512),             하지 않다.리루(),             하지 않다.선형(512, 10),          )      방어하다 앞으로(자신, x): # 이 함수는 포워드 패스를 정의합니다.         x = 자신.평평하게 하다(x)         로그인 = 자신.linear_relu_stack(x)         돌아가다 로그인 

「 」를 참조해 주세요.

• 딥 러닝 소프트웨어 비교
• 차별화 가능한 프로그래밍
• 딥 스피드
• 토치(기계학습)

레퍼런스

외부 링크

• 공식 웹사이트