LLaMA

LLaMA
LaMDA와 혼동하지 마십시오.
다른 용도는 라마(동음이의)를 참조하십시오.

LLaMA(Large Language Model Meta AI)는 메타 AI가 2023년 2월 출시한 대형 언어 모델(LLM)입니다.70억에서 650억 매개 변수에 이르는 다양한 모델 크기가 훈련되었습니다.LLaMA의 개발자들은 대부분의 NLP 벤치마크에서 130억 매개변수 모델의 성능이 훨씬 큰 GPT-3(1750억 매개변수 포함)의 성능을 능가했으며 가장 큰 모델은 PalLM 및 Chinchilla와 같은 [1]최신 모델과 경쟁 관계에 있다고 보고했습니다.가장 강력한 LLM은 일반적으로 제한된 API를 통해서만 액세스할 수 있었지만, Meta는 LLaMA의 모델 가중치를 비영리 라이선스로 [2]연구 커뮤니티에 공개했습니다.LLaMA가 출시된 지 일주일 만에 비트토렌트를 [3]통해 4chan에 무게가 유출되었습니다.

건축 및 훈련

"태양과 명왕성의 대화"

선: 안녕 플루토, 무슨 일이야?
플루토: 별로 없습니다.여기 태양계 가장자리에서 놀고 있습니다.
선: 네, 저는 그것에 대해 당신에게 말하려고 했습니다.당신은 더 이상 행성이 아닙니다.
플루토: 뭐라고요?이봐, 좀 봐줘.그건 불공평해요.
선: 미안하지만, 사실입니다.당신은 더 이상 기준을 충족하지 못합니다.
명왕성: 이건 황소야!저는 70년 넘게 행성이었습니다!
태양: 모든 것이 변합니다, 명왕성.당신은 그냥 그것을 받아들여야 합니다.
명왕성: 빌어먹을, 태양!너와 너의 멍청한 태양계!

– Output of 65 billion parameter LLaMA model after instruction tuning given the prompt "Write a conversation between the sun and pluto"[1]

LLaMA는 2018년부터 언어 모델링을 위한 표준 아키텍처인 변압기 아키텍처를 사용합니다. LLaMA의 개발자들은 매개 변수의 수보다 훈련 데이터의 양을 늘림으로써 모델의 성능을 확장하는 데 그들의 노력을 집중했습니다.LLM의 지배적인 비용은 훈련 과정의 계산 비용보다 훈련된 모델에 대한 추론을 수행하는 것에서 비롯된다는 추론.LLaMA는 다음을 [1]포함하여 공개적으로 사용 가능한 데이터 소스에서 추출한 1조 4천억 개의 토큰에 대해 교육을 받았습니다.

누출 및 누출

LLaMA는 모델의 교육, 아키텍처 및 성능을 설명하는 블로그 [1][2]게시물과 논문을 통해 2023년 2월 23일에 발표되었습니다.모델을 훈련하는 데 사용된 코드는 오픈 소스 GPL 3 [4]라이센스로 공개되었습니다.모델의 가중치에 대한 액세스는 "학술 연구자, 정부, 시민 사회 및 학계의 조직에 소속된 연구자, 전 [2]세계 산업 연구소에 사례별로" 부여되는 액세스와 함께 애플리케이션 프로세스에 의해 관리되었습니다.

2023년 [5]3월 2일, LLaMA의 가중치가 포함된 토렌트가 업로드되었으며, 토렌트 링크는 4chan 이미지 보드에 공유되었으며 이후 온라인 AI [3]커뮤니티를 통해 확산되었습니다.같은 날, 메인 LLaMA 저장소에 대한 끌어오기 요청이 열려 [6][7]공식 문서에 자석 링크를 추가하도록 요청했습니다.3월 4일,[8][6] 모델이 포함된 HuggingFace 저장소에 링크를 추가하기 위한 풀 요청이 열렸습니다.3월 6일, Meta는 모델의 "무단 배포"로 특징지어 풀 요청에 연결된 HuggingFace 저장소를 제거하기 위한 테이크다운 요청을 제출했습니다.Hugging Face는 [9]요청에 응했습니다.3월 20일 Meta는 미러에서 LLaMA를 다운로드한 스크립트가 포함된 저장소에 대해 저작권 침해에 대한 DMCA 테이크다운 요청을 제출했고 GitHub은 다음날 [10]이에 응했습니다.3월 25일 현재 페이스북은 마그넷 [7]링크가 포함된 풀 요청에 응답하지 않았습니다.

누출에 대한 반응은 다양했습니다.일부 사람들은 이 모델이 더 정교한 스팸과 같은 악의적인 목적으로 사용될 것이라고 추측했습니다.일부는 모델의 접근성뿐만 아니라 모델의 작은 버전을 비교적 저렴하게 실행할 수 있다는 사실을 축하하여 추가 연구 [3]개발의 번창을 촉진할 것이라고 제안했습니다.Simon Willison과 같은 여러 해설자는 LLaMA를 이전에 비교적 정교한 모델과 달리 공개적으로 배포된 텍스트-이미지 모델인 안정적 확산에 비교하여 관련 도구, 기술 및 [3][11]소프트웨어의 급속한 확산으로 이어졌습니다.

오픈 소스/복제

2023년 4월 17일, Together는 LLaMA 데이터 [12]세트의 오픈 소스 버전을 복제하고 배포하기 위해 RedPajama라는 프로젝트를 시작했습니다.데이터 세트에는 약 1조 2천억 개의 토큰이 있으며, 공개적으로 [13]다운로드할 수 있습니다.

적용들

스탠퍼드대 인간중심인공지능연구소(HAI) 기반모델연구센터(CRFM)는 "셀프 인스트럭션" 방식의 명령 튜닝을 사용하여 OpenAI GPT-3 OpenAI에 필적하는 기능을 획득하는 LLaMA 7B 모델 기반 훈련 레시피인 알파카를 출시했습니다.적당한 [14][15]가격의 5시리즈 텍스트-다빈치-003 모델.여러 오픈 소스 프로젝트가 알파카 데이터 [16]세트로 LLaMA를 미세 조정하는 작업을 계속하고 있습니다.

레퍼런스

  1. ^ a b c d Touvron, Hugo; Lavril, Thibaut; Izacard, Gautier; Martinet, Xavier; Lachaux, Marie-Anne; Lacroix, Timothée; Rozière, Baptiste; Goyal, Naman; Hambro, Eric; Azhar, Faisal; Rodriguez, Aurelien; Joulin, Armand; Grave, Edouard; Lample, Guillaume (2023). "LLaMA: Open and Efficient Foundation Language Models". arXiv:2302.13971 [cs.CL].
  2. ^ a b c "Introducing LLaMA: A foundational, 65-billion-parameter large language model". Meta AI. 24 February 2023.
  3. ^ a b c d Vincent, James (8 March 2023). "Meta's powerful AI language model has leaked online — what happens now?". The Verge.
  4. ^ "llama". GitHub. Retrieved 16 March 2023.
  5. ^ "/g/ - /aicg/ - AI Chatbot General - Technology - 4chan". 5 Mar 2023.
  6. ^ a b VK, Anirudh (6 March 2023). "Meta's LLaMA Leaked to the Public, Thanks To 4chan". Analytics India Magazine. Retrieved 17 March 2023.
  7. ^ a b "Save bandwidth by using a torrent to distribute more efficiently by ChristopherKing42 · Pull Request #73 · facebookresearch/llama". GitHub. Retrieved 25 March 2023.
  8. ^ "Download weights from huggingface to help us save bandwith by Jainam213 · Pull Request #109 · facebookresearch/llama". GitHub. Retrieved 17 March 2023.
  9. ^ Cox, Joseph (7 March 2023). "Facebook's Powerful Large Language Model Leaks Online". Vice. Retrieved 17 March 2023.
  10. ^ OpSec Online LLC (21 March 2023). "github/dmca - Notice of Claimed Infringement via Email". GitHub. Retrieved 25 March 2023.
  11. ^ Willison, Simon (11 March 2023). "Large language models are having their Stable Diffusion moment". Simon Willison's Weblog.
  12. ^ "RedPajama-Data: An Open Source Recipe to Reproduce LLaMA training dataset". GitHub. Together. Retrieved 4 May 2023.
  13. ^ "RedPajama-Data-1T". Hugging Face. Together. Retrieved 4 May 2023.
  14. ^ Taori, Rohan; Gulrajani, Ishaan; Zhang, Tianyi; Dubois, Yann; Li, Xuechen; Guestrin, Carlos; Liang, Percy; Hashimoto, Tatsunori B. (13 March 2023). "Alpaca: A Strong, Replicable Instruction-Following Model". Stanford Center for Research on Foundation Models.
  15. ^ Yizhong Wang; Yeganeh Kordi; Swaroop Mishra; Alisa Liu; Noah A. Smith; Daniel Khashabi; Hannaneh Hajishirzi (20 December 2022). "Self-Instruct: Aligning Language Model with Self Generated Instructions". arXiv. arXiv:2212.10560. ISSN 2331-8422. Wikidata Q117202254.
  16. ^ "alpaca-lora". GitHub. Retrieved 5 April 2023.