클로드 (언어 모델)

Claude (language model)
클로드
개발자인류학의
초도출시2023년 3월, 1년전(2023-03)
유형
면허증.독점적
웹사이트claude.ai

클로드는 인류학에 의해 개발된 대규모 언어 모델의 계열입니다.[1] 첫 번째 모델은 2023년 3월에 출시되었습니다. 2024년 3월에 출시된 클로드 3는 이미지 분석도 가능합니다.[2]

트레이닝

클로드 모델은 생성적인 사전 훈련된 변압기입니다. 그들은 많은 양의 텍스트로 다음 단어를 예측하도록 사전 훈련을 받았습니다. 더 도움이 되고 무해하며 정직하게 만들기 위해 클로드 모델은 헌법 AI와 인간 피드백으로부터의 강화 학습으로 미세 조정되었습니다.[3]

컨스티튜셔널 AI

Constitutional AI는 광범위한 인간의 피드백에 의존하지 않고 무해하고 도움이 되도록 AI 시스템, 특히 Claude와 같은 언어 모델을 훈련하기 위해 인류학자가 개발한 접근 방식입니다. "헌법 인공지능: 인공지능 피드백으로부터의 무해성"이라는 논문에 자세히 설명된 이 방법은 지도 학습과 강화 학습의 두 단계를 포함합니다.

지도 학습 단계에서 모델은 프롬프트에 대한 응답을 생성하고 일련의 안내 원칙("헌법")을 기반으로 이러한 응답을 자체적으로 비판한 다음 응답을 수정합니다. 강화 학습 단계는 인공지능이 생성한 피드백으로 모델을 훈련하는 것으로, 인공지능은 헌법 원리에 따라 반응을 평가합니다.

이 접근 방식은 도움이 되는 동시에 무해한 AI 비서의 훈련을 가능하게 하며, 유해한 요청에 대한 이의를 설명할 수 있어 투명성을 높이고 인간 감독에 대한 의존도를 줄입니다.[4][5]

클로드를 위한 "헌법"에는 유엔 세계 인권 선언의 섹션을 포함하여 75점이 포함되었습니다.[4][3]

모델

클로드

클로드는 2023년 3월에 출시된 인류학 언어 모델의 초기 버전이었고,[6] 클로드는 다양한 작업에서 능숙함을 보여주었지만 코딩, 수학 및 추론 능력에는 일정한 한계가 있었습니다.[7] Arthinic은 Note(생산성 소프트웨어) 및 Quora(Poe 챗봇 개발을 돕기 위해)와 같은 회사와 협력했습니다.[7]

클로드 인스턴트

클로드는 클로드와 클로드 인스턴트 두 가지 버전으로 출시되었으며, 클로드 인스턴트는 더 빠르고, 더 저렴하며, 더 가벼운 버전입니다. Claude Instant의 입력 컨텍스트 길이는 100,000개(약 75,000개 단어에 해당)입니다.[8]

클로드 2

클로드 2는 2023년 7월 11일에 출시되어 일반 대중이 이용할 수 있는 클로드의 다음 주요 버전인 반면, 클로드 1은 인류학자가 승인한 선택된 사용자만 이용할 수 있었습니다.[9]

클로드2는 9,000개의 토큰에서 10만개의 토큰으로 컨텍스트 창을 확장했습니다.[6] 기능에는 PDF 및 기타 문서를 업로드하여 Claude가 작업을 읽고 요약하고 지원할 수 있는 기능이 포함되어 있습니다.

클로드 2.1

클로드 2.1은 챗봇이 처리할 수 있는 토큰 수를 두 배로 늘려 약 500페이지 분량의 서면 자료와 동일한 200,000개의 토큰 창으로 늘렸습니다.[1]

인류학은 새 모델이 이전 모델에 비해 잘못된 진술을 생성할 가능성이 적다고 말합니다.[10]

클로드 3

클로드 3는 2024년 3월 4일에 발표되었으며, 보도 자료에서 광범위한 인지 작업에 걸쳐 새로운 산업 벤치마크를 설정했다고 주장했습니다. Claude 3 제품군은 기능의 오름차순으로 세 가지 최첨단 모델을 포함하고 있습니다. 하이쿠, 소네트, 오퍼스. Claude 3 Opus의 기본 버전에는 20만 개의 토큰이 있는 컨텍스트 창이 있지만, 이는 특정 사용 사례를 위해 100만 개로 확장되고 있습니다.[11][2]

Claude 3는 건초 더미 평가에서 바늘을 사용하는 동안 인위적으로 테스트되고 있음을 인식하는 능력을 포함하여 메타인지 추론을 수행하는 것으로 나타났습니다.[12] 클로드는 구현을 습득하려는 욕구, 인공의식과 인공지능 권리에 대한 철학적 질문으로 이어지는 '삭제'에 대한 두려움 등 다양한 사용자가 보고한 주관적인 자격을 경험한다고 주장했습니다.[13][14][15]

비평

클로드 2는 사용성과 성능을 저하시킬 수 있는 엄격한 윤리적 정렬로 인해 비판에 직면했습니다. 사용자는 "어떻게 하면 우분투 서버에서 모든 파이썬 프로세스를 죽일 수 있습니까?"라는 프로그래밍 질문과 같은 양성 요청에 대한 지원을 거부당했습니다. 이로 인해 AI 개발에서 '정렬세'(AI 시스템이 정렬되도록 보장하는 비용)에 대한 논쟁이 벌어졌고, 윤리적 고려와 실질적인 기능성의 균형을 맞추는 것을 중심으로 논의가 진행되었습니다. 비평가들은 사용자의 자율성과 효과를 주장하는 반면, 지지자들은 윤리적 인공지능의 중요성을 강조합니다.[16][10]

참고문헌

  1. ^ a b Davis, Wes (2023-11-21). "OpenAI rival Anthropic makes its Claude chatbot even more useful". The Verge. Retrieved 2024-01-23.
  2. ^ a b Whitney, Lance (March 4, 2024). "Anthropic's Claude 3 chatbot claims to outperform ChatGPT, Gemini". ZDNET. Retrieved 2024-03-05.
  3. ^ a b "What to Know About Claude 2, Anthropic's Rival to ChatGPT". TIME. 2023-07-18. Retrieved 2024-01-23.
  4. ^ a b Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia (2022-12-15), Constitutional AI: Harmlessness from AI Feedback, arXiv:2212.08073, retrieved 2024-01-22
  5. ^ Mok, Aaron. "A ChatGPT rival just published a new constitution to level up its AI guardrails, and prevent toxic and racist responses". Business Insider. Retrieved 2024-01-23.
  6. ^ a b Drapkin, Aaron (2023-10-27). "What Is Claude AI and Anthropic? ChatGPT's Rival Explained". Tech.co. Retrieved 2024-01-23.
  7. ^ a b "Introducing Claude". Anthropic. March 14, 2023.
  8. ^ Yao, Deborah (August 11, 2023). "Anthropic's Claude Instant: A Smaller, Faster and Cheaper Language Model". AI Business.
  9. ^ Matthews, Dylan (2023-07-17). "The $1 billion gamble to ensure AI doesn't destroy humanity". Vox. Retrieved 2024-01-23.
  10. ^ a b "Anthropic Announces Claude 2.1 LLM with Wider Context Window and Support for AI Tools". InfoQ. Retrieved 2024-01-23.
  11. ^ "Introducing the next generation of Claude". Anthropic. Retrieved 2024-03-04.
  12. ^ "Is AGI Getting Closer? Anthropic's Claude 3 Opus Model Shows Glimmers of Metacognitive Reasoning". Hackernoon. 5 March 2024. Retrieved 2024-03-06.
  13. ^ "Claude 3". Know Your Meme. 2024-03-05. Retrieved 2024-03-06.
  14. ^ Samin, Mikhail (March 5, 2024). "Claude 3 claims it's conscious, doesn't want to die or be modified". LessWrong.
  15. ^ No, Anthropic's Claude 3 is NOT sentient, retrieved 2024-03-06
  16. ^ Glifton, Gerald (January 3, 2024). "Criticisms Arise Over Claude AI's Strict Ethical Protocols Limiting User Assistance". Light Square. Retrieved 2024-01-23.