인간 피드백을 통한 강화 학습

기계 학습에서,인간 피드백으로부터의 강화 학습(RLHF) 또는 인간 선호로부터의 강화 학습은 인간 피드백으로부터 직접 "보상 모델"을 훈련시키고, 이 모델을 보상 함수로 사용하여 근위 정책 최적화와 같은 최적화 알고리즘을 통해 강화 학습(RL)을 사용하여 에이전트의 정책을 최적화하는 기술이다.[1][1][2]보상 모델은 주어진 출력이 좋은지(높은 보상) 나쁜지(낮은 보상)를 예측하기 위해 정책이 최적화되기 전에 미리 훈련됩니다.RLHF는 특히 보상 함수가 희박하거나 ^[3]노이즈가 많을 때 RL 에이전트의 견고성과 탐색을 향상시킬 수 있습니다.

인간의 피드백은 인간에게 에이전트의 ^[4][5][6]행동 사례의 순위를 매길 것을 요청함으로써 수집됩니다.그런 다음 이러한 순위를 사용하여 ^[2]엘로레이팅 시스템과 같은 출력을 점수화할 수 있습니다.

RLHF는 대화 에이전트, 텍스트 요약 및 자연어 ^[7]이해와 같은 다양한 자연어 처리 영역에 적용되었습니다.에이전트가 "보상 기능"을 기반으로 자신의 행동에서 배우는 일반적인 강화 학습은 특히 인간의 가치나 선호도가 포함된 복잡한 작업을 다룰 때 보상을 정의하거나 측정하기가 쉽지 않기 때문에 자연어 처리 작업에 적용하기 어렵습니다.RLHF는 언어 모델이 이러한 복잡한 값에 맞는 답변을 제공하고, 더 장황한 답변을 생성하며,^[8] 모델의 지식 공간에서 부적절하거나 외부에 있는 질문을 거부할 수 있도록 합니다.RLHF 훈련 언어 모델의 일부 예로는 OpenAI의 ChatGPT와 이전 InstructGPT,^[5][9] DeepMind의 ^[10]Sparrow 등이 있습니다. ChatGPT ChatGPT ChatGPT

RLHF는 또한 비디오 게임 봇의 개발과 같은 다른 분야에도 적용되었습니다.예를 들어, OpenAI와 딥마인드는 에이전트들이 인간의 ^[11][12]선호도에 따라 아타리 게임을 하도록 훈련시켰습니다.에이전트는 테스트된 많은 환경에서 우수한 성능을 달성했으며, 종종 인간의 ^[13]성능을 능가했습니다.

당면 과제 및 제한 사항

RLHF의 주요 과제 중 하나는 인간 피드백의 확장성과 비용이며, 이는 비지도 학습에 비해 느리고 비용이 많이 들 수 있습니다.인간 피드백의 품질과 일관성은 작업, 인터페이스 및 인간의 개별 선호도에 따라 달라질 수 있습니다.인간 피드백이 실현 가능한 경우에도, RLHF 모델은 여전히 인간 피드백에 의해 포착되지 않는 바람직하지 않은 행동을 보이거나 보상 모델의 허점을 이용할 수 있으며, 이는 정렬과 ^[14]견고성의 문제를 밝혀줍니다.

참고 항목

• 강화학습
• ChatGPT

레퍼런스