[강화학습] PPO에 대한 기본 컨셉

강화학습에는 여러 가지 학습 전략이 있습니다. 기본적인 학습 방법을 구분해보면 가치기반 학습 방법과 정책기반 학습으로 나눌 수 있습니다. 오늘은 정책기반 학습 방법 중 한가지 방법에 해당하는 PPO(Proximal Policy Optimization)에 대해서 알아보도록 하겠습니다. 

강화 학습(Reinforcement Learning, RL)은 AI가 스스로 학습하면서 점점 더 똑똑해지는 방법이에요. 그런데, AI가 학습하는 과정에서 너무 급격한 변화를 하면 문제가 생길 수 있어요. PPO(Proximal Policy Optimization)는 AI가 학습할 때 “조금씩, 안전하게” 학습 정도를 발전할 수 있도록 도와주는 특별한 방법이에요!

쉽게 예를 들어볼게요!

농구 연습하는 로봇이 있어요!

로봇이 농구공을 던지는 연습을 한다고 생각해봐요.

처음에는 엉뚱한 곳으로 공을 던질 수도 있겠죠?

로봇이 슛을 성공하면 칭찬(보상)을 받고,

실패하면 보상을 못 받아요.

이렇게 로봇은 보상을 많이 받기 위해 더 좋은 슛 방법을 찾아가며 학습해요.

하지만,

• 로봇이 갑자기 너무 큰 변화를 시도하면, 공이 완전히 엉뚱한 곳으로 날아갈 수도 있어요!

• 반대로, 너무 작은 변화만 하면 학습 속도가 느려지고 비효율적일 수 있어요.

그래서 PPO는 적당한 범위 안에서 조금씩 조정하면서, 안정적으로 실력을 향상시키도록 도와줘요!

PPO가 하는 일 : 강화학습에서 중요한 컨셉입니다.

✅ 너무 급격한 변화는 막고, 조금씩 안정적으로 학습

✅ 좋은 결과(보상)를 받는 방향으로 조정

✅ AI가 더 효율적으로 똑똑해지도록 도움

PPO는 도대체 어디에 사용될 수 있을까요? 이미 이론에만 그치지 않고 실생활에 활용할 수 있는 수준으로 개발되어 아래와 같은 부분에 사용되고 있습니다.

🤖 AI 챗봇 훈련 (예: DeepSeek, GPT-4, Claude 등)

→ 더 좋은 답변을 하도록 AI를 훈련하는 데 사용돼요.

🎮 게임 AI 훈련

→ AI가 스스로 게임을 잘하게 학습할 때 사용돼요.

🚗 자율주행 자동차

→ 자동차가 안전하게 운전하는 방법을 배우는 데 사용돼요.

PPO 덕분에 AI는 더 똑똑하면서도 안전하게 학습할 수 있어요!

딥시크(Deep Seek)의 훈련 방법

DeepSeek에서 사용하는 주요 훈련 방법 4가지는 다음과 같습니다.

DeepSeek 훈련 방법 정리

훈련방법	설명	목표
Pre-training	대량의 텍스트 데이터로 초기 학습	기본적인 언어 능력 학습
SFT	사람이 직접 만든 데이터로 학습	더 정확하고 자연스러운 답변 생성
RLHF	사람의 피드백을 활용한 강화학습	유용하고 논리적인 답변 생성
RORL	AI가 부적절한 요청을 거절하도록 학습	안전하고 윤리적인 AI 구현

이 4가지 방법을 조합하여 DeepSeek은 더 똑똑하고 안전한 AI 모델을 만들고 있습니다.

1. 사전 훈련 (Pre-training)

➡️ AI의 기초 지능을 만드는 과정

• 인터넷에서 수집한 방대한 텍스트 데이터(책, 논문, 웹사이트 등)를 활용하여 모델을 처음부터 학습

• 언어 패턴, 문법, 의미 구조 등을 이해하도록 훈련

• 이 단계에서는 지도 학습 없이, 대량의 데이터에서 확률적으로 언어 패턴을 학습

✅ 결과: AI가 기본적인 언어 능력을 갖춤

https://daffodil2024.blogspot.com/2025/02/cold-start.html

2. 지도학습 미세조정 (SFT, Supervised Fine-Tuning)

➡️ AI의 답변을 더 정확하고 유용하게 만드는 과정

• 사람이 직접 고품질의 질문-답변 데이터를 만들어 AI를 학습시킴

• AI가 엉뚱한 답변을 하거나 비논리적인 문장을 만들지 않도록 교정

• DeepSeek의 SFT는 다국어 및 전문 지식 데이터를 활용하여 학습

✅ 결과: AI가 더 정확하고 자연스러운 답변을 생성

https://daffodil2024.blogspot.com/2025/02/sft.html

3. 인간 피드백 기반 강화 학습 (RLHF, Reinforcement Learning from Human Feedback)

➡️ 사람의 평가를 반영하여 AI의 답변을 더 개선하는 과정

• AI가 생성한 답변을 사람(레이블러)이 평가

• 좋은 답변 👍과 나쁜 답변 👎을 비교하여 보상 모델(Reward Model, RM)을 학습

• AI가 더 높은 점수를 받을 수 있는 답변을 생성하도록 최적화

• PPO(Proximal Policy Optimization) 같은 강화 학습 기법 사용

✅ 결과: AI가 더 자연스럽고 유용한 답변을 생성

https://daffodil2024.blogspot.com/2025/02/what-is-rlhf.html

4. 거절 지향 강화 학습 (RORL, Rejection-Oriented Reinforcement Learning)

➡️ AI가 부적절한 요청을 거절하도록 학습하는 과정

• AI가 잘못된 정보, 위험한 질문(예: 범죄, 혐오 발언 등)에 대해 명확하게 거절하도록 훈련

• 거절하는 행동도 보상 모델에서 긍정적인 학습 결과로 반영

• OpenAI, DeepSeek 등 최신 AI 연구에서 안전성 강화를 위해 사용

✅ 결과: AI가 더 윤리적이고 안전한 답변을 제공

https://daffodil2024.blogspot.com/2025/02/rorl.html