강화학습의 주요 용어
강화학습은 에이전트가 환경과 상호작용하면서 보상을 최대화하는 행동을 학습하는 과정입니다. 이 과정에서 사용되는 주요 용어는 다음과 같습니다.
1. 에이전트 (Agent)
에이전트는 환경과 상호작용하며, 주어진 목표를 달성하기 위해 행동을 선택하고, 이를 통해 보상을 얻는 주체입니다.
2. 환경 (Environment)
환경은 에이전트가 상호작용하는 시스템으로, 에이전트의 행동에 따라 상태가 변하고 보상이 주어집니다. 예를 들어, 게임의 화면이나 로봇이 움직이는 실제 환경 등이 될 수 있습니다.
3. 상태 (State, s)
상태는 에이전트가 처한 환경의 특정 시점을 나타내는 정보입니다. 에이전트가 어떤 행동을 취할지 결정하기 위해 참고하는 데이터입니다. 예: 체스 게임에서의 보드 상태, 로봇의 위치 등.
4. 행동 (Action, a)
행동은 에이전트가 주어진 상태에서 취할 수 있는 결정입니다. 에이전트가 선택할 수 있는 행동의 집합을 행동 공간 (Action Space)이라고 부릅니다.
5. 보상 (Reward, r)
보상은 에이전트가 특정 상태에서 행동을 취했을 때, 그 행동에 대해 환경으로부터 받는 피드백입니다. 보상은 에이전트가 목표에 얼마나 가까워졌는지를 나타내며, 양의 보상은 긍정적 결과, 음의 보상은 부정적 결과를 의미합니다.
6. 정책 (Policy, π)
정책은 주어진 상태에서 어떤 행동을 선택할지 결정하는 함수나 규칙입니다. 정책은 결정론적일 수도, 확률적일 수도 있습니다. 에이전트는 최적의 정책을 학습하려고 합니다.
7. 가치 함수 (Value Function, V)
가치 함수는 특정 상태에서 에이전트가 얻을 수 있는 총 보상의 기대값을 나타냅니다. 이 함수는 에이전트가 특정 상태에 있을 때 장기적으로 얻을 보상을 예측하는 데 사용됩니다.
8. 행동 가치 함수 (Action-Value Function, Q)
행동 가치 함수는 특정 상태에서 특정 행동을 선택했을 때 얻을 수 있는 총 보상의 기대값을 나타냅니다. 이 함수는 상태와 행동 쌍에 대한 장기적 보상을 예측합니다.
9. 할인율 (Discount Factor, γ)
할인율은 미래의 보상에 대한 중요도를 결정하는 파라미터로, 0과 1 사이의 값을 가집니다. γ가 1에 가까우면 미래 보상도 중요하게 여기고, 0에 가까우면 현재 보상만 중요하게 됩니다.
10. 벨만 방정식 (Bellman Equation)
벨만 방정식은 최적의 정책을 찾기 위한 수학적 공식입니다. 이 방정식은 가치 함수나 행동 가치 함수가 다음 상태의 가치와 보상을 반영하는 방식으로 계산됩니다.
11. 탐험 (Exploration)
탐험은 에이전트가 새로운 행동을 시도하는 과정입니다. 이는 아직 경험하지 못한 행동을 선택하여 학습의 범위를 확장하는 데 필요합니다.
12. 활용 (Exploitation)
활용은 이미 학습한 정보를 바탕으로 최적의 행동을 선택하는 과정입니다. 이는 에이전트가 이미 알고 있는 정보를 최대한 활용하여 보상을 얻는 방법입니다.
13. 에피소드 (Episode)
에피소드는 에이전트가 환경과 상호작용을 시작하여 종료되는 하나의 실행 과정입니다. 에피소드는 보통 시작 상태에서 목표 상태에 도달하거나 종료 조건이 만족될 때까지 진행됩니다.
14. Q-learning
Q-learning은 대표적인 강화학습 알고리즘으로, 에이전트는 Q값(행동 가치 함수)을 업데이트하며 최적의 정책을 학습합니다. 이는 모델 프리 방식으로, 환경 모델을 알지 못해도 학습이 가능합니다.
15. 보상할당 (Reward Shaping)
보상할당은 에이전트의 학습 효율을 높이기 위해 보상의 형식을 조정하는 방법입니다. 이는 보상의 분포를 수정하여 에이전트가 더 쉽게 학습할 수 있도록 도와줍니다.
결론
강화학습은 이러한 용어들이 상호작용하면서, 에이전트가 환경에서 최적의 행동을 학습하고 보상을 최대화하는 것을 목표로 합니다. 강화학습을 통해 에이전트는 점차적으로 주어진 환경에서 최적의 정책을 학습하게 됩니다.