[강화학습] 벨만방정식

강화학습에서 벨만 방정식

벨만 방정식은 에이전트가 최적의 정책을 찾을 수 있도록 도와주는 중요한 수학적 도구입니다. 벨만 방정식은 에이전트가 주어진 상태에서 최적의 행동을 선택할 수 있도록 하는 방정식입니다.

강화학습에서는 에이전트가 특정 상태에서 시작하여 행동을 취하고 보상을 받습니다. 목표는 에이전트가 주어진 환경에서 최대 보상을 얻을 수 있도록 하는 정책을 학습하는 것입니다.

1. 강화학습의 기본 개념

강화학습에서 중요한 개념은 다음과 같습니다:

• 상태 (State, s): 현재 환경의 상황을 나타냅니다.
• 행동 (Action, a): 에이전트가 선택할 수 있는 행동입니다.
• 보상 (Reward, r): 행동 후 에이전트가 받는 값입니다.
• 정책 (Policy, π): 상태에서 어떤 행동을 취할지 결정하는 규칙입니다.

2. 벨만 방정식의 역할

벨만 방정식은 상태에서의 가치를 구하는 방법을 제공합니다. 즉, 어떤 상태에서 시작하여 최적의 행동을 취했을 때, 그 상태에서 얻을 수 있는 예상 보상의 총합을 구하는 방법을 알려줍니다.

3. 벨만 방정식의 수학적 표현

벨만 방정식은 크게 두 가지 형태로 나뉩니다:

(1) 상태 가치 함수 (상태에서의 가치)

상태 가치 함수 \( V(s) \)는 주어진 상태 \( s \)에서 시작하여 최적의 정책을 따를 때 얻을 수 있는 총 보상의 기대값입니다.

\[ V(s) = \mathbb {E}_{a \sim \pi} \left[ R(s, a) + \gamma \sum_{s'} P(s'|s,a) V(s') \right] \]

여기서:

• R(s, a): 상태 \( s \)에서 행동 \( a \)를 취했을 때 받는 보상입니다.
• γ: 할인 인자 (discount factor)로, 미래 보상의 가치를 현재 보상보다 덜 중요하게 만듭니다.
• P(s'|s,a): 상태 \( s \)에서 행동 \( a \)를 취했을 때 다음 상태 \( s' \)로 전이될 확률입니다.
• V(s'): 다음 상태 \( s' \)에서의 가치입니다.

(2) 행동 가치 함수 (행동에서의 가치)

행동 가치 함수 \( Q(s, a) \)는 상태 \( s \)에서 행동 \( a \)를 취할 때 얻을 수 있는 총 보상의 기대값을 나타냅니다.

\[ Q(s, a) = \mathbb{E}_{s' \sim P} \left[ R(s, a) + \gamma \sum_{a'} \pi(a'|s') Q(s', a') \right] \]

여기서:

• R(s, a): 상태 \( s \)에서 행동 \( a \)를 취했을 때 받는 보상입니다.
• γ: 할인 인자입니다.
• π(a'|s'): 상태 \( s' \)에서 행동 \( a' \)를 취할 확률입니다.
• Q(s', a'): 다음 상태 \( s' \)에서 행동 \( a' \)를 취할 때의 가치입니다.

4. 벨만 방정식의 직관적 이해

벨만 방정식은 "현재 상태에서 취한 행동으로 얻은 보상 + 미래 상태에서 취할 최적의 행동으로 얻을 보상의 기대값"이 현재 상태의 가치가 된다는 원리를 기반으로 합니다.

5. 벨만 방정식의 활용

강화학습에서 벨만 방정식은 최적의 정책을 찾는 데 매우 중요합니다. 최적의 정책은 각 상태에서 가장 높은 보상을 받을 수 있는 행동을 선택하는 규칙입니다.

벨만 방정식을 사용하여 최적의 정책을 계산할 수 있으며, 값 반복(Value Iteration) 또는 정책 반복(Policy Iteration)과 같은 알고리즘에서 벨만 방정식을 사용하여 최적의 정책을 찾습니다.

6. 요약

벨만 방정식은 주어진 상태에서 최적의 행동을 선택하는 데 필요한 정보를 제공하는 수학적 도구입니다. 이 방정식은 상태 가치 함수 또는 행동 가치 함수로 계산됩니다.

벨만 방정식은 현재 상태에서 얻을 보상과 미래 상태에서 얻을 보상을 결합하여 최적의 정책을 찾는 데 사용됩니다. 강화학습에서는 벨만 방정식을 통해 최적의 정책을 학습하고, 에이전트가 주어진 환경에서 가장 높은 보상을 받을 수 있는 방법을 찾아냅니다.