최적 제어 문제의 정의와 성능 측정의 선정 방법

본 글은 최적제어를 공부하며 Donald Kirk의 Optimal Control Theory 3rd ed. 책[1]을 정리하는 글입니다.

Ch.1 Introduction

1.1 Problem Formulation

"잘 설정한 문제는 반은 푼 문제다"라는 공리는 약간 과장되었을 순 있으나, 그래도 그 의도는 그럼에도 불구하고 적절하다.

 

The Performance Measure, 성능 측정

어떤 시스템의 성능을 정량적으로 평가하기 위해, 설계자는 성능 측정을 선택한다. 최적 제어는 성능 측정을 최소 혹은 최대화하는 것이다. 

 

The Optimal Control Problem

뒤에 나올 장에서 전개될 이론은 다음의 문제를 푸는 것에 목적을 둔다.

 성능 측정 $J$를 최소화 하는 admissible trajectory $x^*$를 시스템이 따르도록 하는 admissible control $u^*$을 찾는다.

$$\dot{x}(t) = a(x(t), u(t), t) $$

$$J = h(x(t_f) , t_f ) + \int_{t_0}^{t_f} g(x(t) , u(t) , t) dt$$

여기서 $u^*$는 optimal control, $x^*$는 optimal trajectory라고 부른다.

 

Form of the Optimal Control

Def.1-5, 시간 t에서의 최적 제어를 위한 다음의 함수적 관계를 찾을 수 있다면, 함수 $f$를 optimal control law, 혹은 optimal policy라고 부른다.

$$u^* (t) = f(x(t), t) $$

 

Ch.2 The Performance Measure

2.1 Performance Measures for Optimal Control Problems

최적 제어 문제는 성능 측정을 최소화하는 admissible trajectory를 시스템이 따르도록 하는 admissible control을 찾는다고 앞서 언급했다. 다음은 성능 측정의 선택을 위해 물리적 동기를 제공하는 일반적인 제어문제를 논의한다.

Minimum-Time Problems

 시스템을 임의의 초기 상태 $x_0$으로부터 최소시간 내에 특정 목표 집합 $\mathcal{S}$으로 옮기기 위한 문제로, 최소화하고자 하는 성능 지표는 다음과 같다.

$$J=t_f - t_0 = \int_{t_0}^{t_f} dt$$

$t_f$는 $x(t)$와 $mathcal{S}$가 교차하는 첫 순간의 시간이다.

 

Terminal Control Problems

원하는 값 $r(t_f)$에 대해 시스템의 최종 상태의 편차를 최소화하는 문제로, 가능한 성능 지표는 다음과 같다.

$$J = \sum_{i=1}^{n}\left[ x_i (t_f) - r_i (t_f) \right]^2 $$

2차식의 형태를 수학적으로 다루기 쉽게, 그리고 generality를 더 크게 하고자, 대칭이며 양의 준정정행렬인 가중 행렬 $H \in \mathbb{R}^{n\times n}$을 넣으면 다음과 같다.

$$J=\left[ x(t_f) - r(t_f) \right] ^T H \left[ x(t_f) - r(t_f) \right] $$

 

Minimum-Control-Effort Problems

 시스템을 임의의 초기 상태 $x_0$으로부터 최소시간 내에 특정 목표 집합 $\mathcal{S}$으로 옮기는데, 제어 효력의 사용을 최소화하는 문제이다.  minimum control effort 라는 용어의 의미는 특정 물리적 응용분야에 따라 다르다.

예를 들어, 행성 간 탐험을 위한 우주선의 엔진 추력을 $u(t)$라 정의하고 추력이 연료 소모량에 비례하여 이를 최소로 한다고하면, 그리고 엔진 별로 연료 소모량이 다르다면 음이 아닌 가중치 $\beta_i$를 적용하여 성능 측정을 다음과 같이 정의할 수 있다. (1차식)

$$J=\int_{t_0}^{t_f} \sum_{i=1}^{m} \beta_i | u_i (t) | dt$$

혹은 전력 망 상의 에너지 변동량을 제어하기 위한 입력을 제어한다 하면 2차식으로 정의할 수 있다.

$$J=\int_{t_0}^{t_f} u^T (t) R u(t) dt = \int_{t_0}^{t_f} ||u(t)||_{R}^2 dt$$

$R$은 대칭인 양의 정정 가중행렬이다.

 

Tracking Problems

 시간 $[ t_0 , t_f]$ 동안 시스템의 상태 $x(t)$를 원하는 상태 $r(t)$에 가능한 가까이 유지하는 문제로, 성능 측정을 다음과 같이 선택할 수 있다. $Q$는 실수이자 대칭이며, 양의 준정정행렬이다.

$$J=\int_{t_0}^{t_f} ||x(t) -r(t) || _{Q(t)}^2 dt$$

만약 admissible control 집합이 유계라면 위 성능 측정은 합리적인 성능 측정이다. 그러나 제어력이 유계하지 않다면, 위 식을 최소화하는 방법은 제어력을 임펄스와 이의 미분량으로 제어하게 될 것이다. admissible control에 경계를 두는 것을 피하고자, 혹은 제어 에너지가 보존되는 것이라면, 다음과 같이 수정할 수 있다. $R$은 실수, 대칭, 양의 정정행렬이다.

$$J=\int_{t_0}^{t_f} \left[ ||x(t) - r(t)||_{Q(t)}^2 + ||u(t) || _{R(t)}^2 \right] dt $$

상태들이 종말 시간에 원하는 값에 가까운 것이 특히 중요할 수도 있다. 이 경우의 성능 측정은 다음과 같다. $H$는 실수, 대칭, 양의 준정정행렬이다.

$$J= ||x(t_f) - r(t_f) ||_H^2+ \int_{t_0}^{t_f} \left[ ||x(t) - r(t)||_{Q(t)}^2 + ||u(t) || _{R(t)}^2 \right] dt $$

 

Regulator Problems

정류 문제는 추종 문제의 특별한 경우로, 원하는 상태 값이 0, $r(t)=0, t^{\forall} \in [t_0 , t_f]$ 이다.

 

2.2 Selecting a Performance Measure

성능 측정을 선택하는 것에서, 설계자는 수학적 표현을 정의해야 하며, 수학적 표현이 최소화 되어있으면서도 시스템이 가장 원하는 방식으로 구동하도록 나타내도록 정의해야한다. 또한 성능 지표를 선택한다는 것은 시스템의 물리적 요구사항을 수학적인 용어로의 변환이다.

 

Outro

한번 성능 지표를 선정했다면, 다음 할 일은 이 지표를 최소화하는 제어 함수를 결정하는 것이다. 최소화를 달성하는 두 가지 방법은 minimum principle of Pontryagin 과 Bellman이 개발한 Dynamic Programming 기법이다. 5장의 Pontryagin의 변분법적 접근법은 비선형의 두 점의 경계값 문제를 유도하고 6장에서 푼다. 3장은 함수 방정식을 유도하고 디지털 컴퓨터 사용을 위한 해법에 적합하다.

 

끝.

 

[1] Kirk, D. E., Optimal Control Theory - An Introduction, Dover Pulications, Mineola, New York