모델 참조 적응 제어 소개

본 글은 모델 참조 적응 제어와 관련한 기법에 대해서 소개한다.

 계획은 구배 기반/안정도 기반 MRAC의 소개, 강건성을 부여하기 위한 여러가지 시도들, 최신(?)의 기법인 L1 적응 제어 기법을 연재하고자 한다.

 

한 줄 요약

모델 참조 적응 제어(MRAC, Model-Reference Adaptive Control)에 대해 소개한다.

 

목차 

• 소개 - 모델 참조 적응 제어 기법이란?
• 구배 기반 모델 참조 적응 제어 (Gradient-based MRAC)
  • MIT 법칙 (MIT Rule)
  • 정규화 MIT 법칙 (Normalized MIT Rule)
• 리야프노프 안정성 이론 기반 모델 참조 적응 제어 (Lyapunov Stability based MRAC)

 

소개 - 모델 참조 적응 제어 기법이란?

 

모델-참조 적응 제어 시스템의 구조

모델 참조 적응 제어 (MRAS, Model-Reference Adaptive Control)란 적응 제어 기법 중 하나이다.

 명령 신호에 대해 설계자가 원하는 응답을 가지는 "기준 모델(Reference Model)"을 통해서 제어 시스템의 요구 성능을 정의하며, 기준 모델의 거동을 따라하도록 제어 변수를 조정하는 적응 서보 시스템이다.

 MRAC의 구조는 내부 루프로 기존의 피드백 루프, 외부 루프로 제어 변수 조정 루프로 구성된다.

 MRAC의 적응 매커니즘은 두 가지 분류로 나뉜다. 첫번째는 Gradient method인 MIT 법칙, 두 번째는 안정도 이론인 리야프노프 이론(Lyapunov Theory)를 적용하는 방법이다.

 

구배 기반 모델 참조 적응 제어 (Gradient-based MRAC)

MIT 법칙 (MIT Rule)

 MIT 법칙은 MRAC의 초기 접근 방법으로, 그 이름은 MIT의 Draper 연구실에서 위 방법을 개발했다는 것에서 유래한다. MIT 법칙을 기술하기 위해 제어기에 적응 변수 $\theta$를 가지는 폐루프 시스템을 상정해보자. 폐루프 시스템의 응답이 $y = G_L(s) u_c$, 원하는 폐루프 시스템의 응답 $y_m = G_m (s) u_c$이라 할 때, 그 차이를 적응 오차 $\varepsilon :=y_m-y$라 하자. 적응 변수 $\theta$를 조정하는 방법으로 손실 함수 $J$를 최소화하는 방향을 생각해 볼 수 있다.

$$J(\theta) = \frac{1}{2} \varepsilon^2 \hspace{10mm} \cdots (1)$$

 손실 함수를 최소화하려면 적응 변수 $\theta$에 대한 손실 함수의 기울기 $\partial J/\partial \theta$가 음의 방향으로 흐르도록 적응 변수를 조정하는게 합리적이다. $\gamma$는 적응 이득이다.

$$\frac{d\theta}{dt} = -\gamma \frac{\partial J}{\partial \theta} = \gamma \varepsilon \frac{\partial \varepsilon}{\partial \theta} \hspace{10mm} \cdots (2)$$

 여기서 MIT 법칙의 적응 법칙 (식 2)을 분석해보면 적응 변수의 변화율이 명령 신호 크기 제곱에 비례하기 때문에, 명령 신호에 민감한 것을 알 수 있다.

$$\frac{d\theta}{dt} = -\gamma \frac{\partial \varepsilon}{\partial \theta} \varepsilon = -\frac{1}{2}\gamma \frac{\partial \left[G_m (s) -G_L (s) \right]^2}{\partial \theta} {\color{red} {(u_c)^2}} $$

적응 변수가 벡터라면 $({\bf{\theta}} \in \mathbb{R}^n )$ 식은 다음과 같다.

$$\frac{d{\bf{\theta}}}{dt} = \gamma \left(-\frac{\partial\varepsilon}{\partial {\bf{\theta}}}\right)\varepsilon \hspace{10mm} \cdots (3)$$

정규화 MIT 법칙 (Normalized MIT Rule)

 MIT 법칙에서 적응 변수의 변화율 $d\theta/dt$이 명령 신호의 크기 제곱에 비례하기 때문에 이를 정규화하여 적응 법칙을 설계할 필요가 있다. 적응 법칙의 식은 다음과 같다.

$$\frac{d\theta}{dt} = \gamma\frac{\varphi}{\mu + \varphi^T \varphi} \varepsilon \hspace{10mm} \cdots (4)$$

 여기서 $\varphi=-\partial \varepsilon /\partial \theta $로 민감 도함수 (Sensitivity Derivative)라고 하며, $\mu>0$는 0으로 나누는 것을 방지하는 매개변수이다.

 

 PID 제어기의 제어 이득을 적응 변수로 하는 MRAC의 구조를 살펴보면 다음과 같다.

PID 제어기를 내부루프로 사용하는 MRAC의 구조

 경사하강법의 구조 상, 비례 상수인 적응 이득 $\gamma$를 크게 하면 좋지 않을까? 하는 생각을 할 수 있다. 적응 이득을 바꿔가며 한 연구를 정리해보면, 적응 이득이 크면 적응을 빠르게 할 수 있으나 그에 반해 급격히 발산하여 시스템의 불안정성을 야기할 수 있다. 그렇다고 작은 적응 이득을 사용하면 적응에 오랜 시간이 걸리게된다. 이를 개선하기 위한 방법은 여러가지가 있다.

 첫 번째는 구배 기법에 수치 최적화 기법을 적용하는 것으로, 가우스-뉴턴 방법(Gauss-Newton method), 레벤버그-마쿼트 방법(Levenberg-Marquardt method) 등의 방법을 적용해 볼 수 있다.

 두 번째는 Deadzone modification, $\epsilon$ modification 등 적응 제어 식에 변형을 주어 강건성을 부여하는 것이다.

 세 번째는 Lyapunov 안정도 이론에 기반한 MRAC이다.

 두 번째는 적응 법칙의 구조가 개선된 L1 제어를 사용하는 방법이다. MIT 법칙은 적응 이득을 키워서 빠른 적응을 꽤했으나 시스템이 불안정해지는 문제점이 있다. L1 제어는 MRAC 구조에 제어기 출력인 제어 입력이 저역필터를 거쳐 출력되는 구조이다. L1 제어는 이런 구조를 사용함으로써 빠른 적응과 강건성을 보장한다.

 

Lyapunov Stability Theory 기반 MRAC

 적응 제어 전략으로 Lyapunov 재설계는 본래 Butchart와 Shackcloth가 제안[3]했으며, Parks[4]은 이를 발전시켜 널리 알렸다.

 Lyapunov Stability Theory에 대해서는 추후에 포스팅을 하도록 한다.

 MIT 법칙 기반 적응 법칙은 폐루프 시스템의 안정성을 보장하지 않는다. Lyapunov Stability Theory에 따라서 적응 법칙을 설계한다면 폐루프 시스템의 안정성을 보장할 수 있을 것이다. Lyapunov Stability 기반으로 제어기를 설계하는 방법은 적응 오차 방정식에 대해서 Lyapunov function을 찾고, 적응 오차가 0으로 수렴하도록 적응 변수를 조정한다.

 Full State Feedback System에 대해 풀어보면 다음과 같다.[5]

다음과 같이 기술된 유계의 외란을 가지는 선형 시스템이 있다.

$$\frac{dx}{dt} = Ax+ Bu + \hspace{10mm} \cdots (5)$$

명령에 대해 원하는 응답을 출력하는 기준 모델은 다음과 같다.

$$\frac{dx_m}{dt} = A_m x_m + B_m u_c  \hspace{10mm} \cdots (6)$$

주어진 선형 시스템에 대해 기준 모델을 만족하는 일반화된 선형 제어 법칙을 다음과 같이 정의하자.

$$u=Mu_c -Lx  \hspace{10mm} \cdots (7)$$

이때의 폐루프 시스템은 다음과 같다.

$$\frac{dx}{dt} = \left(A-BL\right) x + BMu_c = A_c (\theta) x + B_c (\theta) u_c \hspace{10mm} +\xi(t)\cdots (8)$$

완벽하게 기준 모델을 따르기 위한 조건은 괭장히 까다롭다. 충분 조건은 다음 식을 만족하는 적응 변수 $\theta^*$가 존재할 때이다.

$$A_c (\theta^* ) =A_m ,\hspace{10mm}B_c (\theta^*) = B_m $$

충분 조건을 만족하는 적응 변수가 존재한다는 위 조건으로부터 다음을 만족할 것이다.

$$A-A_m =BL, \hspace{10mm} B_m = BM \hspace{10mm} \cdots (9)$$

$$\cases{L=\left(B^T B \right)^{-1} B^T (A-A_m ) =\left(B_m^T B \right)^{-1} B_m^T (A-A_m )  \\M=\left(B^T B \right)^{-1} B^T B_m = \left(B_m^T B \right)^{-1} B_m^T B_m}$$

적응 오차 $\varepsilon$를 기준 모델의 상태와 모델의 상태의 오차라고 정의하면, 적응 오차 방정식(error equation)은 다음과 같이 유도할 수 있다.

$$\varepsilon := x - x_m$$

$$\frac{d\varepsilon}{dt} = \frac{dx}{dt} - \frac{dx_m }{dt} =\left(Ax + Bu\right) - \left(A_m x_m + B_m u_c \right)$$

$$\frac{d\varepsilon}{dt} = A_m \varepsilon + \left( A -BL - A_m \right) x + \left( BM -B_m \right) u_c \hspace{10mm} \leftarrow \text{Eq.9} $$

$$\frac{d\varepsilon}{dt} = A_m \varepsilon + \left( A_c(\theta) - A_c(\theta^*) \right) x + \left( B_c(\theta)-B_c(\theta^*) \right) u_c $$

$$\frac{d\varepsilon}{dt} = A_m \varepsilon + \Psi \left( \theta-\theta^* \right) $$

 위의 적응 오차 방정식은 적응 변수가 $\theta \rightarrow \theta^*$이면 두 번째 항이 사라지면서 안정하게 된다. 안정도 이론에 기반하여 적응 법칙을 유도하고자 Lyapunov candidate function $V$를 다음과 같이 선택하며 이는 양의 정부호행렬(Positive definite)이다.

$$V(\varepsilon, \theta) = \frac{1}{2} \left(\gamma \varepsilon^T P \varepsilon +\left( \theta -\theta^* \right)^T \left(\theta - \theta^* \right) \right)$$

 $P$는 양의 정부호행렬이다. Lyapunov candidate function의 수렴성을 증명하기 위해 Lyapunov candidate function의 도함수가 음의 준정부호(negative semi-definite)임을 증명하자.

$$\frac{dV}{dt} = -\gamma\frac{1}{2} \varepsilon^T Q \varepsilon + \gamma (\theta-\theta^* ) \Psi^T P\varepsilon+ \left(\theta-\theta^* \right) ^T \frac{d\theta}{dt}$$

$$\frac{dV}{dt} = -\gamma\frac{1}{2} \varepsilon^T Q \varepsilon + \left(\theta - \theta^* \right)^T \left( \frac{d\theta}{dt} + \gamma \Psi^T  P \varepsilon \right) \hspace{10mm} \cdots (10)$$

$Q$는 양의 정부호행렬이며 다음을 만족한다.

$$A_m^T P +PA_m = -Q$$

식 (10)에서 우변 두 번째 항을 제거함으로써 Lyapunov 함수의 도함수는 음의 준정부호가 된다. 이는 적응 법칙으로 선택될 수 있다.

$$\frac{d\theta}{dt} = -\gamma \Psi^T P \varepsilon$$

$$\frac{dV}{dt} = -\gamma\frac{1}{2} \varepsilon^T Q \varepsilon $$

 

이때, Lyapunove stability 를 만족하는 조건인 "항상 $\dot{V}<=0$을 유지"하기 위한 적응 오차 집합 $E_0$는 다음과 같다. [6]

$$E_0 = \left( (\varepsilon,\theta ): ||\varepsilon|| <= \frac{2}{\sqrt{\gamma \lambda_{min}(Q)}}=\varepsilon_0 \right)$$

적응 법칙과 엮여있는 오차 동역학의 궤적 $(e, \theta)$은 유한 시간 내에 집합 $E$로 들어가게 되고 앞으로 계속 머무르게 된다. 그러나 집합 $E$는 $(e,\theta)$에 Compact하지 않다. 이는 $\theta$가 제약되지 않기에 비유계이며, 집합 내에서 $\dot{V}$는 양수가 될 수 있으며 이는 추종 오차가 항상 $\varepsilon_0$ 보다 작게 머물지 않을 것이라는 점이다. 이를 매개변수의 표류, Parameter Drift 라고 한다.

 

 

 

다음의 글은 불안정한 적응 법칙이 나타내는 현상에 대해서 기술하고 이를 해결하기 위한 다양한 시도를 다루고, 최근(?)의 L1 적응 제어 법칙에 대해서 소개하고자 한다.

 

Reference

1. Astrom, K. J. and Wittenmark, B., Adaptive Control, 2nd ed., 1994, pp.185-212.

2. Mareels, I. M. Y., Anderson, B. D. O., Bitmead, R. R., Bodson, M., and Sastry., S. S., "Revisiting the MIT rule for adaptive control," IFAC Proceedings Volumes, Vol.20, Issue.2, 1987., pp.161-166.

3. Butchart, R. L. and Shackcloth, "Synthesis of model reference adaptive control system by Lyapunov's second method", Proc. IFAC Symp. on Adaptive Control, 1965.

4. Parks, P. C. "Lyapunov redesign of model reference adaptive control systems," IEEE Trans. Auto. Control, Vol.AC-11, 1966., pp.362-367.

5.

6. Lavretsky, E., "Adaptive Control: CDS 270-1, Lecture 6 - 11. Adaptive Control in the Presence of Bounded Disturbances," 2010, pp.47-56. Available at http://www.cds.caltech.edu/archive/help/cms1312.html?op=wiki&wiki_op=view&id=237