Commande optimale

La théorie de la commande optimale permet de déterminer la commande d'un système qui minimise (ou maximise) un critère de performance, éventuellement sous des contraintes pouvant porter sur la commande ou sur l'état du système. Cette théorie est une généralisation du calcul des variations. Elle comporte deux volets : le principe du maximum (ou du minimum, suivant la manière dont on définit l'hamiltonien) dû à Lev Pontriaguine et à ses collaborateurs de l'institut de mathématiques Steklov , et l'équation de Hamilton-Jacobi-Bellman, généralisation de l'équation de Hamilton-Jacobi, et conséquence directe de la programmation dynamique initiée aux États-Unis par Richard Bellman. La théorie de la commande optimale fait partie de l'automatique et des mathématiques appliquées (optimisation des processus). En tant que cette théorie généralise le calcul des variations, elle a également un champ d'application en physique mathématique, et les développements théoriques actuels rejoignent les mathématiques pures.

Historique

Les idées sous-jacentes au principe du maximum et à la programmation dynamique sont fort anciennes et ont été intimement liées dès leur préhistoire. Elles ont été développées de manière indépendante et pratiquement simultanée, vers le milieu des années 1950, et elles continuent aujourd’hui d’avoir de nombreuses connexions.

La programmation dynamique a pour origine le principe de Huygens pour la propagation de la lumière : c’est le fameux principe des « sources intermédiaires » qui interprète les phénomènes de réflexion et de réfraction en supposant la propagation d'ondelettes sphériques secondaires issues d'une onde sphérique principale ; le principe d'Huygens est lui-même fondé sur le principe de Fermat qui postule que la lumière suit le trajet dont le temps de propagation est minimal.

Le principe du maximum est une généralisation des équations d' Hamilton du calcul des variations. L’invention de celui-ci remonte à la résolution du problème de la courbe brachistochrone, posé par Jean Bernoulli en 1696 ; il s’agit également d’un problème de temps minimal (comme l’indique la racine grecque : « βραχιστος (brachistos) », « le plus court » ; « χρονος (chronos) », « temps »). Ce problème fut résolu tout d’abord par Jean Bernoulli lui-même (ainsi que d'autres savants, dont son frère Jacques Bernoulli, Leibniz et Newton) grâce à une analogie avec le problème de propagation de la lumière et l'application du principe de Huygens ; c’était en quelque sorte utiliser la programmation dynamique avant la lettre.

Euler, élève de Jean Bernoulli, a posé ensuite les premières bases du Calcul des variations, en réponse à la demande de son maître de systématiser sa solution. À cette occasion, il a ébauché à partir de considérations géométriques la méthode des « petites variations », méthode à laquelle Lagrange a donné, un peu plus tard, une forme analytique plus élégante.

Weierstrass, au milieu du dix-neuvième siècle, soit un siècle plus tard, définit la notion d'extremum fort et établit une condition nécessaire ainsi qu'une condition suffisante pour qu'il y ait un tel extremum.

Le principe du maximum est une généralisation de la condition nécessaire d'extremum fort de Weierstrass, obtenue en remplaçant l'hamiltonien par un pseudo-hamiltonien (voir infra). Ce principe avait déjà été entrevu par Constantin Carathéodory dès 1935 et plus précisément encore par Magnus Hestenes en 1950. Mais c'est sur la base des intuitions de Pontriaguine et sous sa direction que le principe du maximum, tel que nous l'entendons aujourd'hui, a été démontré tout d'abord pour les problèmes de temps minimal, puis dans le cas général par V. G. Boltyanskii, R. V. Gamkrelidze et L. I. Rozonoer entre 1955 et 1959. La mise en œuvre de la technique des « variations en aiguille », déjà utilisée par James McShane en 1939, est néanmoins due à Boltyanskii, qui a également montré que le principe du maximum n'était qu'une condition nécessaire d'optimalité, et qui a donné au principe du maximum la forme qu'il a prise dans le célèbre livre de Pontriaguine et ses collaborateurs, paru en russe en 1961. Tandis que le quatrième auteur de ce livre, E. F. Michtchenko, a, quant à lui, résolu un problème statistique de commande optimale).

C'est à la suite de la contribution de Pontriaguine et ses collaborateurs que la variable de commande d'un système a été notée u, управление (upravlenie) signifiant commande en russe.

Les travaux récents ont permis de généraliser ces deux approches sans les modifier profondément ; ils se sont pour une bonne part tournés vers l'affaiblissement des conditions de différentiabilité dans le cadre de l'« analyse non lisse » initiée par Frank H. Clarke, en utilisant les « gradients généralisés » (ou « différentielles généralisées ») introduits par cet auteur . Cela a conduit à envisager des commandes de nature plus générale que les fonctions continues par morceaux du théorème originel de Pontriaguine et ses collaborateurs : notamment des fonctions mesurables au sens de Lebesgue. Un autre type d'extension porte sur les systèmes à retard et plus généralement de dimension infinie.

D'autre part, Boltyanskii a donné une « version faible » du principe du maximum pour les systèmes à temps discret après avoir développé à cette fin des techniques mathématiques spécifiques, mais on peut démontrer sans difficulté son résultat à partir des conditions de Karush, Kuhn et Tucker. Sous certaines conditions de convexité, on retrouve toutefois un véritable principe du maximum pour ce type de systèmes.

Principe du maximum et programmation dynamique : différences et similitudes

Par nature, le principe du maximum de Pontriaguine est une condition nécessaire d’optimalité, tandis que la programmation dynamique fournit une condition suffisante. D’autre part, le principe du maximum donne comme solution une commande en boucle ouverte (fonction du temps) alors que la programmation dynamique conduit à une commande en boucle fermée (fonction de l’état du système).

Toutefois, la commande solution du principe du maximum peut, dans les cas favorables, être mise sous forme d’une commande en boucle fermée. Un des grands avantages du principe du maximum sur la programmation dynamique est une plus grande facilité de mise en œuvre, celle-ci, quand elle est appliquée aux systèmes à temps continu, impliquant la résolution d’une équation aux dérivées partielles (l’équation d'Hamilton-Jacobi-Bellman), tandis que celui-là se ramène à la résolution d’équations différentielles ordinaires (résolution qui est toutefois sérieusement compliquée par le fait que le problème est « aux deux bouts »).

La programmation dynamique s'applique aussi bien aux systèmes déterministes qu'aux systèmes stochastiques, tandis que le principe du maximum ne s'applique (avec quelques exceptions) qu'aux systèmes déterministes.

Néanmoins, une étape commune à ces approches est le maximisation du pseudo-hamiltonien sur l'ensemble des commandes admissibles. Comme Pontriaguine et ses collaborateurs l'ont eux-mêmes noté, le principe du maximum peut se déduire du théorème de Bellman, dont la démonstration est fort simple, si l'on fait des hypothèses de régularité suffisantes sur la « fonction de Bellman ». Ces hypothèses ne sont toutefois pas vérifiées dans les cas où le principe du maximum a tout son intérêt, et pour lesquels il a été conçu, par exemple dans celui de la « commande Bang-Bang ».

Formulation d'un problème de commande optimale

Système et critère

Nous considérons le problème de commande optimale sans contrainte sur l'état avec les hypothèses de différentiabilité habituelles. Le problème, ou plutôt sa solution, se complique considérablement en cas de contrainte sur l'état, car un des multiplicateurs de Lagrange est alors une mesure qui n'est pas absolument continue par rapport à la mesure de Lebesgue. Pour simplifier les notations, nous considérons le cas où l'instant initial et l'état initial sont fixés. Soit le système :

${\dot {x}}=f\left(t,x,u\right)$,

$x\left(t_{0}\right)=x_{0},t\in {\mathcal {I}}$

où ${\mathcal {I}}$ est un intervalle compact de la droite réelle contenant $t_{0}$ et où $f$ est une fonction continue de ${\mathcal {I}}\times \Omega \times \mathbf {U}$ dans $\mathbf {X}$, $\mathbf {X}$ étant un espace de Banach (le lecteur peut supposer que $\mathbf {X} =\mathbb {R} ^{n}$), $\Omega$ un ouvert de $\mathbf {X}$, et $\mathbf {U}$ un espace topologique (le plus souvent, un sous-ensemble de $\mathbb {R} ^{m}$). La variable $x$ est l'état et $u$ est la commande (voir l'article Représentation d'état). La fonction $x\mapsto f(t,x,u)$ est supposée continûment différentiable pour tout $(t,u)\in {\mathcal {I}}\times \mathbf {U}$.

Soit le critère de performance

$J(u)=K\left(t_{f},x_{f}\right)+\int _{t_{0}}^{t_{f}}{\mathcal {L}}\left(t,x\left(t\right),u\left(t\right)\right)dt$

où le lagrangien ${\mathcal {L}}$ vérifie les mêmes conditions que $f$ et $K$ est continûment différentiable sur ${\mathcal {V}}_{f}$.

Notions de commande admissible et d'optimum

Soit ${\mathcal {V}}_{f}$ une sous-variété différentiable de ${\mathcal {I}}\mathbf {\times } \mathbf {X}$, appelée variété finale. Nous dirons qu'une fonction $u:{\mathcal {I}}\rightarrow \mathbf {U}$ est admissible si elle est continue par morceaux et transfère le couple $\left(t,x\right)$ de la condition initiale $\left(t_{0},x_{0}\right)$ à une condition finale $\left(t_{f},x_{f}\right)\in {\mathcal {V}}_{f}$ (avec $x\left(t_{f}\right)=x_{f}$ et $t_{f}>t_{0}$, $t_{f}\in {\mathcal {I}}$). L'ensemble des commandes admissibles est noté ${\mathcal {U}}$. Les hypothèses impliquent que $f$ est localement lipschitzienne, donc si $u$ est admissible, $x$ est absolument continue, et la notion de solution est donc classique (l'égalité ${\dot {x}}(t)=f\left(t,x(t),u(t)\right)$ étant vérifiée presque partout au sens de Lebesgue).

Soit $u^{\ast }\in {\mathcal {U}}$, et désignons par $x^{\ast }$ et $t_{f}^{\ast }$ l'état et l'instant final correspondants. Soit $\varepsilon >0$ et ${\mathcal {U}}_{\varepsilon }$ le sous-ensemble de ${\mathcal {U}}$ formé des commandes $u\in {\mathcal {U}}$ vérifiant la condition suivante : l'état $x$ et l'instant final $t_{f}$ correspondants sont tels que

$\left\vert t_{f}-t_{f}^{\ast }\right\vert <\varepsilon \quad$ et $\quad \left\Vert x\left(t\right)-x^{\ast }\left(t\right)\right\Vert <\varepsilon ,\forall t\in \left[t_{0},t_{f}\right]\cap \left[t_{0},t_{f}^{\ast }\right]$.

La commande $u^{\ast }$ est dite optimale localement s'il existe $\varepsilon >0$ tel que $J(u)\leq J(u^{\ast }),\forall u\in {\mathcal {U}}_{\varepsilon }$, et optimale globalement si $J(u)\leq J(u^{\ast }),\forall u\in {\mathcal {U}}$.

Pour $\varepsilon$ petit, on peut considérer ${\mathcal {U}}_{\varepsilon }$ comme un « petit voisinage » de $u^{\ast }$. On notera que dans un tel voisinage, $u(t)$ n'est pas nécessairement proche de $u^{\ast }(t)$ à chaque instant t. Si $\mathbf {U}$ est un sous-ensemble d'un espace vectoriel, une « petite variation » de u peut notamment être une variation $\delta u$ de grande amplitude mais de faible durée, de sorte qu'elle entraîne une « petite variation » de la fonction $x:t\mapsto x(t)$. Cette formulation est identique à celle de Weierstrass, et indique que l'on recherche un « extremum fort » (un « extremum faible » serait obtenu avec uniquement des variations de u qui seraient de faible amplitude).

Pseudo-hamiltonien

On appelle pseudo-hamiltonien la fonction

${\mathcal {H}}:{\mathcal {I}}\times \Omega \times \mathbf {U} \times \left\{0,1\right\}\times \mathbf {X} ^{\prime }\rightarrow \mathbb {R}$

(où $\mathbf {X} ^{\prime }$ est le dual de $\mathbf {X}$) définie par

${\mathcal {H}}\left(t,x,u,\lambda ,p^{\prime }\right)=\left\langle p^{\prime }|f\left(t,x,u\right)\right\rangle -\lambda {\mathcal {L}}\left(t,x,u\right)$.

(où $\left\langle .|.\right\rangle$ est le crochet de dualité).

Remarques

• Dans la grande majorité des applications, $\mathbf {X} =\mathbb {R} ^{n}$.

• Néanmoins, on peut supposer que $\Omega$ est une variété différentielle (éventuellement banachique), le champ de vecteurs f étant tel que $f(t,x,u)$ appartient à l'espace tangent $T_{x}(\Omega )$ ; $p^{\prime }$ appartient alors au fibré cotangent $T^{\prime }(\Omega )$, de sorte que dans le crochet $\left\langle p^{\prime }|f(x,u,t)\right\rangle$, $p^{\prime }$ est dans l'espace cotangent $T_{x}^{\prime }(\Omega )$. Cette formulation est indispensable, par exemple, pour le calcul des géodésiques dans un espace de Riemann.

• Si l'on suppose que $\mathbf {U}$ est un sous-ensemble de $\mathbb {R} ^{m}$, on peut envisager des commandes admissibles plus générales que des fonctions continues par morceaux, par exemple, des fonctions mesurables au sens de Lebesgue. On peut alors remplacer $\mathbf {U}$ par $\mathbf {U} (t)$ où $t\mapsto \mathbf {U} (t)$ est une fonction de ${\mathcal {I}}$ dans l'ensemble des sous-ensembles de $\mathbb {R} ^{n}$ (appelée « multifonction ») dont le graphe est ${\mathcal {L}}\times {\mathcal {B}}$-mesurable, où ${\mathcal {L}}$ est la tribu de Lebesgue de ${\mathcal {I}}$, ${\mathcal {B}}$ est la tribu borélienne de $\mathbb {R} ^{n}$, et ${\mathcal {L}}\times {\mathcal {B}}$ est la tribu engendrée par les ensembles $A\times B,A\in {\mathcal {L}},B\in {\mathcal {B}}$.

Principe du maximum

Énoncé

Le dual de $\mathbb {R} \times \mathbf {X}$ est identifié avec $\mathbb {R} \times \mathbf {X} ^{\prime }$. On note $KC^{1}\left({\mathcal {I}};\mathbf {X} ^{\prime }\right)$ l'espace vectoriel des fonctions continues par morceaux de ${\mathcal {I}}$ dans $\mathbf {X} ^{\prime }$. Soit d'autre part les deux équations canoniques

${\dot {x}}^{\ast }={\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}\left(t,x^{\ast },u^{\ast },\lambda ^{\ast },p^{\prime \ast }\right)$,

${\dot {p}}^{\prime \ast }=-{\frac {\partial {\mathcal {H}}}{\partial x}}\left(t,x^{\ast },u^{\ast },\lambda ^{\ast },p^{\prime \ast }\right)$.

Notons $T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)$ l'espace tangent à la variété ${\mathcal {V}}_{f}$ au point $\left(t_{f}^{\ast },x_{f}^{\ast }\right)$ et $N_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)$ l'orthogonal de $T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)$ dans $\mathbb {R} \times \mathbf {X} ^{\prime }$, c'est-à-dire l'ensemble des formes linéaires continues $k^{\prime }\in \mathbb {R} \times \mathbf {X} ^{\prime }$ telles que $\left\langle k^{\prime }|h\right\rangle =0,\forall h\in T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)$. On appelle condition de transversalité la relation

$0\in \left(\lambda ^{\ast }{\frac {\partial K}{\partial t}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)-{\mathcal {H}}\left(t_{f}^{\ast },x_{f}^{\ast },u^{\ast }\left(t_{f}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right),\lambda ^{\ast }{\frac {\partial K}{\partial x}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)+p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)+N_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)$.

Enfin, nous appellerons condition de non trivialité l'inégalité

$\left(\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)\neq 0$.

On montre le résultat suivant :

Théorème de Pontriaguine-Boltyansky — Supposons $T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)$ de codimension finie. Pour que la commande $u^{\ast }\in {\mathcal {U}}$ soit optimale localement, il est nécessaire qu'il existe un état adjoint $p^{\prime \ast }\in KC^{1}\left({\mathcal {I}};\mathbf {X} ^{\prime }\right)$ et un multiplicateur de Lagrange $\lambda ^{\ast }\in \left\{0,1\right\}$ pour lesquels les deux équations canoniques, la condition de transversalité et la condition de non trivialité soient satisfaites, que la fonction $t\mapsto {\mathcal {H}}\left(t,x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)$ soit continue, et que le Principe du maximum

${\mathcal {H}}\left(t,x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)\geq {\mathcal {H}}\left(t,x^{\ast }\left(t\right),u,\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right),\forall u\in \mathbf {U}$

soit vérifié en tout point $t\in \left[t_{0},t_{f}^{\ast }\right]$ auquel la commande $u^{\ast }$ est continue. On a en tout point auquel $u^{\ast }$ et $p^{\prime \ast }$ sont continues (donc sauf en un nombre fini de points)

${\frac {d}{dt}}{\mathcal {H}}\left(t,x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)={\frac {\partial }{\partial t}}{\mathcal {H}}\left(t,x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)$

et en particulier, si le pseudo-hamiltonien ${\mathcal {H}}$ ne dépend pas explicitement du temps,

${\mathcal {H}}\left(x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)=C^{te}$.

La démonstration de ce théorème (avec $\mathbf {X}$ de dimension finie) occupe près de 40 pages dans l'ouvrage de Pontriaguine et ses collaborateurs. Lorsque l'état final est astreint à appartenir à une sous-variété de $\mathbf {X}$ de codimension infinie, des variations en aiguille de la commande ne suffisent plus (elles ne donnent pas suffisamment de degrés de liberté) et un contre-exemple construit par Yu Vladimirovich Egorov en 1963 montre que le Principe du maximum est inexact. Il existe une extension du principe du maximum pour les systèmes semi-linéaires dont l'état est à valeurs dans un espace de Banach quelconque ; ce résultat est obtenu en utilisant des « variations diffuses » (« diffuse variations » ou « patch variations ») de la commande.

Une justification du théorème de Pontriaguine-Boltyansky est donnée plus loin, à partir du théorème de Bellman. Voir également l'utilisation du Lemme de Du Bois-Reymond généralisé lorsque $\mathbf {U}$ est un ouvert de $\mathbb {R} ^{m}$ et qu'on ne fait que des « variations faibles » de la commande.

Remarque

Supposons que l'instant initial $t_{0}$ et l'état initial $x_{0}$ ne soient plus fixés, et qu'on ait seulement une condition initiale $\left(t_{0},x_{0}\right)\in {\mathcal {V}}_{0}$ où ${\mathcal {V}}_{0}$ est une sous-variété différentiable de ${\mathcal {I}}\mathbf {\times } \mathbf {X}$ (variété initiale). On doit alors ajouter la condition de transversalité

$0\in \left(-{\mathcal {H}}\left(t_{0}^{\ast },x_{0}^{\ast },u^{\ast }\left(t_{0}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{0}^{\ast }\right)\right),p^{\prime \ast }\left(t_{0}^{\ast }\right)\right)+N_{\left(t_{0}^{\ast },x_{0}^{\ast }\right)}\left({\mathcal {V}}_{0}\right)$.

Cas particuliers

Nous supposons maintenant que la variété ${\mathcal {V}}_{f}$ est de la forme ${\mathcal {T}}_{f}\times {\mathcal {X}}_{f}$ où ${\mathcal {T}}_{f}$ et ${\mathcal {X}}_{f}$ sont des sous-variétés de ${\mathcal {\mathbb {R} }}$ et de $\mathbf {X}$, respectivement. L'équation de transversalité s'écrit donc

(a) $0\in \lambda ^{\ast }{\frac {\partial K}{\partial t}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)-{\mathcal {H}}\left(t_{f}^{\ast },x_{f}^{\ast },u^{\ast }\left(t_{f}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)+N_{t_{f}^{\ast }}\left({\mathcal {T}}_{f}\right)$,

(b) $0\in \lambda ^{\ast }{\frac {\partial K}{\partial x}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)+p^{\prime \ast }\left(t_{f}^{\ast }\right)+N_{t_{f}^{\ast }}\left({\mathcal {X}}_{f}\right)$.

Dans le cas d'un instant final libre, on a ${\mathcal {T}}_{f}={\mathcal {\mathbb {R} }}$, par conséquent $N_{t_{f}^{\ast }}\left({\mathcal {T}}_{f}\right)=0$ et (a) devient

(a') $\lambda ^{\ast }{\frac {\partial K}{\partial t}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)={\mathcal {H}}\left(t_{f}^{\ast },x_{f}^{\ast },u^{\ast }\left(t_{f}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)$

alors que dans le cas d'un instant final fixé, ${\mathcal {T}}_{f}=\left\{t_{f}\right\}$ et $N_{t_{f}^{\ast }}\left({\mathcal {T}}_{f}\right)=\left\{0\right\}$, donc (a) est trivialement vérifiée. Dans les deux cas on a une équation: (a') dans le premier, $t_{f}^{\ast }=t_{f}$ dans le second.

Dans le cas d'un état final libre, on a ${\mathcal {X}}_{f}=\mathbf {X}$, par conséquent $N_{x_{f}^{\ast }}\left({\mathcal {X}}_{f}\right)=0$ et (b) devient

(b') $p^{\prime \ast }\left(t_{f}^{\ast }\right)=-\lambda ^{\ast }{\frac {\partial K}{\partial x}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)$

et la condition de non trivialité entraîne $\lambda =1$. Dans le cas d'un état final fixé, ${\mathcal {X}}_{f}=\left\{x_{f}\right\}$ et $N_{x_{f}^{\ast }}\left({\mathcal {X}}_{f}\right)=\left\{0\right\}$, donc (b) est trivialement vérifiée. Dans les deux cas on a n équations, si $\mathbf {X}$ est de dimension n : (b') dans le premier, $x_{f}^{\ast }=x_{f}$ dans le second.

Commande Bang-Bang

Considérons maintenant le problème de commande en temps minimal. L'espace topologique $\mathbf {U}$ est le sous-ensemble de $\mathbb {R} ^{m}$ défini par ${\underline {u_{i}}}\leq u_{i}\leq {\overline {u_{i}}}\left(1\leq i\leq m\right)$. Le critère est $J=t_{f}-t_{0}$, ce qui est un cas particulier de l'expression donnée plus haut avec $K=0$ et $l=1$. Le problème est évidemment à instant final libre, et il est à état final fixé: ${\mathcal {X}}_{f}=\left\{0\right\}$. On suppose que $x=0$, $u=0$ est un point d'équilibre et que le système est affine en la commande, donc de la forme indiquée avec $f\left(t,x,u\right)=h\left(t,x\right)+g\left(t,x\right)u$ où $h\left(t,0\right)=0$. Représentons $p^{\prime }$ par la ligne d'éléments $p_{i}\left(1\leq i\leq n\right)$ et $g$ par la matrice d'éléments $g_{i,j}$. Il vient

${\mathcal {H}}\left(t,x,u,\lambda ,p^{\prime }\right)=\left\langle p^{\prime }|h\left(t,x\right)\right\rangle +\sum _{j=1}^{m}\left(\sum _{i=1}^{n}p_{i}g_{ij}\left(t,x\right)\right)u_{j}+\lambda$.

Si $\lambda ^{\ast }=0$, on a également $p^{\prime \ast }=0$ d'après (b'), ce qui contredit la condition de non trivialité; donc, $\lambda =1$. Le Principe du maximum implique que

$u_{j}^{\ast }\left(t\right)={\overline {u_{j}}}$ (resp. ${\underline {u_{j}}}$) si $\sum _{i=1}^{n}p_{i}^{\prime \ast }\left(t\right)g_{ij}\left(t,x^{\ast }\left(t\right)\right)>0$ (resp. <0).

Cette commande toujours égale (dans le cas où elle a une seule composante) à sa valeur minimale ou à sa valeur maximale, avec des commutations. Dans le cas de systèmes linéaires d'ordre 2, on peut trouver des solutions explicites fondées sur le portrait de phase. D'autre part, supposons le système linéaire stationnaire d'ordre $n$ et commandable. Si les valeurs propres de la matrice d'état sont toutes réelles, le nombre de commutations est au plus égal à $n-1$. Si ces valeurs propres sont toutes dans le demi-plan gauche et 0 appartient à l'intérieur de $\mathbf {U}$, la commande optimale existe et est unique.

Condition suffisante d'optimalité sous forme de Principe du maximum

Supposons que le système soit linéaire et de dimension finie, soit

$f(t,x,u)=A(t)x+B(t)u$

où les fonctions $t\mapsto A(t)$ et $t\mapsto B(t)$ sont continues, et que les fonctions K et l du critère soient continûment différentiables. Supposons également que la variété ${\mathcal {V}}_{f}$ soit affine et que l'instant final $t_{f}$ soit fixé. Supposons enfin que l'ensemble U et la fonction $x_{f}\mapsto K(t_{f},x_{f})$ soient convexes, ainsi que la fonction $(x,u)\mapsto {\mathcal {L}}(t,x,u)$ pour tout $t\in {\mathcal {I}}$. Dans ce cas, les conditions de Pontriaguine avec $\lambda ^{\ast }=1$ sont suffisantes pour que commande $u^{\ast }$ soit optimale globalement. Si de plus la fonction $(x,u)\mapsto {\mathcal {L}}(t,x,u)$ est convexe, strictement par rapport à u, alors il y a unicité de la commande optimale.

Programmation dynamique (cas déterministe)

Reprenons le problème de commande optimale, tel qu'il a été posé plus haut.

Équation de Hamilton-Jacobi-Bellman

D'après le principe général de la programmation dynamique, la commande optimale minimise sur ${\mathcal {U}}$, pour tout $\left(\tau ,\xi \right)\in \left[t_{0},t_{f}\right[\times \Omega$, le critère

$J_{\tau }(u)=K\left(t_{f},x_{f}\right)+\int _{\tau }^{t_{f}}{\mathcal {L}}\left(t,x\left(t\right),u\left(t\right)\right)dt$

avec

$x\left(\tau \right)=\xi$.

Désignons par $\omega \left(\tau ,\xi \right)$ la valeur optimale de ce critère. En plus des hypothèses précédentes, nous supposons maintenant que les fonctions $f,{\mathcal {L}}$ et $\omega$ sont continûment différentiables. Nous supposons également que $\lambda =1$ et supprimons cette variable des arguments de ${\mathcal {H}}$, qui est donc maintenant une fonction

${\mathcal {H}}:(t,x,u,p^{\prime })\mapsto {\mathcal {H}}(t,x,u,p^{\prime })$.

L'équation de Hamilton-Jacobi-Bellman est l'équation aux dérivées partielles

(HJB)::${\frac {\partial \omega }{\partial t}}\left(\tau ,\xi \right)=\max _{u\in U}{\mathcal {H}}\left(\tau ,\xi ,u,-{\frac {\partial \omega }{\partial \xi }}\left(\tau ,\xi \right)\right)$

avec pour condition aux limites

(CL):: $\omega \left(t_{f},x_{f}\right)=K\left(t_{f},x_{f}\right),\forall \left(t_{f},x_{f}\right)\in {\mathcal {V}}_{f}$.

On dit que le pseudo-hamiltonien ${\mathcal {H}}$ est régulier si la fonction $u\mapsto {\mathcal {H}}\left(\tau ,\xi ,u,p^{\prime }\right)$ admet un maximum unique sur U, atteint pour une valeur $u^{0}\left(\tau ,\xi ,p^{\prime }\right)$ de u. Dans ce cas, soit la commande en boucle fermée ${\hat {u}}\left(t,x\right)=u^{0}\left(t,x,-{\frac {\partial \omega }{\partial \xi }}\left(t,x\right)\right)$. On a le résultat suivant:

Théorème de Bellman —  Supposons le pseudo-hamiltonien régulier. Pour que la commande en boucle fermée $\left(t,x\right)\rightarrow {\hat {u}}\left(t,x\right)$ soit optimale, il est suffisant que (i) il existe une solution continûment différentiable $\left(\tau ,\xi \right)\rightarrow \omega \left(\tau ,\xi \right)$ à l'équation de Hamilton-Jacobi-Bellman (HJB), avec la condition aux limites (CL), et (ii) la fonction $t\rightarrow u^{\ast }\left(t\right)={\hat {u}}\left(t,x_{\hat {u}}\left(t\right)\right)$, où $x_{\hat {u}}$ est l'état résultant de l'application de la commande ${\hat {u}}$, soit admissible. La valeur du critère obtenue avec cette commande en boucle fermée optimale est $\omega \left(t_{0},x\left(t_{0}\right)\right)$.

Démonstration

Obtention de l'équation de Hamilton-Jacobi-Bellman et de la condition aux limites :

Soit $\Delta \tau$ tel que $\tau <\tau +\Delta \tau \leq t_{f}$. On a

${\begin{array}{cc}\omega (\tau ,\xi )&=\min \limits _{u\in \mathrm {U} }\left\{\int _{\tau }^{\tau +\Delta \tau }{\mathcal {L}}\left(t,x\left(t\right),u(t)\right)dt+\int _{\tau +\Delta \tau }^{t_{f}}{\mathcal {L}}\left(t,x\left(t\right),u(t)\right)dt+K(t_{f},x_{f})\right\}\\&=\min \limits _{u\in \mathrm {U} }\left\{{\mathcal {L}}\left(\tau ,\xi ,u\right)\Delta \tau +\omega (\tau +\Delta \tau ,\xi +\Delta \xi )+K(t_{f},x_{f})+o\left(\Delta \tau \right)\right\}\\&=\min \limits _{u\in \mathrm {U} }\left\{{\mathcal {L}}\left(\tau ,\xi ,u\right)\Delta \tau +\omega (\tau ,\xi )+{\frac {\partial \omega }{\partial t}}\left(\tau ,\xi \right)\Delta t+{\frac {\partial \omega }{\partial \xi }}(\tau ,\xi )\Delta \xi +o\left(\Delta \tau \right)\right\}\end{array}}$

avec $\Delta \xi =f(\tau ,\xi ,u)\Delta \tau +o(\Delta \tau )$. Par conséquent, en soustrayant $\omega (\tau ,\xi )$ des deux membres, en divisant par $\Delta \tau$ et en faisant tendre $\Delta \tau$ vers 0, on obtient

$0=\min \limits _{u\in \mathrm {U} }\left\{{\mathcal {L}}\left(\tau ,\xi ,u\right)+{\frac {\partial \omega }{\partial t}}\left(\tau ,\xi \right)+{\frac {\partial \omega }{\partial \xi }}(\tau ,\xi )f(\tau ,\xi ,u)\right\}$

$=\min \limits _{u\in \mathbf {U} }\left\{{\frac {\partial \omega }{\partial \tau }}\left(\tau ,\xi \right)-{\mathcal {H}}\left(\tau ,\xi ,u,-{\frac {\partial \omega }{\partial \xi }}\left(\tau ,\xi \right)\right)\right\}$,

ce qui équivaut à l'équation de Hamilton-Jacobi-Bellman. La condition aux limites et la valeur optimale du critère découlent de la définition de $\omega (\tau ,\xi )$.

Démonstration de la condition suffisante d'optimalité :

Supposons que ${\hat {u}}(\tau ,\xi )$ minimise par rapport à $v\in \mathrm {U}$ la quantité $Q(\tau ,\xi ;v)$ ci-dessous :

${\begin{array}{c}Q(\tau ,\xi ;v)={\mathcal {L}}\left(\tau ,\xi ,v\right)+{\frac {\partial \omega }{\partial t}}\left(\tau ,\xi \right)+{\frac {\partial \omega }{\partial \xi }}(\tau ,\xi )f(\tau ,\xi ,v)\\={\mathcal {H}}\left(\tau ,\xi ,{\hat {u}}(\tau ,\xi ),-{\frac {\partial \omega }{\partial \xi }}(\tau ,\xi )\right)-{\mathcal {H}}\left(\tau ,\xi ,v,-{\frac {\partial \omega }{\partial \xi }}(\tau ,\xi )\right)\geq 0\end{array}}$.

Soit u une commande admissible et $x_{u}:t\mapsto x_{u}(t)$ l'état déterminé par l'équation différentielle ${\dot {x}}=f(t,x,u(t))$ et la condition initiale $x_{u}(t_{0})=x_{0}$. On a alors

${\frac {\partial \omega }{\partial t}}\left(t,x_{u}(t)\right)+{\frac {\partial \omega }{\partial \xi }}(t,x_{u}(t))f(t,x_{u}(t),u(t))={\frac {d}{dt}}\omega \left(t,x_{u}(t)\right)$

et en conséquence

${\begin{array}{cc}0\leq \int _{t_{0}}^{t_{f}}Q\left(t,x_{u}(t);u(t)\right)dt&=\int _{t_{0}}^{t_{f}}{\mathcal {L}}(t,x_{u}\left(t\right),u(t))dt+\omega \left(t_{f},x_{f}\right)-\omega \left(t_{0},x_{0}\right)\\&=J(u)-\omega \left(t_{0},x_{0}\right)\end{array}}$

compte tenu de la condition aux limites. Puisque $x_{0}$ et $t_{0}$ sont fixés, $\omega \left(t_{0},x_{0}\right)$ l'est aussi. La commande $t\mapsto {\hat {u}}(t,x_{\hat {u}}(t))$ est admissible et pour $u(t)={\hat {u}}\left(t,x_{\hat {u}}(t)\right)=u^{*}(t)$, la quantité ci-dessus est nulle. Par conséquent, la commande $u^{*}$ est optimale et $J(u^{*})=\omega \left(t_{0},x_{0}\right)$.

Justification du théorème de Pontriaguine-Boltyansky

On déduit dans ce qui suit le théorème de Pontriaguine-Boltyansky du théorème de Bellman en supposant la fonction $\omega :(t,x)\mapsto \omega (t,x)$ deux fois continûment différentiable, bien que cette seconde hypothèse ne soit malheureusement pas satisfaite dans les cas les plus courants tels que celui de la commande Bang-Bang, où $\omega$ n'est pas même différentiable sur les trajectoires optimales (cette hypothèse est satisfaite, néanmoins, dans le cas du Calcul des variations, lorsque le lagrangien ${\mathcal {L}}$ et la fonction K sont analytiques, le temps final est fixé et l'état final est libre, comme on le verra plus loin).

Supposons donc l'équation de Hamilton-Jacobi-Bellman vérifiée avec $\omega$ de classe ${\mathcal {C}}^{2}$. On sait alors qu'une commande optimale existe ; soit $x{^{\ast }}(t)$ et $u{^{\ast }}(t)$ l'état optimal et la commande optimale à l'instant t, respectivement, et posons

$p^{\prime \ast }(t)=-{\frac {\partial \omega }{\partial x}}\left(t,x^{\ast }(t)\right)$.

Il vient alors nécessairement

${\dot {p}}^{\prime \ast }(t)=-{\frac {\partial ^{2}\omega }{\partial x\partial t}}\left(t,x^{\ast }(t)\right)-{\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x^{\ast }(t)\right){\dot {x}}^{\ast }\left(t\right)$

avec ${\dot {x}}^{\ast }\left(t\right)=f(t,x^{\ast }(t),u^{\ast }\left(t\right))$, ce qui équivaut à la première équation canonique

${\dot {x}}^{\ast }(t)={\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}\left(t,x^{\ast }(t),u^{\ast }(t),\lambda ^{\ast },p^{\prime \ast }(t)\right)$.

L'équation de Hamilton-Jacobi-Bellman implique le Principe du maximum

$u^{\ast }\left(t\right)={\underset {u\in U}{\arg \max }}{\mathcal {H}}\left(t,x^{\ast }\left(t\right),u,p^{\ast }\left(t\right)\right)$.

ainsi que l'égalité

${\frac {\partial \omega }{\partial t}}(t,x)={\mathcal {H}}\left(t,x,u^{\ast }\left(t\right),-{\frac {\partial \omega }{\partial x}}\left(t,x\right)\right)$.

On tire de cette dernière

${\frac {\partial ^{2}\omega }{\partial t\partial x}}(t,x)={\frac {\partial {\mathcal {H}}}{\partial x}}\left(t,x,u^{\ast }\left(t\right),-{\frac {\partial \omega }{\partial x}}\left(t,x\right)\right)-{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}\left(t,x,u^{\ast }\left(t\right),-{\frac {\partial \omega }{\partial x}}\left(t,x\right)\right){\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x\right)$.

En plongeant $\mathbf {X}$ dans son bidual, on a

${\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}\left(t,x,u^{\ast },\left(t\right),p^{\ast }(t)\right)=f\left(x,u^{\ast }\left(t\right),t\right)$

et on obtient finalement la seconde équation canonique

${\dot {p}}^{\prime }(t)=-{\frac {\partial {\mathcal {H}}}{\partial x}}\left(t,x^{\ast }(t),u^{\ast }\left(t\right),p^{\ast }(t)\right)$

car avec le plongement ci-dessus, et compte tenu du fait que la forme bilinéaire continue ${\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x^{\ast }(t)\right)$ est symétrique,

$f\left(t,x^{\ast }(t),u^{\ast }(t)\right){\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x^{\ast }(t)\right)$ et ${\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x^{\ast }(t)\right)f\left(t,x^{\ast }(t),u^{\ast }(t)\right)$

sont deux écritures différentes de la même forme linéaire continue.

(En effet, soit B une forme linéaire continue symétrique sur $\mathbf {X} \times \mathbf {X}$ et $h,k\in \mathbf {X}$. On a alors $B.k\in \mathbf {X} {^{\prime }}$. Considérons le crochet $\left\langle B.k|h\right\rangle$. Il désigne le réel $(B.k)h=B.(k,h)$. Mais en considérant h comme élément du bidual de $\mathbf {X}$, il désigne également $\left(h\circ B\right)\left(k\right)$. Donc, $\left(h\circ B\right)\left(k\right)=B.(k,h)$, et puisque B est symétrique, $\left(h\circ B\right)\left(k\right)=B.(h,k)$, ce qui entraîne encore $h\circ B=B.h$. Dans le cas où $\mathbf {X}$ est de dimension finie, on peut vérifier cette égalité en développant les deux membres dans une base de $\mathbf {X}$ et la base duale.)

Pour démontrer l'égalité ${\frac {\partial {\mathcal {H}}}{\partial t}}={\frac {d{\mathcal {H}}}{dt}}$ (en notation abrégée) sur les trajectoires optimales, supposons pour simplifier que $\mathbf {U}$ soit un ouvert d'un espace de Banach. Le Principe du maximum implique alors la condition d'Euler ${\frac {\partial {\mathcal {H}}}{\partial u}}=0$ à l'optimum. Par conséquent,

${\frac {d{\mathcal {H}}}{dt}}={\frac {\partial {\mathcal {H}}}{\partial t}}+{\frac {\partial {\mathcal {H}}}{\partial x}}{\dot {x}}+{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}{\dot {p}}^{\prime }+{\frac {\partial H}{\partial u}}={\frac {\partial {\mathcal {H}}}{\partial t}}+{\frac {\partial {\mathcal {H}}}{\partial x}}{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}-{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}{\frac {\partial {\mathcal {H}}}{\partial x}}$.

Le même type de raisonnement que plus haut montre que ${\frac {\partial {\mathcal {H}}}{\partial x}}{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}={\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}{\frac {\partial {\mathcal {H}}}{\partial x}}$, d'où le résultat.

Il reste à obtenir la condition de transversalité. Sur ${\mathcal {V}}_{f}$ on doit avoir $\omega (t_{f},x(t_{f}))=K(t_{f},x(t_{f}))$. Par conséquent, pour tout accroissement admissible infiniment petit $\left(\delta t_{f},\delta x_{f}\right)\in T_{\left(t_{f}^{\ast },x_{f}^{\ast }\left(t_{f}^{\ast }\right)\right)}{\mathcal {V}}_{f}$,

$\left({\frac {\partial K}{\partial t}}(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)-{\frac {\partial \omega }{\partial t}}(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)\right)\delta t_{f}+\left({\frac {\partial K}{\partial x}}(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)-{\frac {\partial \omega }{\partial x}}(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)\right)\delta x_{f}=0$.

Or, on a

${\frac {\partial \omega }{\partial t}}\left(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)\right)={\mathcal {H}}\left(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right),u^{\ast }\left(t_{f}^{\ast }\right),p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)$ et

${\frac {\partial \omega }{\partial x}}\left(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)\right)=-p^{\prime \ast }\left(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right),u^{\ast }\left(t_{f}^{\ast }\right),p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)$.

La condition de transversalité est donc démontrée.

Application au Calcul des variations

Conditions d'Euler-Lagrange, de Legendre, Weierstrass, et de Weierstrass-Erdmann

Le problème du Calcul des variations consiste à minimiser un critère de la forme

$J=K\left(t_{f},x_{f}\right)+\int _{t_{0}}^{t_{f}}{\mathcal {L}}\left(t,x\left(t\right),{\dot {x}}\left(t\right)\right)dt$

avec une condition finale du même type que celle qui a été considérée dans la position du problème de commande optimale. Ce n'est donc rien d'autre que le problème de commande optimale avec pour « équation du système » ${\dot {x}}=u$, et $\mathbf {U} =\mathbf {X}$, espace qu'on suppose de dimension finie. Il vient, en éliminant $u$,

${\mathcal {H}}\left(t,x,{\dot {x}},\lambda ,p^{\prime }\right)=\left\langle p^{\prime }|{\dot {x}}\right\rangle -\lambda {\mathcal {L}}\left(t,x,{\dot {x}}\right)$.

La fonction ${\mathcal {L}}$ est supposée continûment différentiable ainsi que sa différentielle partielle ${\frac {\partial {\mathcal {L}}}{\partial {\dot {x}}}}$. Le Principe du maximum est, de par sa formulation, une condition nécessaire d'« optimum fort ». Il implique

${\frac {\partial {\mathcal {H}}}{\partial {\dot {x}}}}\left(t,x^{\ast },{\dot {x}}^{\ast },\lambda ^{\ast },p^{\prime \ast }\right)=0\Leftrightarrow p^{\prime \ast }=\lambda {\frac {\partial {\mathcal {L}}}{\partial {\dot {x}}}}\left(t,x^{\ast },{\dot {x}}^{\ast }\right)$.

La condition de non trivialité implique $\lambda =1$, et nous supprimons donc désormais $\lambda$ des arguments de ${\mathcal {H}}$. Les équations canoniques se réduisent maintenant aux équations d'Hamilton habituelles. En remplaçant l'expression obtenue plus haut pour $p^{\prime \ast }$ dans la seconde équation canonique, on obtient la condition d'Euler-Lagrange :

${\frac {d}{dt}}\left({\frac {\partial {\mathcal {L}}}{\partial {\dot {x}}}}\right)={\frac {\partial {\mathcal {L}}}{\partial x}}$.

D'autre part, en supposant que ${\mathcal {L}}$ admet une différentielle partielle seconde par rapport à ${\dot {x}}$ et que cette différentielle partielle seconde est une fonction continue, le Principe du maximum implique, au second ordre, la condition faible de Legendre

${\frac {\partial ^{2}{\mathcal {L}}}{\partial {\dot {x}}^{2}}}\left(t,x^{\ast }\left(t\right),{\dot {x}}^{\ast }\left(t\right),p^{\prime \ast }\left(t\right)\right)\geq 0$

qui signifie que la forme bilinéaire continue symétrique ${\frac {\partial ^{2}{\mathcal {L}}}{\partial {\dot {x}}^{2}}}\left(t,x^{\ast }\left(t\right),{\dot {x}}^{\ast }\left(t\right),p^{\prime \ast }\left(t\right)\right)$ doit être semi-définie positive. Pour qu'en plus l'hamiltonien soit régulier, il faut que soit satisfaite la condition forte de Legendre

${\frac {\partial ^{2}{\mathcal {L}}}{\partial {\dot {x}}^{2}}}\left(t,x^{\ast }\left(t\right),{\dot {x}}^{\ast }\left(t\right),p^{\prime \ast }\left(t\right)\right)>0$

qui signifie que cette forme bilinéaire symétrique doit être définie positive.

Soit la fonction de Weierstrass, encore appelée l'« excessus »

${\mathcal {E}}\left(t,x,u;w\right)={\mathcal {H}}\left(t,x,u,{\frac {\partial {\mathcal {L}}}{\partial {\dot {x}}}}\left(t,x,u\right)\right)-{\mathcal {H}}\left(t,x,w,{\frac {\partial {\mathcal {L}}}{\partial {\dot {x}}}}\left(t,x,u\right)\right)$.

Le Principe du maximum implique la condition de Weierstrass ${\mathcal {E}}\left(t,x^{\ast }(t),{\dot {x}}^{\ast }(t);w\right)\geq 0$ (obtenue avec des « variations fortes », analogues aux « variations en aiguille » introduites par Boltyanskii pour la démonstration du Principe du maximum). On écrit également la fonction de Weierstrass sous la forme

${\mathcal {E}}(t,x,u;w)={\mathcal {L}}(t,x,w)-{\mathcal {L}}(t,x,u)-{\frac {\partial {\mathcal {L}}}{\partial {\dot {x}}}}(t,x,u)\left(w-u\right)$.

Enfin, la continuité de $p^{\prime \ast }$ et celle de la fonction $t\mapsto {\mathcal {H}}\left(t,x^{\ast }\left(t\right),{\dot {x}}^{\ast }\left(t\right),{\frac {\partial {\mathcal {L}}}{\partial {\dot {x}}}}\left(t,x^{\ast }\left(t\right),{\dot {x}}^{\ast }\left(t\right)\right)\right)$ est la condition d'arrondissement des angles de Weierstrass–Erdmann (en).

Remarque

La différence essentielle entre le Principe du maximum et la condition de Weierstrass est que, dans cette dernière, on a dès le début l'égalité $p^{\prime \ast }={\frac {\partial {\mathcal {L}}}{\partial {\dot {x}}}}$, laquelle égalité, qui détermine ${\dot {x}}^{\ast }$ comme fonction implicite de $p^{\prime \ast }$, paraît essentielle dans le Calcul des variations classique (elle conduit à raisonner avec un hamiltonien plutôt qu'avec un pseudo-hamiltonien, comme on le verra plus loin). En s'affranchissant de cette condition, Weierstrass, ou d'autres avant lui, auraient pu formuler le Principe du maximum.

Condition de Carathéodory et équation d'Hamilton-Jacobi

Condition de Carathéodory

La condition de Carathéodory peut s'exprimer sous la forme suivante  : supposons qu'il existe une fonction continûment différentiable $S:(t,x)\mapsto S(t,x)$ telle que, en posant, comme on l'a déjà fait plus haut,

$u^{0}\left(t,x,p^{\prime }\right)={\underset {u}{\arg \max }}{\mathcal {H}}\left(t,x,u,p^{\prime }\right)$

(à supposer que le maximum existe et soit strict), $S$ soit solution de l'équation aux dérivées partielles « de Carathéodory »

${\frac {\partial S}{\partial t}}(t,x)=-{\mathcal {H}}(t,x,u^{0}(t,x,{\frac {\partial S}{\partial x}}(t,x)),{\frac {\partial S}{\partial x}}(t,x))$.

Alors la fonction optimale $x^{\ast }$ est solution de l'équation différentielle

${\dot {x}}^{\ast }\left(t\right)=u^{o}\left(t,x^{\ast }(t),{\frac {\partial S}{\partial x}}\left(t,x^{\ast }\left(t\right)\right)\right)$.

L'équation d'Hamilton-Jacobi-Bellman n'est qu'une reformulation de cette condition avec $\omega =-S+C^{te}$. Cette différence de notation vient du fait qu'en Calcul des variations, l'« action » S est minimisée entre l'instant initial $t_{0}$ et l'instant t courant, tandis que, suivant le Principe d'optimalité de Bellman, la fonction de Bellman $\omega$ est minimisée entre l'instant t courant et l'instant final $t_{f}$.

Équation d'Hamilton-Jacobi

La maximisation de ${\mathcal {H}}$ par rapport à u est effectuée sur un ouvert. La maximisation du pseudo-hamiltonien implique donc la condition d'Euler

${\frac {\partial {\mathcal {H}}}{\partial u}}\left(t,x,u,p^{\prime }\right)=0\Leftrightarrow p^{\prime }={\frac {\partial {\mathcal {L}}}{\partial u}}\left(t,x,u\right)$.

On peut écrire cette équation sous la forme $G(z,u)=0$ avec $z=(t,x,p^{\prime })$ et $G(z,u)=p^{\prime }-{\frac {\partial {\mathcal {L}}}{\partial u}}\left(t,x,u\right)$. Le théorème des fonctions implicites implique que si le pseudo-hamiltonien est régulier et ${\frac {\partial {\mathcal {L}}}{\partial u}}$ est de classe ${\mathcal {C}}^{1}$, u est une fonction implicite de classe ${\mathcal {C}}^{1}$ de z, qu'on peut écrire $u^{0}\left(z\right)$.

Soit alors l'hamiltonien

${\mathfrak {H}}(t,x,p^{\prime })={\mathcal {H}}\left(t,x,u^{0}(t,x,p^{\prime }),p^{\prime }\right)$.

On obtient à partir de l'équation de Carathéodory l'équation d'Hamilton-Jacobi habituelle

${\frac {\partial S}{\partial t}}+{\mathfrak {H}}(t,x,{\frac {\partial S}{\partial x}})=0$.

On a vu plus haut comment déduire le principe de Pontriaguine de l'équation d'Hamilton-Jacobi-Bellman en supposant $\omega$ de classe ${\mathcal {C}}^{2}$. On déduit exactement de la même manière toutes les conditions nécessaires de minimum fort du Calcul des variations de la condition de Carathéodory en supposant S de classe ${\mathcal {C}}^{2}$.

En particulier, les conditions nécessaires d'Euler-Lagrange, de Legendre et de Weierstrass sont des conséquences de la condition de Carathéodory si ${\mathcal {H}}$ est régulier et analytique, K est analytique, l'instant final est fixé et l'état final est libre. En effet, le théorème des fonctions implicites entraîne alors que $u^{0}$ est analytique ; donc ${\mathfrak {H}}$ l'est aussi, et le théorème de Cauchy-Kowalevski entraîne l'existence, dans un ouvert suffisamment petit, d'une solution unique S vérifiant, pour c fixé, la condition $S(t_{f},x_{f})=c-K(t_{f},x_{f})$, et cette solution est analytique. Cela n'est qu'un résultat local, mais il est de grande importance, puisqu'en physique notamment, le « Principe de moindre action » correct est local lui aussi, comme on le verra plus loin.

Commande « linéaire quadratique »

Position du problème

Depuis l'article publié par Kalman en 1960, la « commande linéaire quadratique » a fait l'objet de nombreuses investigations. Supposons que le système soit linéaire et de dimension finie, ayant pour équation d'état

${\dot {x}}=A\left(t\right)x+B\left(t\right)u$

où $t\mapsto A\left(t\right)$ et $t\mapsto B\left(t\right)$ sont des fonctions réglées de $\left[t_{0},t_{f}\right]$ dans $\mathbb {R} ^{n\times n}$ et $\mathbb {R} ^{n\times m}$ respectivement. Le critère est supposé quadratique, de la forme

$J=x_{f}^{T}P_{f}x_{f}+\int _{t_{0}}^{t_{f}}\left(x^{T}\left(t\right)Q\left(t\right)x\left(t\right)+u^{T}\left(t\right)R\left(t\right)u\left(t\right)\right)dt$

où $t\mapsto Q\left(t\right)$ (resp. $t\mapsto R\left(t\right)$) est une fonction réglée (resp. continue) de $\left[t_{0},t_{f}\right]$ dans $\mathbb {R} ^{n\times n}$ (resp. $\mathbb {R} ^{m\times m}$); $\left(.\right)^{T}$ désigne la transposée de la matrice $\left(.\right)$. Les matrices $Q\left(t\right)$ et $R\left(t\right)$ sont supposées symétriques réelles et $R\left(t\right)$ est supposée définie positive (en abrégé : $R(t)>0$) pour tout $t\in \left[t_{0},t_{f}\right]$. La matrice $P_{f}$ est supposée symétrique réelle semi-définie positive. L'instant final $t_{f}$ est fixé tandis que l'état final $x_{f}$ est libre.

Application du théorème de Bellman

Appliquons maintenant la méthode de la programmation dynamique, de manière à obtenir une condition suffisante d'optimalité (qui, dans le cas considéré, sera également nécessaire ; et l'on pourrait également appliquer le Principe du maximum, qui conduirait au même résultat). Pour cela, choisissons une « fonction de Bellman » de la forme

$\omega \left(t,\xi \right)=\xi ^{T}P\left(t\right)\xi .$

On a

${\mathcal {H}}\left(\tau ,\xi ,u,1,-{\frac {\partial \omega }{\partial x}}\left(\tau ,\xi \right)\right)=-2\xi ^{T}P\left(\tau \right)\left(A\left(\tau \right)\xi +B\left(\tau \right)u\right)-\left(\xi ^{T}Q\left(\tau \right)\xi +u^{T}R\left(\tau \right)u\right)$.

La fonction $u\mapsto {\mathcal {H}}\left(\tau ,\xi ,u,1,-{\frac {\partial \omega }{\partial x}}\left(\tau ,\xi \right)\right)$ est strictement concave sur $\mathbb {R} ^{m}$ (autrement dit, le pseudo-hamiltonien est régulier), par conséquent elle admet un maximum global unique déterminé par l'« égalité d'Euler »

${\frac {\partial {\mathcal {H}}}{\partial u}}\left(\tau ,\xi ,u,1,-{\frac {\partial \omega }{\partial x}}\left(\tau ,\xi \right)\right)=0$

ce qui donne $u^{\ast }\left(\tau ,\xi \right)=-R\left(\tau \right)^{-1}B^{T}\left(\tau \right)P\left(\tau \right)\xi .$ L'équation d'Hamilton-Jacobi-Bellman s'écrit donc (en omettant la dépendance des différentes matrices par rapport au temps pour alléger les notations)

$\xi ^{T}{\dot {P}}\xi =-2\xi ^{T}P\left(A\xi -BR^{-1}B^{T}\xi \right)-\left(\xi ^{T}Q\xi +\xi ^{T}PBR^{-1}B^{T}P\xi \right)$

ce qui conduit à choisir la fonction $\tau \rightarrow P\left(\tau \right)$ solution de l'équation de Riccati matricielle

$-{\dot {P}}=A^{T}P+PA-PBR^{-1}B^{T}P+Q$

avec la condition finale

$P\left(t_{f}\right)=P_{f}$.

Conditions de Jacobi

Sous les hypothèses considérées, le second membre de l'équation différentielle est une fonction localement lipschitzienne en P. Elle admet donc, avec la condition finale ci-dessus, une solution maximale unique $P\left(t;t_{f}\right)$ sur un intervalle $\left(t_{1},t_{f}\right]$ (ouvert ou fermé en $t_{1}$). On voit facilement que pour tout t dans cet intervalle, $P\left(t;t_{f}\right)$ est symétrique réelle. La théorie des équations différentielles implique que si $t_{1}>t_{0}$ ou si $t_{1}=t_{0}$ mais l'intervalle $\left(t_{1},t_{f}\right]$ est ouvert en $t_{1}$, alors $\lim \limits _{t\rightarrow t_{1},t\in \left]t_{1},t_{f}\right]}\left\Vert P\left(t;t_{f}\right)\right\Vert =+\infty$. L'instant $t_{1}$ est alors dit conjugué de l'instant $t_{f}$. (Souvent, en Calcul des variations, la notion de point conjugué est introduite plutôt pour un problème d'optimisation à état final fixé.) Le résultat suivant est maintenant clair :

Théorème (Jacobi) — Une condition nécessaire pour qu'il existe une commande optimale est qu'il n'existe pas de points conjugués dans l'intervalle $]t_{0},t_{f}]$ (condition faible de Jacobi). Une condition suffisante pour qu'il existe une commande optimale est qu'il n'existe pas de points conjugués dans l'intervalle $[t_{0},t_{f}]$ (condition forte de Jacobi).

On notera que les deux conditions suivantes sont équivalentes :

(1) La condition forte de Jacobi est satisfaite ;

(2) $\left\Vert P\left(t;t_{f}\right)\right\Vert$ est uniformément bornée (par rapport à t).

Théorème (Kalman, 1960) — Si pour tout $t\in [t_{0},t_{f}]$, $Q(t)$ est semi-définie positive (en abrégé, $Q(t)\geq 0$), alors la condition forte de Jacobi est satisfaite.

Démonstration

Soit $t\in [t_{0},t_{f}]$ un instant auquel $P\left(t;t_{f}\right)$ est définie, et soit $\Phi (.,t)$ la solution fondamentale définie par

${\frac {\partial \Phi }{\partial \tau }}\left(\tau ;t\right)=A\left(\tau \right)\Phi \left(\tau ;t\right)$, $\Phi (t;t)=I_{n}$.

Le théorème de Bellman implique que $\forall \xi \in \mathbb {R} ^{n}$,

$\xi ^{T}P\left(t;t_{f}\right)\xi \leq \int _{t}^{t_{f}}\xi ^{T}\Phi ^{T}\left(\tau ;t\right)Q\left(t\right)\Phi \left(\tau ;t\right)\xi d\tau$.

Par conséquent, si $Q(t)\geq 0$,

$\xi ^{T}P\left(t;t_{f}\right)\xi \leq \left\Vert \xi \right\Vert ^{2}\alpha \left(t_{0},t_{f}\right)$

où $\alpha \left(t_{0},t_{f}\right)=\int _{t}^{t_{f}}\left\Vert Q\left(t\right)\right\Vert \left\Vert \Phi \left(\tau ;t\right)\right\Vert ^{2}d\tau <\infty$, et finalement

$\Vert P\left(t;t_{f}\right)\Vert \leq \alpha \left(t_{0},t_{f}\right)$.

Expression de la commande optimale

Supposons $Q(t)\geq 0,\forall t\in [t_{0},t_{f}]$. La commande optimale est donc bien définie ; elle est linéaire et en boucle fermée, et donnée par

${\hat {u}}\left(t,x\right)=-K\left(t\right)x$, $K=R^{-1}B^{T}P$.

Notons que la valeur optimale du critère est $\omega \left(t_{0},x\left(t_{0}\right)\right)=x^{T}\left(t_{0}\right)P\left(t_{0};t_{f}\right)x\left(t_{0}\right).$

Pour les systèmes linéaires stationnaires (dont les matrices A et B ne dépendent pas du temps), on prend habituellement $P_{f}=0$, on choisit pour Q et R des matrices constantes, et on choisit un « horizon infini », à savoir que l'on prend $t_{f}\rightarrow +\infty$. Écrivons Q sous la forme: $Q=C^{T}C$. Soit les conditions suivantes :

(a) : Le système (ou, en abrégé, la paire $\left(A,B\right)$) est stabilisable.

(b) : La paire $\left(C,A\right)$ est détectable.

On a le résultat suivant:

Commande linéaire quadratique à horizon infini — 

Si la condition (a) est satisfaite, $P\left(t;t_{f}\right)$ admet pour $t_{f}\rightarrow +\infty$ une limite constante $P_{\infty }$ qui est une solution symétrique réelle semi-définie positive de l'« équation algébrique de Riccati »

$A^{T}P+PA-PBR^{-1}B^{T}P+Q=0$

et la commande optimale est $\left(t,x\right)\rightarrow {\hat {u}}\left(t,x\right)=-Kx$, $K=R^{-1}B^{T}P_{\infty }$.

On a l'équivalence suivante:

$(a)\&\left(b\right)\Leftrightarrow$ $P_{\infty }$ est l'unique solution symétrique réelle semi-définie positive de l'équation algébrique de Riccati ci-dessus et le système bouclé est exponentiellement stable.

Ces conditions étant satisfaites, la matrice $P_{\infty }$ est définie positive si, et seulement si $\left(C,A\right)$ est observable.

Cas d'un critère comprenant un terme croisé

On considère parfois un critère quadratique plus général, comprenant un terme croisé, de la forme

$J=x_{f}^{T}P_{f}x_{f}+\int _{t_{0}}^{t_{f}}\left({\begin{array}{cc}x^{T}(t)&u^{T}\left(t\right)\end{array}}\right)\left({\begin{array}{cc}Q(t)&S(t)\\S^{T}(t)&R(t)\end{array}}\right)\left({\begin{array}{c}x(t)\\u(t)\end{array}}\right)dt$

où les fonctions $t\mapsto Q\left(t\right)$, $t\mapsto R\left(t\right)$, $t\mapsto S\left(t\right)$ sont continues. Or on a l'identité

$\left({\begin{array}{cc}x^{T}&u^{T}\end{array}}\right)\left({\begin{array}{cc}Q&S\\S^{T}&R\end{array}}\right)\left({\begin{array}{c}x\\u\end{array}}\right)=x^{T}\left(Q-SRS^{T}\right)x+\left(u+R^{-1}S^{T}x\right)R\left(u+R^{-1}S^{T}x\right),$

par conséquent on se ramène au cas précédent en faisant le changement de variable $v=u+R^{-1}S^{T}x$ et en posant $Q_{1}=Q-SRS^{T}$.

Application à la Dynamique relativiste

Soit un point matériel de masse au repos $m_{0}$, placé dans un champ de force $U(x)$. Dans le cadre de la relativité restreinte, dans lequel on se place ici, l'action est donnée par

$S\left(t_{0},t_{f}\right)=\int _{t_{0}}^{t_{f}}\left(-m_{0}c^{2}{\sqrt {1-{\frac {\left\Vert u\right\Vert ^{2}}{c^{2}}}}}-U(x)\right)dt$

où $u={\dot {x}}$ et $c=c(x)$ est la vitesse de la lumière dans le milieu considéré. Le pseudo-hamiltonien est donné par

${\mathcal {H}}\left(x,u,p^{\prime }\right)=\left\langle p^{\prime }|u\right\rangle +m_{0}c^{2}{\sqrt {1-{\frac {\left\Vert u\right\Vert ^{2}}{c^{2}}}}}+U(x)$.

La première équation canonique de Hamilton redonne $u={\dot {x}}$

La maximisation du pseudo-hamiltonien se fait sur l'ensemble $\left\Vert u\right\Vert \leq c$.

1) Envisageons tout d'abord le cas classique où $\left\Vert u\right\Vert <c$. Si la vitesse c est constante, la seconde équation canonique de Hamilton donne

${\dot {p}}^{\prime }=-{\frac {\partial U}{\partial x}}$.

Le principe du maximum implique ${\frac {\partial {\mathcal {H}}}{\partial u}}=0$, d'où la relation bien connue

$p={\frac {m_{0}}{\sqrt {1-{\frac {\left\Vert u\right\Vert ^{2}}{c^{2}}}}}}u$

où le vecteur colonne p est le transposé du vecteur ligne $p^{\prime }$. 2) Considérons maintenant le cas où $\left\Vert u\right\Vert =c(x)$. Contrairement au précédent, ce cas ne relève pas du calcul des variations habituel. Le pseudo-hamiltonien est maximum lorsque

$p={\frac {\left\Vert p\right\Vert }{c(x)}}u$

et l'équation de Hamilton-Jacobi-Bellman devient l'équation eikonale

${\frac {\partial S}{\partial t}}+c\left(x\right)\left\Vert {\frac {\partial S}{\partial x}}\right\Vert +U(x)=0$,

classique lorsque $U(x)=0$.

Notes et références

Ouvrages ayant servi à établir le texte

• V. Alexéev, V. Tikhomirov et S. Fomine, Commande optimale, Mir, 1982, 447 p.
• (en) Brian D.O. Anderson et John B. Moore, Optimal Control, Prentice-Hall, 1989, 391 p. (ISBN 0-13-638651-2)
• (en) Richard Bellman, Dynamic Programming, Princeton University Press, 1957, 360 p. (ISBN 0-486-42809-5)
• L.S. Boltyanskii, Commande optimale des systèmes discrets, Mir, 1976, 467 p.
• Henri Bourlès, « Principe du maximum », dans H. Abou-Kandil (dir.), La commande optimale des systèmes dynamiques, Hermès-Science, 2004 (ISBN 2746209659), « 1 », p. 15-70
• (en) Constantin Carathéodory, Calculus of Variations and Partial Differential Equations of the First Order, American Mathematical Society, 1999, 402 p. (ISBN 0-8218-1999-2)
• (en) Frank H. Clarke, « The Maximum Principle under Minimal Hypotheses », SIAM J. Control Optim., vol. 14, n^o 6,‎ 1976, p. 1078-1091
• (en) Frank H. Clarke, Optimization and Nonsmooth Analysis, Philadelphie, Society for Industrial & Applied Mathematics,U.S., 1987, 308 p. (ISBN 0-89871-256-4, lire en ligne)
• (en) Hector H. Fattorini, Infinite Dimensional Optimization and Control, Cambridge, Cambridge University Press, 1999, 798 p. (ISBN 0-521-45125-6)
• (en) Wendell Helms Fleming et Raymond W. Rishel, Deterministic and Stochastic Optimal Control, Springer, 1975, 222 p. (ISBN 3-540-90155-8)
• (en) R.V. Gamkrelidze, « Discovery of the Maximum Principle », Journal of Dynamical and Control Systems, vol. 5, n^o 4,‎ 1999, p. 85-89
• (en) Herman H. Goldstine, A History of the Calculus of Variations from the 17th through the 19th Century, Springer-Verlag, 1980, 410 p. (ISBN 0-387-90521-9)
• (en) I .M. Gelfand et S. V. Fomin, Calculus Of Variations, New York, Dover Publications Inc., 2003, 232 p. (ISBN 0-486-41448-5)
• (en) Henrik Gorecki, Stanislaw Fuksa et Adam Korytowski, Analysis and Synthesis of Time Delay Systems, John Wiley & Sons, 1989, 382 p. (ISBN 0-471-27622-7)
• (en) U. G. Haussmann, « On the Stochastic Maximum Principle », SIAM J. Control and Optimization, vol. 16, n^o 2,‎ 1978, p. 236-269
• (en) Rudolph E. Kalman, « Contributions to the Theory of Optimal Control », Boletin de la Sociedad Mathematica Mexicana, vol. 5,‎ 1960, p. 102-119
• (en) Rudolph E. Kalman, Peter L. Falb et Michael Arbib, Topics in Mathematical System Theory, McGraw-Hill, 1969, 358 p. (ISBN 0-07-033255-X).
• (en) Huibert Kwakernaak et Raphael Sivan, Linear Optimal Control Systems, John Wiley & Sons Inc, 1972, 575 p. (ISBN 0-471-51110-2)
• (en) Serge Lang, Differential and Riemannian Manifolds, New York, Springer-Verlag, 1995, 364 p. (ISBN 0-387-94338-2, lire en ligne)
• (en) Xunjing Li et Jiongmin Yong, Optimal Control Theory for Infinite Dimensional Systems, Basel/Boston, Birkhäuser, 1994, 448 p. (ISBN 0-8176-3722-2)
• (en) Jacques Louis Lions, Contrôle optimal des systèmes gouvernés par des équations aux dérivées partielles, Dunod, 1968
• B.S. Mordukhovich, Variational Analysis and Generalized Differentiation II : Applications, Springer, 2006, 610 p. (ISBN 978-3-540-25438-6)
• (en) Lucien W. Neustadt, Optimization, A Theory of Necessary Conditions, Princeton Univ. Press, 1976, 440 p. (ISBN 0-691-08141-7).
• Robert Pallu de la Barrière, Cours d'automatique théorique, Dunod, 1966
• (en) Hans Joseph Pesh et Michael Plail, « The maximal principle of optimal control: A history of ingenious ideas and missed opportunities », Control and Cybernetics, vol. 38, n^o 4A,‎ 2009, p. 973-995 (lire en ligne)
• (en) Ivan Georgievich Petrovsky, Partial Differential Equations, New York, Dover, 1991, 245 p. (ISBN 0-486-66902-5, lire en ligne).
• (en) L.S. Pontryagin, V.G. Boltyansky, R.V. Gamkrelidze et E.F. Mishchenko, The Mathematical Theory of Optimal Processes, Interscience, 1962 (ISBN 2-88124-077-1)
• (en) Hector J. Sussmann et Jan C. Willems, « 300 Years of Optimal Control: From the Brachystochrone to the Maximal Principle », IEEE Control Systems, vol. 6,‎ 1997, p. 32-44
• (en) Richard Vinter, Optimal Control, Birkhäuser, 2000, 500 p. (ISBN 0-8176-4075-4, lire en ligne)

Autres ouvrages

• J.F. Bonnans et P. Rouchon, Commande et optimisation de systèmes dynamiques, Palaiseau, Editions de l'Ecole Polytechnique, 2005, 280 p. (ISBN 2-7302-1251-5)
• (en) Arthur E. Bryson et Yu-Chi Ho, Applied Optimal Control (Revised Ed.), Taylor & Francis Inc, 1988, 496 p. (ISBN 0-89116-228-3)
• (en) Giorgio Fabbri, Marco Fuhrman, Fausto Gozzi, Andrzej Święch et Giammario Tessitore, Stochastic optimal control in infinite dimension : dynamic programming and HJB equations, Cham, Springer International Publishing, 2017, XXIII-916 p. (ISBN 978-3319530666, lire en ligne)

Articles connexes

• Calcul des variations
• Commande LQ
• Commande LQG
• Commande Hinfini
• Commande par retour d'état