De manière plus précise, le gradient projeté est la projection orthogonale du gradient en un point de la fonction que l'on cherche à minimiser, projection sur l'opposé du cône tangent au point à l'ensemble admissible du problème, supposé convexe.
Alors le gradient projeté en est le vecteur défini par[1]
D'après la première expression, il s'agit de la projection orthogonale du gradient sur , qui est l'opposé du cône tangent à en (c'est un cône convexe fermé lorsque est convexe comme ici). D'après la seconde expression, on peut aussi dire que l'opposé du gradient projeté, , est la projection orthogonale de l'opposé du gradient, , sur le cône tangent .
Le gradient projeté peut être utilisé pour exprimer l'optimalité du problème au premier ordre. On sait en effet que, si est solution du problème et si est différentiable en , alors est dans le cône dual du cône tangent à en , ce qui veut dire que , pour toute direction tangente . Cela s'écrit de manière compacte comme suit
On montre facilement que cette condition d'optimalité du premier ordre géométrique est équivalente à la nullité du gradient projeté :
Dans l'algorithme du gradient projeté, on examine depuis un itéré , l'allure de la fonction à minimiser le long du chemin obtenu en projetant sur le chemin , où . Cette projection se confond avec le chemin , où , tant que reste dans . C'est ce qu'affirme le résultat suivant.
Projection du chemin de plus forte pente — Quel que soit , on a
De plus, lorsque est polyédrique, ces propriétés ont lieu pour tout petit.
Le concept de gradient projeté s'utilise surtout lorsque la projection sur l'opposé du cône tangent est une opération aisée. C'est le cas si est le pavé
où les bornes et peuvent prendre des valeurs infinies et vérifient .
Soit . Alors, le cône tangent à en est donné par
Dès lors, si l'on munit du produit scalaire euclidien , on a
Donc, la condition d'optimalité du premier ordre s'écrit aussi
(en) P.H. Calamai, J.J. Moré (1987). Projected gradient methods for linearly constrained problems. Mathematical Programming, 39, 93-116. doi
(en) J.J. Moré, G. Toraldo (1991). On the solution of large quadratic programming problems with bound constraints. SIAM Journal on Optimization, 1, 93–113. doi