Théorème d'approximation universelle

Dans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle indique qu'un réseau à propagation avant d'une seule couche cachée contenant un nombre fini de neurones (c'est-à-dire, un perceptron multicouche) peut approximer des fonctions continues sur des sous-ensembles compacts de Rⁿ.

Histoire

Une des premières versions du cas avec largeur arbitraire a été prouvé par George Cybenko en 1989 pour des fonctions d'activation sigmoïdes. Kurt Hornik a montré en 1991 que ce n'est pas le choix spécifique de la fonction d'activation, mais plutôt l'architecture multi-couches à propagation avant elle-même qui donne aux réseaux de neurones le potentiel d'être des approximateurs universels. Moshe Leshno et al en 1993 et plus tard Allan Pinkus en 1999 ont montré que la propriété d'approximation universelle est équivalente à l'utilisation d'une fonction d'activation non-polynomiale.

Le cas avec profondeur arbitraire a aussi été étudié par nombre d'auteurs, comme Zhou Lu et al en 2017, Boris Hanin et Mark Sellke en 2018, et Patrick Kidger et Terry Lyons en 2020. Le résultat sur la largeur minimale par couche a été raffiné en 2020 pour les réseaux résiduels.

Plusieurs extensions du théorème existent, comme celle à des fonctions d'activation discontinues, à des domaines non compacts, à des réseaux certifiables, et à des architectures de réseaux et des topologies alternatives.

Cas avec largeur arbitraire

On note $C(X,Y)$ l'ensemble des fonctions continues d'un ensemble $X$ vers un ensemble $Y$. La forme classique du théorème d'approximation universelle pour une largeur arbitraire et une profondeur bornée est la suivante. Elle étend les résultats classiques de George Cybenko and Kurt Hornik.

Théorème d'approximation universelle. Soit $\sigma \in C(\mathbb {R} ,\mathbb {R} )$. Notons que $(\sigma \circ x)_{i}=\sigma (x_{i})$, c'est-à-dire que $\sigma \circ x$ représente l'application de $\sigma$ à chacune des composantes de $x$^[pas clair].

Alors $\sigma$ n'est pas polynomiale si et seulement si pour tout $n\in \mathbb {N}$, $m\in \mathbb {N}$, pour tout sous-espace compact $K\subseteq \mathbb {R} ^{n}$, pour tout $f\in C(K,\mathbb {R} ^{m})$ et pour tout $\varepsilon >0$, il existe $k\in \mathbb {N}$, $A\in \mathbb {R} ^{k\times n}$, $b\in \mathbb {R} ^{k}$ et $C\in \mathbb {R} ^{m\times k}$, tels que :

$$\sup _{x\in K}\|f(x)-g(x)\|<\varepsilon$$

où

$$g(x)=C\cdot (\sigma \circ (A\cdot x+b))$$

Une telle fonction $f$ peut également être approximée par un réseau de plus grande profondeur en utilisant la même construction pour les deux premières couches $A$ et $C$ et en utilisant la fonction identité pour les couches ultérieures.

Cas avec profondeur arbitraire

Les versions 'duales' du théorème considèrent des réseaux de largeur bornée et de profondeur arbitraire. Une variante du théorème d'approximation universelle a été prouvée pour le cas de la profondeur arbitraire par Zhou Lu et al. en 2017. Ils ont montré que les réseaux de largeur n+4 avec fonction d'activation ReLU peuvent approximer n'importe quelle fonction intégrable au sens de Lebesgue sur un espace d'entrée de dimension n muni de la distance $L^{1}$ à condition d'autoriser la profondeur du réseau à croître. Il a aussi été montré que si la largeur était inférieure ou égal à n, cette possibilité générale d'approximer toute fonction intégrable au sens de Lebesgue était perdue. Dans le même article il est montré que les réseaux ReLU de largeur n+1 sont suffisants pour approximer n'importe quelle fonction continue à variables d'entrée de dimension n. Le raffinement suivant précise la largeur minimale optimale pour laquelle une telle approximation est possible et est dû à Sejun Park et al.

Théorème d'approximation universelle (distance L1, activation ReLU, profondeur arbitraire, largeur minimale). Pour toute fonction Bochner–Lebesgue p-integrable $f:\mathbb {R} ^{n}\rightarrow \mathbb {R} ^{m}$ et tout $\epsilon >0$, il existe un réseau ReLU entièrement connecté $F$ de largeur exactement $d_{m}=\max\{{n+1},m\}$, satisfaisant:

$\int _{\mathbb {R} ^{n}}\left\|f(x)-F_{}(x)\right\|^{p}\mathrm {d} x<\epsilon$.

En outre, il existe une fonction $f\in L^{p}(\mathbb {R} ^{n},\mathbb {R} ^{m})$ et un certain $\epsilon >0$, pour lesquels il n'existe pas de réseau ReLU entièrement connecté de largeur inférieure à $d_{m}=\max\{{n+1},m\}$ satisfaisant la borne d'approximation ci-dessus.

Par ailleurs, le résultat central de fournit le théorème d'approximation universelle suivant pour les réseaux à largeur bornée:

Théorème d'approximation universelle (activation non-affine, profondeur arbitraire, largeur constrainte). Soit ${\mathcal {X}}$ un sous-ensemble compact de $\mathbb {R} ^{d}$. Soit $\sigma :\mathbb {R} \to \mathbb {R}$ une transformation non-affine continue qui soit continûment différentiable en au moins un point, avec des dérivées non nulles en ce point. Soit ${\mathcal {N}}_{d,D:d+D+2}^{\sigma }$ l'espace des réseaux de neurones à propagation avant ayant $d$ neurones d'entrée, $D$ neurones de sortie, et un nombre arbitraire de couches cachées, chacune ayant $d+D+2$ neurones, et telles que tout neurone caché ait $\sigma$ comme fonction d'activation et que tout neurone de sortie ait l'identité comme fonction d'activation.

Alors pour tout $\varepsilon >0$ et tout $f\in C({\mathcal {X}},\mathbb {R} ^{D})$, il existe ${\hat {f}}\in {\mathcal {N}}_{d,D:d+D+2}^{\sigma }$ telle que:

$\sup _{x\in {\mathcal {X}}}\,\left\|{\hat {f}}(x)-f(x)\right\|<\varepsilon .$

En d'autres termes, ${\mathcal {N}}$ est dense dans $C({\mathcal {X}};\mathbb {R} ^{D})$ muni de la topologie de la convergence uniforme.

Certaines conditions nécessaires pour le cas largeur bornée, profondeur arbitraire ont été établies, mais il y a encore un écart entre les conditions nécessaires et les conditions suffisantes connues.

Informatique quantique

Les réseaux de neurones quantiques peuvent être exprimés par différents outils mathématiques pour les circuits ordinateurs quantiques, allant du perceptron quantique aux circuits quantiques variationnels, tous deux basés sur des combinaisons de portes logiques quantiques. Les circuits quantiques variationnels sont basés sur un circuit paramétrique, n'impliquant pas de réseaux de neurones. Au lieu de cela, le perceptron quantique permet la conception d'un réseau de neurones quantiques avec la même structure que les réseaux de neurones à réaction, à condition que le comportement de seuil de chaque nœud n'implique pas l'effondrement de l'état quantique, c'est-à-dire aucun processus de mesure. En 2022, un tel bloc de construction sans mesure fournissant le comportement de la fonction d'activation pour les réseaux de neurones quantiques a été conçu . Le circuit quantique renvoie une approximation arbitraire des fonctions d'écrasement dans l'intervalle de -1 à +1, ce qui est pertinent pour les qubits. Une telle méthode pour concevoir des fonctions d'activation quantiques arbitraires permet des multi-perceptrons quantiques et des réseaux de neurones à réaction quantique en général.