Exponential ReLU DNN Expression of Holomorphic Maps in High Dimension

Abstract

Abstract For a parameter dimension $$d\in {\mathbb {N}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mi>d</mml:mi> <mml:mo>∈</mml:mo> <mml:mi>N</mml:mi> </mml:mrow> </mml:math> , we consider the approximation of many-parametric maps $$u: [-\,1,1]^d\rightarrow {\mathbb R}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mi>u</mml:mi> <mml:mo>:</mml:mo> <mml:msup> <mml:mrow> <mml:mo>[</mml:mo> <mml:mo>-</mml:mo> <mml:mspace/> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mn>1</mml:mn> <mml:mo>]</mml:mo> </mml:mrow> <mml:mi>d</mml:mi> </mml:msup> <mml:mo>→</mml:mo> <mml:mi>R</mml:mi> </mml:mrow> </mml:math> by deep ReLU neural networks. The input dimension d may possibly be large, and we assume quantitative control of the domain of holomorphy of u : i.e., u admits a holomorphic extension to a Bernstein polyellipse $${{\mathcal {E}}}_{\rho _1}\times \cdots \times {{\mathcal {E}}}_{\rho _d} \subset {\mathbb {C}}^d$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msub> <mml:mi>E</mml:mi> <mml:msub> <mml:mi>ρ</mml:mi> <mml:mn>1</mml:mn> </mml:msub> </mml:msub> <mml:mo>×</mml:mo> <mml:mo>⋯</mml:mo> <mml:mo>×</mml:mo> <mml:msub> <mml:mi>E</mml:mi> <mml:msub> <mml:mi>ρ</mml:mi> <mml:mi>d</mml:mi> </mml:msub> </mml:msub> <mml:mo>⊂</mml:mo> <mml:msup> <mml:mrow> <mml:mi>C</mml:mi> </mml:mrow> <mml:mi>d</mml:mi> </mml:msup> </mml:mrow> </mml:math> of semiaxis sums $$\rho _i&gt;1$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msub> <mml:mi>ρ</mml:mi> <mml:mi>i</mml:mi> </mml:msub> <mml:mo>&gt;</mml:mo> <mml:mn>1</mml:mn> </mml:mrow> </mml:math> containing $$[-\,1,1]^{d}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msup> <mml:mrow> <mml:mo>[</mml:mo> <mml:mo>-</mml:mo> <mml:mspace/> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mn>1</mml:mn> <mml:mo>]</mml:mo> </mml:mrow> <mml:mi>d</mml:mi> </mml:msup> </mml:math> . We establish the exponential rate $$O(\exp (-\,bN^{1/(d+1)}))$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mi>O</mml:mi> <mml:mo>(</mml:mo> <mml:mo>exp</mml:mo> <mml:mrow> <mml:mo>(</mml:mo> <mml:mo>-</mml:mo> <mml:mspace/> <mml:mi>b</mml:mi> <mml:msup> <mml:mi>N</mml:mi> <mml:mrow> <mml:mn>1</mml:mn> <mml:mo>/</mml:mo> <mml:mo>(</mml:mo> <mml:mi>d</mml:mi> <mml:mo>+</mml:mo> <mml:mn>1</mml:mn> <mml:mo>)</mml:mo> </mml:mrow> </mml:msup> <mml:mo>)</mml:mo> </mml:mrow> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> of expressive power in terms of the total NN size N and of the input dimension d of the ReLU NN in $$W^{1,\infty }([-\,1,1]^d)$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msup> <mml:mi>W</mml:mi> <mml:mrow> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mi>∞</mml:mi> </mml:mrow> </mml:msup> <mml:mrow> <mml:mo>(</mml:mo> <mml:msup> <mml:mrow> <mml:mo>[</mml:mo> <mml:mo>-</mml:mo> <mml:mspace/> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mn>1</mml:mn> <mml:mo>]</mml:mo> </mml:mrow> <mml:mi>d</mml:mi> </mml:msup> <mml:mo>)</mml:mo> </mml:mrow> </mml:mrow> </mml:math> . The constant $$b&gt;0$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mi>b</mml:mi> <mml:mo>&gt;</mml:mo> <mml:mn>0</mml:mn> </mml:mrow> </mml:math> depends on $$(\rho _j)_{j=1}^d$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msubsup> <mml:mrow> <mml:mo>(</mml:mo> <mml:msub> <mml:mi>ρ</mml:mi> <mml:mi>j</mml:mi> </mml:msub> <mml:mo>)</mml:mo> </mml:mrow> <mml:mrow> <mml:mi>j</mml:mi> <mml:mo>=</mml:mo> <mml:mn>1</mml:mn> </mml:mrow> <mml:mi>d</mml:mi> </mml:msubsup> </mml:math> which characterizes the coordinate-wise sizes of the Bernstein-ellipses for u . We also prove exponential convergence in stronger norms for the approximation by DNNs with more regular, so-called “rectified power unit” activations. Finally, we extend DNN expression rate bounds also to two classes of non-holomorphic functions, in particular to d -variate, Gevrey-regular functions, and, by composition, to certain multivariate probability distribution functions with Lipschitz marginals.

Topics & Concepts