Optimal control of stochastic reaction-diffusion equations
Wessels, Lukas
In this dissertation, we consider finite-horizon optimal control problems governed by stochastic partial differential equations (SPDEs).
In the first part, we derive necessary optimality conditions in terms of adjoint processes as well as the value function. First, we give characterizations of the adjoint processes as solutions of backward stochastic differential equations (BSDEs). In particular, the operator-valued second order adjoint process is represented via its integral kernel, allowing for a characterization as the solution of a function-valued BSDE. Using these BSDEs, we prove Peng's maximum principle for controlled SPDEs. Furthermore, we derive necessary optimality conditions relating the adjoint states to the viscosity differential of the value function evaluated along the optimal trajectory. This extends a well-known relationship between Peng's maximum principle and the dynamic programming approach to the case of controlled SPDEs.
The second part of this dissertation is devoted to sufficient optimality conditions. First, we derive a sufficient optimality condition in terms of the value function. This result exhibits a link between the necessary and the sufficient optimality conditions. Combining this result with a well-known result that identifies the value function as the unique $B$-continuous viscosity solution of the Hamilton-Jacobi-Bellman equation, we prove a stochastic verification theorem for controlled semilinear SPDEs in the framework of viscosity solutions.
In the last part of this dissertation, we analyze an optimal control problem governed by the stochastic Nagumo model with a view towards efficient numerical approximations. Due to the cubic nonlinearity, our previous results based on global Lipschitz assumptions are not directly applicable in this situation. Therefore, we first investigate the well-posedness of the control problem, and derive a local necessary optimality condition in the spirit of Pontryagin's maximum principle. Next, we show how the restriction to additive noise allows for a simplification of the backward SPDE characterizing the adjoint state to a random backward PDE, which in turn significantly reduces the computational complexity of the approximation of the adjoint state. Finally, we develop a gradient descent method for the approximation of optimal controls and present numerical examples.
In dieser Dissertation untersuchen wir die Kontrolle von stochastischen partiellen Differentialgleichungen über einen endlichen Zeithorizont.
Im ersten Teil leiten wir mit Hilfe der adjungierten Zustände und der Wertefunktion notwendinge Optimalitätsbedingungen her. Zunächst charakteriseren wir die adjungierten Zustände als Lösungen stochastischer Rückwärtsgleichungen. Insbesondere identifizieren wir den zweiten adjungierten Zustand mit seinem Integralkern, was es uns erlaubt eine funktionswertige stochastische Rückwärtsgleichung herzuleiten. Unter Verwendung dieser Darstellungen beweisen wir Pengs Maximumprinzip für kontrollierte stochastische partielle Differentialgleichungen. Darüberhinaus leiten wir notwendige Optimalitätsbedingungen her, die die adjungierten Zustände mit der Wertefunktion ausgewertet entlang der optimalen Trajektorie in Verbindung setzen.
Der zweite Teil dieser Dissertation beschäftigt sich mit hinreichenden Optimalitätsbedingungen. Zunächst leiten wir eine hinreichende Optimalitätsbedingung mit Hilfe der Wertefunktion her. Dieses Resultat stellt einen Zusammenhang zwischen notwendigen und hinreichenden Optimalitätsbedingungen her. Bekanntermaßen lässt sich die Wertefunktion unter zusätzlichen Regularitätsannahmen an die Koeffizienten des Kontrollproblems als Viskositätslösung der Hamilton-Jacobi-Bellman-Gleichung charakterisieren. Als Korollar leiten daraus ein stochastisches Verifikationstheorem für kontrollierte semilineare stochastische partielle Differentialgleichungen im Rahmen der Viskositätslösungen her.
Im letzten Teil betrachten wir ein Kontrollproblem, bei dem der Zustand durch die Nagumo-Gleichung modelliert wird. Aufgrund des polynomiellen Wachstums der Nichtlinearität in der Nagumo-Gleichung lassen sich die Resultate der ersten beiden Teile, die auf globalen Lipschitz-Annahmen beruhen, nicht direkt auf dieses Modell anwenden. Daher untersuchen wir zunächst die Wohlgestelltheit des zugehörigen Kontrollproblems und leiten notwendige Optimalitätsbedingungen her. Außerdem zeigen wir, dass der adjungierte Zustand im Fall von additivem Rauschen in der Zustandsgleichung als Lösung einer partiellen Differentialgleichugen mit zufälliger terminaler Bedingung charakterisiert werden kann. Diese Gleichung reduziert die Komplexität der numerische Approximation des adjungierten Zustandes erheblich. Abschließend entwickeln wir ein Gradientenabstiegsverfahren zur Approximation optimaler Kontrollen und führen numerische Simulationen durch.
