Ein SQP-Verfahren zur nichtlinearen, stochastischen Optimierung - Konvergenztheorie

Bachelorarbeit aus dem Jahr 2024 im Fachbereich Mathematik - Angewandte Mathematik, Note: 1,0, Friedrich-Alexander-Universität Erlangen-Nürnberg (Department Mathematik), Sprache: Deutsch, Abstract: In dieser Arbeit befassen wir uns mit der Entwicklung und Analyse eines Verfahrens zur Lösung kontinuierlicher, gleichungsrestringierter, nichtlinearer und stochastischer Optimierungsprobleme. Dabei sei die Funktion, welche die Nebenbedingungen beschreibt, eine deterministische Abbildung. Die Zielfunktion hingegen sei stochastisch, d.h., sie ist gegeben durch den Erwartungswert einer messbaren Abbildung, verknüpft mit einer Zufallsvariablen, die einer unbekannten Verteilung folgt. Daher verfügen wir nicht über die Mittel, um den Gradienten der Zielfunktion auswerten zu können. Zielfunktionen dieser Form treten häufig in der Analyse und Prognose von vorhandenen Daten sowie beim maschinellen Lernen auf. Motiviert durch die Anwendung des stochastischen Gradientenverfahrens im unrestringierten Fall, welches in jeder Iteration den unbekannten Gradienten durch einen Zufallsvektor approximiert, ist unser Ziel die Entwicklung eines Algorithmus zur Lösung restringierter Optimierungsprobleme, der die Ansätze der sequentiellen quadratischen Programmierung mit der Theorie dieser stochastischen Approximation kombiniert. Dass diese Approximation im Falle des deterministischen Gradientenverfahrens erfolgreich funktioniert, wird aus den starken Konvergenzresultaten ersichtlich.Es stellt sich die bedeutsame Frage, wie erfolgreich sich die Technik der stochastischen Approximation mit der Theorie der sequentiellen quadratischen Programmierung vereinbaren lässt, um restringierte, stochastische Optimierungsprobleme lösen zu können. Wir möchten einen Algorithmus konstruieren, der Konvergenzeigenschaften besitzt, die vergleichbar mit den Konvergenzresultaten des stochastischen Gradientenverfahrens im unrestringierten Setting sind.Die ersten beiden Kapitel der Arbeit präsentieren elementare Grundlagen der Analysis, der linearen Algebra und der Wahrscheinlichkeitstheorie, die für unsere Konvergenzanalyse von großer Bedeutung sein werden. Der Hauptgegenstand des dritten Abschnitts werden eine Einführung in die Theorie der sequentiellen quadratischen Programmierung und die darauf aufbauende Konstruktion des stochastischen SQP-Verfahrens darstellen. Im vierten Kapitel werden wir diesen Algorithmus als stochastischen Prozess in einem geeigneten wahrscheinlichkeitstheoretischen Setting modellieren. Dieses wahrscheinlichkeitstheoretische Modell wird einen formalen Rahmen bieten, innerhalb dessen im letzten Abschnitt der Beweis der Konvergenz erfolgen wird.