A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

Techniklexikon.net

Ausgabe

Lexikon der Technik / Methode der kleinsten Quadrate

Techniklexikon

Methode der kleinsten Quadrate

Autor
Autor:
Karl-Wilhelm Steinfieber

Mathematische Methoden und Computereinsatz

bottom:.0001pt\'>Im Jahre 1805 publizierte A. Legendre als erster einen Aufsatz über die Methode der kleinsten Quadrate (MdkQ) und wandte sie auf die Auswertung der im Jahre 1795 gewonnenen Daten der Vermessung des französischen Meridians an. Im Jahr 1809 erbringt F. Gauss, der behauptet, die MdkQ schon seit 1795 zu benutzen, in Theoria Motus Corporum Coelestium die Begründung der Methode auf Basis normalverteilter Fehler. Er zeigt ferner, wie sich die Fehler der bestimmten Parameter schätzen lassen und sich die Methode auf nichtlineare Probleme durch Linearisierung erweitern lässt. Tatsächlich scheint Gauss die MdkQ seit 1795 benutzt zu haben, ist aber durch Legendres Veröffentlichung vermutlich erst auf die weitreichende Bedeutung dieser Methode aufmerksam geworden.

bottom:.0001pt\'>Seit den Tagen von Legendre und Gauss hat die Methode viele Verbesserungen und Erweiterungen erfahren. Stabile numerische Verfahren wurden entwickelt, um grosse Datenmengen auszuwerten, um Ausgleichsprobleme mit stochastischen Randbedingungen zu lösen, um die unabhängige Messgrösse (meist Zeit) ebenfalls als fehlerbehaftet zu behandeln (total least squares) oder um die Methode auf Modelle anzuwenden, denen Differentialgleichungsmodelle zugrunde liegen. Die Lösung von Ausgleichsproblemen in Verbindung mit Differentialgleichungsmodellen ist sehr wesentlich für die physikalisch-fundierten Naturwissenschaften, aber auch z.B. für die Biologie. Ein schwerwiegender Nachteil der klassischen MdkQ ist die Beschränkung, dass explizite Modelle - meist Geraden oder Polynome - angepasst werden. Da viele naturwissenschaftliche Fragestellungen, z.B. bei der Untersuchung dynamischer Systeme in Physik, Astronomie und Astrophysik, aber auch in der Ökologie, jedoch auf Differentialgleichungen führen, deren Lösungen nicht in geschlossener Form dargestellt werden können, gewinnen numerische Verfahren an Bedeutung, die die MdkQ mit Differentialgleichungsansätzen verbinden und die Differentialgleichungen als diskretisierte Nebenbedingungen simultan mit einbeziehen; dieser Ansatz lässt sich übrigens auf jegliche Art implizit vorgegebener Modelle erweitern und führt in natürlicher Weise auf Verfahren zur optimalen Steuerung.
character:line-break\'>
character:line-break\'>

bottom:.0001pt\'>1 Unbeschränkte Ausgleichsprobleme

bottom:.0001pt\'>Ein unbeschränktes Ausgleichsproblem mit n freien Parametern Methode der kleinsten Quadrate im Sinne der Methode der kleinsten Quadrate kann als ein unbeschränktes Minimierungsproblem mit einer Zielfunktion der Form Methode der kleinsten Quadrate

bottom:.0001pt\'>mit Methode der kleinsten Quadrate aufgefasst werden. Diese Form resultiert z.B. aus einem nichtlinearen überbestimmten Gleichungssystem

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>oder einem Ausgleichsproblem mit N gegebenen Datenpunkten Methode der kleinsten Quadrate und Varianzen Methode der kleinsten Quadrate, einer Modellfunktion Methode der kleinsten Quadrate und n zu bestimmenden Parametern Methode der kleinsten Quadrate:

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Die Gewichte Methode der kleinsten Quadrate leiten sich aus den Varianzen Methode der kleinsten Quadrate gemäss der Beziehung

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>ab, mit einem passend gewählten Skalierungsfaktor, der die Gewichte möglichst in der Grössenordnung 1 hält. In der kürzeren Vektorschreibweise erhält man für den Residuenvektor

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit Methode der kleinsten Quadrate. Der Residuenvektor (2) beschreibt den auf die unabhängige Koordinatenachse (t mit Index n) projizierten Abstand. In manchen Anwendungen wird stattdessen auch der orthogonale Abstand eines Messpunktes von der Modellkurve als Mass der Güte verwendet (total least squares, TLS). Im Falle von TLS hat der Residuenvektor Methode der kleinsten Quadrate die Gestalt

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Zu beachten ist, dass die vormals unabhängige Grösse Methode der kleinsten Quadrate jetzt ebenfalls mit Hilfe der MdkQ bestimmt wird. TLS-Probleme sind immer nichtlinear.

bottom:.0001pt\'>Es ist wichtig, bei praktischen Anwendungen ein verlässliches Mass für die Varianzen und damit für die Gewichte im Ausgleichsfunktional zu haben und auch sicherzustellen, dass die Fehler der Messungen normalverteilt sind.

bottom:.0001pt\'>Vor Behandlung des allgemeinen nichtlinearen Falles ist es sinnvoll, zunächst den linearen Fall Methode der kleinsten Quadrate zu behandeln, da das lineare Ausgleichsproblem in der iterativen Lösung des nichtlinearen Falls als häufig zu lösendes Unterproblem auftritt.
character:line-break\'>
character:line-break\'>

bottom:.0001pt\'>Der lineare Fall: Die Normalgleichungen

bottom:.0001pt\'>Der gewichtete Residuenvektor

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit Methode der kleinsten Quadrate und Methode der kleinsten Quadrate ist linear in Methode der kleinsten Quadrate und führt zu einem linearen Ausgleichsproblem im Sinne der kleinsten Quadrate

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit konstanter Matrix Methode der kleinsten Quadrate. Ein Spezialfall des linearen Ausgleichsproblems ist die lineare Regression, der das Problem zugrunde liegt, durch eine Menge von Messpunkten eine Gerade zu legen. Das lineare Ausgleichsproblem besitzt mindestens eine Lösung Methode der kleinsten Quadrate, die jedoch nicht notwendigerweise eindeutig ist. Bezeichnet Methode der kleinsten Quadrate eine weitere Lösung, so gilt Methode der kleinsten Quadrate. Alle Lösungen von (3) erfüllen die NormalgleichungenMethode der kleinsten Quadrate

bottom:.0001pt\'>als notwendige Bedingungen. Lösungen von (4) sind ihrerseits Lösungen von (3), d.h. die Normalgleichungen sind die notwendigen und hinreichenden Bedingungen für die Existenz und Bestimmung der Ausgleichslösung im Sinne der kleinsten Quadrate.

bottom:.0001pt\'>Der Betrag Methode der kleinsten Quadrate des Residuenvektors Methode der kleinsten Quadrate der Lösung ist eindeutig bestimmt durch

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Hat Methode der kleinsten Quadrate vollen Rang, so besitzt (3) eine eindeutige Lösung und es existiert eine eindeutige Lösung für Methode der kleinsten Quadrate, die als Lösung des linearen Gleichungssystems Methode der kleinsten Quadrate bestimmt werden kann. In diesem Fall gilt Methode der kleinsten Quadrate, d.h. die symmetrische Matrix Methode der kleinsten Quadrate hat vollen Rang. Unter numerischen Gesichtspunkten sollten Ausgleichsprobleme möglichst nicht direkt mit Hilfe der Normalgleichungen gelöst werden, da hier aus den folgenden Gründen grosse Vorsicht geboten ist:

bottom:.0001pt\'>· die Berechnung Methode der kleinsten Quadrate erfordert die Auswertung von Skalarprodukten (wegen des Verlustes signifikanter Stellen bei Addition und Subtraktion von Zahlen ähnlicher Grössenordnung sollte dies vermieden werden);

bottom:.0001pt\'>· mögliche grosse Fehlerfortpflanzung der Fehler des Terms Methode der kleinsten Quadrate der rechten Seite bei der Lösung der Normalgleichungen, da die Fehlerfortpflanzung proportional zur Konditionszahl Methode der kleinsten Quadrate ist; misst man die Norm einer Matrix in der euklidischen Norm, so ist Methode der kleinsten Quadrate gerade das Verhältnis des grössten zum kleinsten Eigenwert.

bottom:.0001pt\'>Mit Hilfe von Orthogonalisierungsverfahren kann das lineare Ausgleichsverfahren nur mit Hilfe der Matrix Methode der kleinsten Quadrate gelöst werden und bedarf nicht des Produktes Methode der kleinsten Quadrate.
character:line-break\'>
character:line-break\'>

bottom:.0001pt\'>Der lineare Fall: Ein Orthogonalisierungsverfahren

bottom:.0001pt\'>Numerische Probleme, die sich aus grossen Konditionszahlen von Methode der kleinsten Quadrate ergeben, können begrenzt werden, indem man sich auf Lösungsverfahren beschränkt, die nur auf Methode der kleinsten Quadrate direkt aufbauen. Orthogonalisierungsverfahren zur Lösung linearer Ausgleichsprobleme basieren auf orthogonalen Transformationen Methode der kleinsten Quadrate; diese lassen die euklidische Norm von Matrizen invariant und führen zu numerisch stabilen Verfahren zur Lösung von Ausgleichsproblemen. Householder-Transformationen sind eine spezielle Variante othogonaler Transformationen. Die Matrix Methode der kleinsten Quadrate wird dabei so transformiert, dass

bottom:.0001pt\'>1) die Lösung des Problems unverändert bleibt,

bottom:.0001pt\'>2) die Konditionszahl Methode der kleinsten Quadrate der transformierten Matrix nicht grösser als Methode der kleinsten Quadrate ist und

bottom:.0001pt\'>3) die transformierte Matrix Methode der kleinsten Quadrate eine triangulare Struktur hat, die sich gut für numerische Berechnungen eignet.

bottom:.0001pt\'>Sei Methode der kleinsten Quadrate, eine Folge von Householder-Transformationen, d.h. von speziellen Matrizen der Form

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>wobei Methode der kleinsten Quadrate die Methode der kleinsten Quadrate-Einheitsmatrix und Methode der kleinsten Quadrate einen beliebigen n-dimensionalen Vektor bezeichnet. Householder-Transformationen Methode der kleinsten Quadrate sind Spiegelungen des Vektorraums Methode der kleinsten Quadrate bezüglich des orthogonalen Komplements

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>und sind unitär, ebenso wie das Produkt Methode der kleinsten Quadrate. Der Vektor w kann nun derart gewählt werden, dass Methode der kleinsten Quadrate einen gegebenen Vektor Methode der kleinsten Quadrate, dessen erste Komponente von Null verschieden ist (falls Methode der kleinsten Quadrate, kann dies durch geeignete Permutation stets erreicht werden; im Fall Methode der kleinsten Quadrate ist nichts zu tun), auf ein Vielfaches des ersten Einheitsvektors Methode der kleinsten Quadrate abbildet, d.h.

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Für einen von Null verschiedenen Vektor impliziert dies die folgenden Formeln zur Berechnung von Householder Transformationen:

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Hat die Matrix Methode der kleinsten Quadrate n linear unabhängige Spaltenvektoren Methode der kleinsten Quadrate, so lassen sich die Matrizen Methode der kleinsten Quadrate und der Vektor Methode der kleinsten Quadrate des linearen Ausgleichsproblems (3) letztlich mit Hilfe von Methode der kleinsten Quadrate in eine Matrix Methode der kleinsten Quadrate mit einer einfacheren Struktur,Methode der kleinsten Quadrate

bottom:.0001pt\'>und einen Vektor

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>transformieren; ferner ist Methode der kleinsten Quadrate eine obere Dreiecksmatrix. Wie in der Numerik üblich, wird aus Gründen der Genauigkeit und Stabilität Methode der kleinsten Quadrate nicht direkt als Matrizenprodukt ausgewertet, sondern sukzessive als Folge von Householder-Transformationen und Modifikationen von Methode der kleinsten Quadrate erstellt.

bottom:.0001pt\'>Damit nimmt das ursprüngliche Problem (3) die Gestalt

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>an. Wegen der Verwendung der euklidischen Norm und der Unitarität von Methode der kleinsten Quadrate erhält man

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Da Methode der kleinsten Quadrate ein konstanter Vektor ist, nimmt Methode der kleinsten Quadrate sein Minimum an, wenn der unbekannte Vektor x Lösung des linearen GleichungssystemsMethode der kleinsten Quadrate

bottom:.0001pt\'>ist. Daher löst Methode der kleinsten Quadrate schliesslich das lineare Ausgleichsproblem in euklidischer Norm. Die obere Dreiecksmatrix Methode der kleinsten Quadrate besitzt genau dann und nur dann eine eindeutige inverse Matrix, wenn Methode der kleinsten Quadrate. Da Methode der kleinsten Quadrate regulär ist, ist die Regularität von Methode der kleinsten Quadrate äquivalent zur Regularität von Methode der kleinsten Quadrate.
character:line-break\'>
character:line-break\'>

bottom:.0001pt\'>Der nichtlineare Fall: Ein Gauss-Newton Verfahren

bottom:.0001pt\'>Um das nichtlineare Problem (1) zu lösen, kann man es als unbeschränktes Optimierungsproblem behandeln, indem man auf dem Gradienten Methode der kleinsten Quadrate und der Hesse-Matrix Methode der kleinsten Quadrate aufbaut. Über diesen Zugang leitet man die notwendigen Bedingungen ab, linearisiert sie und erzeugt letztlich wieder die Normalgleichungen; aus numerischen Gründen wie oben diskutiert wird dieser Weg nicht empfohlen. Trotzdem ist es gut, seine Strukur zu kennen.

bottom:.0001pt\'>In einem Ausgleichsproblem mit euklidischer Norm hat der Gradient Methode der kleinsten Quadrate von Methode der kleinsten Quadrate die einfache Gestalt

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>wobei Methode der kleinsten Quadrate die Jacobi-Matrix von Methode der kleinsten Quadrate bezeichnet. Die Hessematrix Methode der kleinsten Quadrate von Methode der kleinsten Quadrate ist

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Sind die zweiten Ableitungen Methode der kleinsten Quadrate verfügbar, dann kann (5) in der quasi-Newton Methode verwendet werden. In den meisten Fällen ist es aber möglich, stattdessen eine typische Eigenschaft von Ausgleichsproblemen auszunutzen. Die Residuen Methode der kleinsten Quadrate werden im Lösungspunkt Methode der kleinsten Quadrate gewöhnlich recht klein sein und Methode der kleinsten Quadrate kann unter dieser Annahme kleiner Residuen mitMethode der kleinsten Quadrate

bottom:.0001pt\'>approximiert werden. Diese Approximation der Hesse-Matrix erhält man auch, wenn man die Residuen Methode der kleinsten Quadrate entwickelt und bis zur linearen Ordnung mitführt. Der Vorteil, und dies resultiert aus der speziellen Struktur der MdkQ, liegt darin, dass Informationen über die zweite Ableitung komplett aus Ableitungen erster Ordnung gewonnen werden. Dies ist typisch für Ausgleichsprobleme, und diese spezielle Variante des Newton-Verfahrens wird Gauss-Newton-Methode genannt. Gedämpfte Gauss-Newton-Verfahren bedienen sich eines Liniensuchverfahrens, um aus einer vorliegenden Lösung Methode der kleinsten Quadrate in der k-ten Iteration Methode der kleinsten Quadrate zu erhalten, und gehen wie folgt vor:

bottom:.0001pt\'>· Bestimmung der Suchrichtung Methode der kleinsten Quadrate aus dem linearen GleichungssystemMethode der kleinsten Quadrate

bottom:.0001pt\'>das sich aus dem klassischen Newton-Verfahren bei Optimierungsfragestellungen, d.h. den Bedingungen Methode der kleinsten Quadrate, ableitet;

bottom:.0001pt\'>· Anwendung des Liniensuchverfahrens zur Bestimmung des Dämpfungsfaktors

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>· Iteration Methode der kleinsten Quadrate.

bottom:.0001pt\'>Das Gauss-Newton-Verfahren und seine Konvergenzeigenschaften hängen stark von der Approximationgüte der Hesse-Matrix ab. In Problemen mit relativ grossen Residuen wird Methode der kleinsten Quadrate in Formel (5) an Bedeutung zunehmen und die Konvergenzrate abnehmen. Für Methode der kleinsten Quadrate und hinreichend nahe der optimalen Lösung konvergiert das Gauss-Newton-Verfahren nur mit linearer Konvergenzrate. Nur für Methode der kleinsten Quadrate kann eine quadratische Konvergenz erzielt werden. Trotz dieser Nachteile stellt es ein klassisches, wenn auch hier nicht empfohlenes Verfahren zur Lösung nichtlinearer Ausgleichsprobleme dar.

bottom:.0001pt\'>Zu beachten ist, dass die linearen Gleichungen (6), die in jeder Iteration k gelöst werden müssen, die Normalgleichungen des Ausgleichsproblems

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit Methode der kleinsten Quadrate, Methode der kleinsten Quadrate, Methode der kleinsten Quadrate sind.

bottom:.0001pt\'>Eine beliebte Methode zur Lösung unbeschränkter nichtlinearer Ausgleichsprobleme ist der Levenberg-Marquardt-Algorithmus, der 1944 von Levenberg und unabhängig davon 1963 von Marquardt vorgeschlagen wurde. Dieses Verfahren modifiziert die Eigenwerte der Matrix Methode der kleinsten Quadrate und versucht den Einfluss der Eigenvektoren, die zum kleinsten Eigenwert gehören, zu reduzieren.

bottom:.0001pt\'>Im Zusammenhang mit linearen Ausgleichsproblemen zeigten Orthogonalisierungsverfahren einen Weg auf, die numerischen Probleme zu umgehen, die sich bei der Lösung der Normalgleichungen ergeben. Führt man die Linearisierung des nichtlinearen Ausgleichsproblems ein wenig verschieden durch, so gewinnt man ein Gauss-Newton-Verfahren, das die Bildung der Normalgleichungen umgeht. Hierzu wird die Taylor-Reihenentwicklung des Residuenvektors Methode der kleinsten Quadrate in erster Ordnung betrachtet:

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Die notwendigen Bedingungen zur Lösung von (8) sind wieder die Normalgleichungen von (7). Dies zeigt, dass die Lösungen von (8) und des ursprünglichen Problems identisch sind. Die in (8) verwendete Entwicklung ist allerdings nur dann eine gute Approximation des ursprünglichen Problems, wenn gilt:

bottom:.0001pt\'>· der Residuenvektor Methode der kleinsten Quadrate, oder äquivalent dazu Methode der kleinsten Quadrate, ist hinreichend klein; oder

bottom:.0001pt\'>· die Differenz Methode der kleinsten Quadrate ist hinreichend klein.

bottom:.0001pt\'>In gedämpften Gauss-Newton-Verfahren mit Dämpfungsparameter Methode der kleinsten Quadrate ist das ursprüngliche Problem (8) daher ersetzt durch

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit einem nachgeschalteten Liniensuchverfahren. Zunächst wird also das lineare Ausgleichsproblem (9) mit Methode der kleinsten Quadrate und Methode der kleinsten Quadrate z.B. mit dem Householder-Verfahren gelöst; das Ergebnis ist die Suchrichtung Methode der kleinsten Quadrate. In der Iteration wird dann Methode der kleinsten Quadrate gesetzt, wobei der DämpfungsfaktorMethode der kleinsten Quadrate

bottom:.0001pt\'>mit Hilfe eines Liniensuchverfahren oder natürlicher Niveaufunktionen gewonnen wird.
character:line-break\'>
character:line-break\'>

bottom:.0001pt\'>2 Beschränkte Ausgleichsprobleme

bottom:.0001pt\'>Beschränkte Ausgleichsprobleme der Form

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>werden oft mit dem in der beschränkten Optimierung bekannten Verfahren der sequentiellen quadratischen Programmierung gelöst; dieser Zugang ist aber nur bedingt zu empfehlen. Sinnvoller ist es, verallgemeinerte Gauss-Newton-Verfahren in Verbindung mit Orthogonalisierungstechniken zu verwenden.
character: line-break\'>
character:line-break\'>

bottom:.0001pt\'>Gauss-Newton-Verfahren für beschränkte Ausgleichsprobleme

bottom:.0001pt\'>Formal soll ein Ausgleichsproblem mit Methode der kleinsten Quadrate Randbedingungen der Form

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit Residuenvektor Methode der kleinsten Quadrate gelöst werden. Hier sei nur der gleichungsbeschränkte Fall betrachtet. Als Startwert sei Methode der kleinsten Quadrate gegeben; die Iteration verfährt in der Form Methode der kleinsten Quadrate mit einer Dämpfungskonstante Methode der kleinsten Quadrate, die nicht beliebig klein werden soll, d.h. Methode der kleinsten Quadrate. Zur Berechnung des Inkrementes Methode der kleinsten Quadrate wird Methode der kleinsten Quadrate in (10) durch Methode der kleinsten Quadrate substituiert und die Terme Methode der kleinsten Quadrate und Methode der kleinsten Quadrate um Methode der kleinsten Quadrate linearisiert. Dann ist Methode der kleinsten Quadrate Lösung des linearen, gleichungsbeschränkten Ausgleichsproblems

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit den Jacobi-Matrizen

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Unter bestimmten Annahmen über die Regularität der Jacobi-Matrizen Methode der kleinsten Quadrate existiert eine eindeutige Lösung Methode der kleinsten Quadrate von (11) und eine eindeutige lineare Abbildung Methode der kleinsten Quadrate (die verallgemeinerte Inverse genannt wird und nicht mit der Moore-Penrose-Inversen (Matrix) verwechselt werden darf), die den Bedingungen

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>genügt. Die Lösung Methode der kleinsten Quadrate des linearen Problems folgt eindeutig aus den Kuhn-Tucker-Bedingungen (Lagrange-Multiplikatoren)

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>wobei Methode der kleinsten Quadrate den Vektor der Lagrange-Multiplikatoren bezeichnet.

bottom:.0001pt\'>Zur numerischen Berechnung von Methode der kleinsten Quadrate wird die verallgemeinerte Inverse nicht explizit berechnet. Stattdessen werden Verfahren entwickelt, die die Struktureigenschaften der Jacobi-Matrizen ausnutzen und spezielle Faktorisierungen von Methode der kleinsten Quadrate und Methode der kleinsten Quadrate verwenden. Da die Jacobi-Matrizen und ihre Zerlegungen in jeder Iteration bekannt sind, lassen sich nach Konvergenz Kovarianz- und Korrelationsmatrix für den Lösungsvektor Methode der kleinsten Quadrate ausrechnen.
character: line-break\'>
character:line-break\'>

bottom:.0001pt\'>Parameterbestimmung in Systemen von Differentialgleichungen

bottom:.0001pt\'>Mit Hilfe eines Mehrzielansatzes können auch Differentialgleichungssysteme mit geringen Stabilitätseigenschaften und selbst chaotische Systeme untersucht werden. Gegeben seien eine Differentialgleichung (mit Schaltbedingungen) für die Zustandsvariable Methode der kleinsten Quadrate

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit einer von einem Parametervektor Methode der kleinsten Quadrate abhängigen rechten Seite, Anfangsbedingungen Methode der kleinsten Quadrate sowie Messwerten Methode der kleinsten Quadrate für die Zustandsvariablen Methode der kleinsten Quadrate oder allgemeiner für Funktionen derselben,

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>die zu Zeiten Methode der kleinsten Quadrate (den Messpunkten) in einem Zeitraum Methode der kleinsten Quadrate erhoben wurden und mit einem Messfehler Methode der kleinsten Quadrate behaftet sind. Sind die Messfehler Methode der kleinsten Quadrate unabhängig sowie normalverteilt mit Mittelwert Null und sind ihre Varianzen Methode der kleinsten Quadrate bekannt, so ist ein angemessenes Zielfunktional durch

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>gegeben. Insbesondere der Parametervektor Methode der kleinsten Quadrate, aber auch die Trajektorien Methode der kleinsten Quadrate können Gleichungs- und Ungleichungsbedingungen unterworfen werden, so dass zusätzlich bekannte Informationen über die zu identifizierenden Parameter, z.B. Positivitätsforderungen, in der Problemformulierung berücksichtigt werden können.

bottom:.0001pt\'>Ein naheliegender und häufig verwendeter Ansatz zur numerischen Behandlung von Parameteridentifizierungsproblemen bei Differentialgleichungen besteht in der wiederholten Lösung des Anfangswertproblems (AWP) für feste Parameter innerhalb einer iterativen Prozedur zur Anpassung der Parameter, um die Approximation zu verbessern. Das inverse Problem wird also wieder auf eine Folge von AWP zurückgeführt. Diese Reinversion des inversen Problems eliminiert die Zustandsvariablen Methode der kleinsten Quadrate zugunsten der unbekannten Parameter Methode der kleinsten Quadrate. Dies hat zur Folge, dass jegliche Information über den Lösungsverlauf, die für das inverse Problem gerade charakteristisch ist, ausser Acht gelassen wird; dies wiederum hat einen verkleinerten Konvergenzbereich zur Folge. Durch schlechte Startwerte der Parameter kann man zudem in schlecht konditionierte Bereiche des AWPs kommen, was zum Verlust der Stabilität führen kann, oder die Lösung läuft in eine Polstelle, so dass gar nicht für alle Messwerte das Ausgleichsfunktional ausgewertet werden kann.

bottom:.0001pt\'>Alternativ zum AWP-Ansatz kann das inverse Problem als überbestimmtes, beschränktes Mehrpunktrandwertproblem mit Schalt- und Sprungbedingungen aufgefasst werden, und zwar unabhängig davon, ob das »direkte« Problem auf Grund der Modellbedingungen ein Randwertproblem darstellt oder nicht. Dies ermöglicht insbesondere auch die Modellierung dynamischer Prozesse, die nicht durch Differentialgleichungen mit glatter rechter Seite beschrieben werden. Sie werden dann als Differentialgleichungen mit Schaltbedingungen formuliert,

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>wobei sich die rechte Seite bei einem Vorzeichenwechsel der Schaltfunktion Methode der kleinsten Quadrate unstetig ändert. Solche Unstetigkeiten können z.B. durch sprunghafte Änderungen physikalischer Grössen oder Gesetzmässigkeiten auftreten. Die Schaltpunkte sind dann implizit durch

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>gegeben. Schaltpunkte können auch explizit gegeben sein; ebenso ist es möglich, dass Unstetigkeiten der Zustandsvariablen selbst vorkommen.

bottom:.0001pt\'>Für ein gewähltes und an das Problem wie auch an die Messwerte angepasstes Gitter Methode der kleinsten Quadrate von m Stützstellen Methode der kleinsten Quadrate (Methode der kleinsten Quadrate Teilintervalle Methode der kleinsten Quadrate),

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>welches das Messintervall überdeckt (Methode der kleinsten Quadrate), wird die diskrete Trajektorie Methode der kleinsten Quadrate als Variable neben den unbekannten Parametern Methode der kleinsten Quadrate eingeführt; die Methode der kleinsten Quadrate sind dabei die Anfangswerte der Teiltrajektorien. Integriert wird dabei jeweils von Methode der kleinsten Quadrate bis Methode der kleinsten Quadrate.

bottom:.0001pt\'>Zu einer gegebenen Schätzung des erweiterten Variablenvektors Methode der kleinsten Quadrate berechnet man die Lösungen Methode der kleinsten Quadrate der Methode der kleinsten Quadrate unabhängigen Anfangswertprobleme auf jedem Teilintervall Methode der kleinsten Quadrate und erhält so eine (zunächst unstetige) Parameterisierung von Methode der kleinsten Quadrate. Durch die zusätzlichen AnschlussbedingungenMethode der kleinsten Quadrate

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>wird die Stetigkeit der Lösung gesichert.

bottom:.0001pt\'>Formal handelt es sich bei dem beschriebenen Ausgleichsproblem um ein beschränktes Optimierungsproblem der Gestalt (10) mit Methode der kleinsten Quadrate. Je nach Problemklasse kann die Anzahl der Variablen von unter 100 bis zu mehreren tausend betragen.

bottom:.0001pt\'>Das beschränkte, hochgradig nichtlineare Problem wird wieder mit Hilfe eines verallgemeinerten, gedämpften Gauss-Newton-Verfahrens gelöst. Durch Berücksichtigung der infolge der Bedingungen (12) des Mehrzielansatzes speziellen Form der Matrizen Methode der kleinsten Quadrate kann (10) durch einen Kondensierungsalgorithmus auf ein System erheblich niedrigerer Dimension

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>reduziert werden, aus dem zunächst Methode der kleinsten Quadrate und schliesslich Methode der kleinsten Quadrate bestimmt wird; hierbei treten die Einzelschritte »Rückwärtsrekursion«, »Vorwärtsrekursion« und die »Lösung des kondensierten Problems« auf.

bottom:.0001pt\'>Parameteridentifizierungsprobleme in partiellen Differentialgleichungssystemen lassen sich in bestimmten Fällen mit der beschriebenen Methode ebenfalls lösen, indem man das partielle Differentialgleichungssystem mit Hilfe der Methode der Linien (MdL) auf ein System gewöhnlicher Differentialgleichungen zurückführt. Dies entspricht einer Finite-Differenzen oder Finite-Elemente-Diskretisierung im räumlichen Bereich; der zeitliche Bereich wird mit Hilfe des Mehrzielverfahrens diskretisiert. Die MdL wird besonders häufig verwendet bei zeitabhängigen partiellen Differentialgleichungsmodellen mit nur einer räumlichen Variablen. Wie im folgenden Beispiel der Diffusionsgleichung gezeigt, führt die räumliche Diskretisierung auf eine gekoppeltes System von N gewöhnlichen Differentialgleichungen, wenn N die Anzahl der Diskretisierungspunkte bezeichnet. Die Diffusionsgleichung

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>mit zu bestimmendem, ortsunabhängigem Diffusionskoeffizienten D (weitere Parameter treten in den Randbedingungen auf, sollen hier aber nicht weiter betrachtet werden) erlaubt die räumliche Diskretisierung nach z,

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>Approximiert man die räumliche Ableitung durch ihre finiten Differenzen

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>so kann die Diffusionsgleichung durch die Methode der kleinsten Quadrate gewöhnlichen Differentialgleichungen

bottom:.0001pt\'>Methode der kleinsten Quadrate

bottom:.0001pt\'>ersetzt und mit Hilfe des oben beschriebenen Verfahrens gelöst werden. Als Anwendungsbeispiel sei die Modellierung und Analyse hygroskopischer Flüssigkeiten genannt, bei denen Diffusionsraten und Stofftransportkonstanten an der Oberfläche bestimmt werden.
character:line-break\'>
character:line-break\'>

bottom:.0001pt\'>Literatur:

bottom:.0001pt\'>C.L. Lawson und R.J. Hanson: Solving Least Square Problems, Prentice Hall, Englewood Cliffs, NJ, 1974.
R.L. Branham: Scientific Data Analysis: An Introduction to Overdetermined Systems, Springer, New York, 1990.
J. Stoer und R. Bulirsch: Einführung in der Numerische Analysis, 1992.
P.E. Gill, W. Murray und M.H. Wright: Practical Optimisation, Academic Press, London, 1981.
H.G. Bock: Randwertproblemmethoden zur Parameteridentifizierung in Systemen nichtlinearer Differentialgleichungen, Universität Heidelberg, 1987.

Vorhergehender Fachbegriff im Lexikon:
Nächster Fachbegriff im Lexikon:

Obenstehenden Artikel als fehlerhaft melden und bei unserer Redaktion zur Bearbeitung vormerken.

Techniklexikon.net

Das freie Technik-Lexikon. Fundierte Informationen zu allen Fachgebieten der Ingenieurwissenschaften, für Wissenschaftler, Studenten, Praktiker & alle Interessierten. Professionell dargeboten und kostenlos zugängig.

Techniklexikon
Physik studieren

Modernes Studium der Physik sollte allen zugängig gemacht werden.