Metody szukania ekstremów

Definicja ekstremum funkcji

 * Funkcja posiada w punkcie $$x_0$$ minimum lokalne, jeśli istnieje otoczenie otwarte $$U$$ punktu $$x_{0}$$ takie, że: $$\forall_{x\in U} \; f(x)\geq f(x_{0})$$
 * Jeśli dodatkowo: $$\forall_{x\in U} \; f(x) > f(x_{0})$$ to takie minimum nazywamy właściwym minimum lokalnym.
 * Jeśli sytuacja taka zachodzi dla wszystkich $$x$$ należących do dziedziny $$X$$, czyli: $$\forall_{x\in X} \; f(x) \geq f(x_{0}) \text{ oraz } \forall_{x\in X} \; f(x) > f(x_{0})$$ to minima te nazywamy odpowiednio minimum globalnym oraz właściwym minimum globalnym.

Związek z pochodną
Jeśli funkcja różniczkowalna $$\displaystyle f: X\subset U\mapsto \mathbb{R}$$ osiąga ekstremum w punkcie $$\displaystyle a$$ zbioru otwartego $$\displaystyle U$$, to w punkcie tym zeruje się różniczka funkcji $$\displaystyle f$$, tzn. $$\displaystyle d_a f(h)=0$$, gdzie $$\displaystyle h\in X$$ jest dowolnym wektorem przestrzeni $$\displaystyle X$$.

Definicje pomocnicze
\det {\begin{bmatrix}a_&a_&\dots &a_\\a_&a_&\dots &a_\\\vdots &\vdots &\ddots &\vdots \\a_&a_&\dots &a_\end{bmatrix}}>0$$ \left(-1\right)^l \det {\begin{bmatrix}a_&a_&\dots &a_\\a_&a_&\dots &a_\\\vdots &\vdots &\ddots &\vdots \\a_&a_&\dots &a_\end{bmatrix}}>0$$ Macierzą Hessego funkcji $$f$$ w punkcie $$x_{0}$$ nazywamy macierz $$H(x_{0}):={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}(x_{0})&{\frac  {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}(x_{0})&\cdots &{\frac  {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}(x_{0})\\\\{\frac  {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}(x_{0})&{\frac  {\partial ^{2}f}{\partial x_{2}^{2}}}(x_{0})&\cdots &{\frac  {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}(x_{0})\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac  {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}(x_{0})&{\frac  {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}(x_{0})&\cdots &{\frac  {\partial ^{2}f}{\partial x_{n}^{2}}}(x_{0})\end{bmatrix}}$$
 * Symetryczną macierz kwadratową $$M$$ rozmiaru $$n \times n$$ nazywamy dodatnio określoną, gdy dla każdego niezerowego wektora $$z$$ wymiaru $$n$$ zachodzi $$z^T M z > 0$$. Analogicznie macierz $$M$$ nazywamy ujemnie określoną, jeśli $$z^T M z < 0$$.
 * Kryterium Sylvestera
 * Macierz $$M$$ jest dodatnio określona, gdy spełnia $$\forall_{l\in \{1,\ldots ,n\}} \;
 * Macierz $$M$$ jest ujemnie określona, gdy spełnia: $$\forall_{l\in \{1,\ldots ,n\}} \;
 * Druga pochodna funkcji wielu zmiennych

Warunki

 * wielu zmiennych Niech, jak poprzednio, funkcja $$f$$, będzie dwukrotnie różniczkowalna w pewnym otoczeniu $$U\subseteq D$$ punktu $$x_{0}$$, przy czym $$f^{\prime }(x_{0})=0$$, a pochodna $$f^$$ jest ciągła w $$x_{0}$$.
 * Jeżeli $$f^(x_{0})$$ jest dodatnio określona, to $$f$$ ma minimum lokalne właściwe w punkcie $$x_{0}$$
 * Jeżeli $$f^(x_{0})$$ jest ujemnie określona, to $$f$$ ma maksimum lokalne właściwe w punkcie $$x_{0}$$
 * jednej zmiennej - to samo, tylko określoność macierzy jest trywialna

Ekstrema związane (warunkowe) - interpretacja geometryczna
  Definicja Niech $$\displaystyle X, Y$$ będą przestrzeniami Banacha i niech $$\displaystyle G: X\mapsto Y, \displaystyle F:X\mapsto \mathbb{R}$$ będą funkcjami. Mówimy, że funkcja $$\displaystyle F$$ osiąga ekstremum warunkowe w punkcie $$\displaystyle a$$ przy warunku $$\displaystyle a\in \{G=0\}$$, jeśli obcięcie funkcji $$\displaystyle F$$ do poziomicy $$\displaystyle \{G=0\}$$ osiąga ekstremum w tym punkcie.   interpretacja geometryczna - jest to ekstremum osiągane na podzbiorze $$\mathbb R^n$$ będącym hiperpłaszczyzną w $$\mathbb R^n$$ 

Metoda mnożników Lagrange’a
Lagranżjan ($$\mathbf x \in \mathbb R^n$$): $$\Lambda( \mathbf x,\lambda) = f(\mathbf x) + \lambda \cdot \Big(G(\mathbf x)-c\Big),$$

Pojedynczy warunek
Celem jest rozwiązanie problemu: znajdź maksimum funkcji $$f(\mathbf x)$$ na zbiorze zadanym warunkiem $$G(\mathbf x) = 0$$ Rozwiązanie Rozwiąż układ równań $$\begin{cases} G(\mathbf x)=0 & \mathbf x \text{ spełnia warunek} \\ \nabla \Lambda( \mathbf x,\lambda) = \nabla f(\mathbf x)-\lambda \, \nabla G(\mathbf x) = 0 & \mathbf x \text{ jest punktem krytycznym}. \end{cases}$$ w ten sposób znajdujemy punkty, które są potencjalnymi ekstremami.

Teraz możemy jeszcze sprawdzić dodatnią/ujemną określoność hesjanu dla $$\Lambda( \mathbf x,\lambda)$$ lub gdy mamy do czynienia ze zbiorem zwartym, to po prostu wybrać największe/najmniejsze ekstremum.

Wiele warunków
$$\Lambda( \mathbf x,\lambda) = f(\mathbf x) + \sum_{k=1}^M {\lambda_k \, \nabla G_k (\mathbf x)}$$ $$\begin{cases} G_1(\mathbf x) = G_2(\mathbf x) = \cdots = G_M(\mathbf x) = 0 & \mathbf x \text{ satisfies all constraints} \\ \nabla \Lambda( \mathbf x,\lambda) = \nabla f(\mathbf x) - \sum_{k=1}^M {\lambda_k \, \nabla G_k (\mathbf x)} = 0 & \mathbf x \text{ is a stationary point}. \end{cases}$$