add new repoHEADmaster

1 files changed, 142 insertions, 0 deletions

diff --git a/Master/Computational Intelligence/NeuroFuzzy/assignment/part2.tex b/Master/Computational Intelligence/NeuroFuzzy/assignment/part2.tex
new file mode 100644
index 0000000..5b296f5
--- /dev/null
+++ b/Master/Computational Intelligence/NeuroFuzzy/assignment/part2.tex
@@ -0,0 +1,142 @@
+\section{ANFIS}
+ANFIS wurde als weiteres Modell eines Neuro-Fuzzy-Systems 1992 von Jyh-Shing Roger Jang an der University of California at Berkeley entwickelt. \\
+Es stellt ein Adaptive Network–based Fuzzy Inference System, also ein lernfähiges netzwerkbasiertes Fuzzy-Schlussfolgerungs-System dar. \\
+Hierfür werden Fuzzy-Regeln in einem Neuronalen Netz implementiert. \\
+Kennzeichnend für das ANFIS-Modell ist, daß die jeweiligen Zugehörigkeitsfunktionen festgelegt sind, währen sich die Parameter dieser Funktionen beim Lernvorgang verändern können. \\
+
+Mit ANFIS können zwei Typen von Fuzzy-Controllern emuliert werden. 
+\begin{itemize}
+	\item Tsukamoto-Regler
+	\item Sugeno-Takagi-Kang-Regler
+\end{itemize}
+
+Der Mamdani-Regler kann nicht nachgebildet werden, da die Weitergabe von Fuzzymengen mit Neuronen nicht erreicht werden kann. \cite{Sau08} \\
+Als Lernalgorithmus wird für ANFIS ein Hybrid-Lern-Algorithmus verwendet.
+
+\subsection{Tsukamoto-Regler}
+Der Tsukamoto-Regler ist einer der beiden von ANFIS emulierbaren Fuzzy-Controllern.
+Seine Funktionsweise kann wie folgt beschrieben werden.
+\begin{itemize}
+	\item Jede Regel aus der Regelbasis, des Controllers wird mit einer monotonen Zugehörigkeitsfunktion (ZGF) verknüpft. Im Bild \ref{fig:Tsukamoto-Regler} unten C1, C2.
+	\item Die Ergebnisse dieser Zugehörigkeitsfunktion sind jeweils ein crisper Wert.
+	\item Der Ausgangswert z des Controllers wird gebildet, in dem das gewichtete Mittel aus den einzelnen crispen Funktionswerten z1, z2, ... zn berechnet wird. Das Ergebnis ist ebenfalls ein crisper Wert. Er muß daher nicht aufwendig defuzzyfiziert werden, wie es zum Beispiel bei einem Mamdani-Controller notwendig ist.
+\end{itemize}
+\begin{figure}[h!]
+\begin{center}
+\leavevmode
+\includegraphics[width=0.8\textwidth]{Tsukamoto_Regler.jpg}
+\end{center}
+\caption{Das Tsukamoto-Modell \cite{Bar05}}
+\label{fig:Tsukamoto-Regler}
+\end{figure}
+
+\newpage
+
+\subsection{Sugeno-Takagi-Kang-Regler}
+Der Sugeno-Takagi-Kang-Regler ist der zweite, von ANFIS emulierbare Fuzzy-Controller.
+Seine Funktionsweise kann wie folgt beschrieben werden. \\
+Eine typische Regel mit zwei Eingangswerten lautet zum Beispiel: 
+\begin{itemize}
+	\item If x is A1 and y is B1 then z = f(x,y)  \cite{Mic02}\\
+Wobei A1, B1 Werte linguistischer Variablen und x, y, z Crispe Werte sind.
+	\item Die anzuwendenden Regeln b.z.w. Funktionen werden nun anhand der Eingangswerte bestimmt.
+	\item Der Ausgangswert z des Controllers wird ebenfalls gebildet, in dem das gewichtete Mittel aus den einzelnen crispen Funktionswerten z1, z2, ..., zn berechnet wird. Das Ergebnis ist daher wie bei dem zuvor vorgestellten Controller auch ein crisper Wert, welcher nicht aufwendig defuzzyfiziert werden muss, wie es bei einem Mamdani-Controller erforderlich ist.
+\end{itemize}
+\begin{figure}[h!]
+\begin{center}
+\leavevmode
+\includegraphics[width=0.8\textwidth]{Sugeno_Takagi_Kang_Regler.jpg}
+\end{center}
+\caption{Das Sugeno-Takagi-Kang-Modell \cite{Bar05}}
+\label{fig:Sugeno_Takagi_Kang_Regler}
+\end{figure}
+
+\newpage
+
+Ein Beispiel, zur Verdeutlichung, wie die anzuwendende Regel ermittelt wird:
+\begin{itemize}
+	\item Gegeben seien A1 und A2 als crispe Eingangswerte.
+	\item Aufgrund vordefinierter Zugehörigkeitsfunktionen ZGF ergebe sich, daß der gegebene Wert für A1 der ZGF nK und der gegebene Wert für A2 der ZGF pK angehöre.
+	\item So ist in diesem Beispiel aus der nachfolgend aufgeführten Tabelle zu entnehmen, daß die Regel eN anzuwenden ist.
+\end{itemize}
+Diese Regel könnte dann zum Beispiel so aussehen:  ZeN = 0,01x + 0,025y + 7
+\begin{table}[htp]
+	\begin{tabular}{ll}
+			\centering 
+			\begin{tabular}{|l||l|l|l|l|l|}
+				\hline $A_2 \Downarrow A_1 \Rightarrow$& nG & nK & eN & pK & pG \\ 
+				\hline nG & pG & pG & pK & eN &nK \\ 
+				\hline nK & pG & pG & pK & eN &nK \\ 
+				\hline eN & pG & pK & eN & nK &nG \\ 
+				\hline pK & pK & eN & nK & nG &nG \\
+				\hline pG & pK & nK & nG & nG &nG \\ 
+				\hline 
+			\end{tabular}
+		& \begin{tabular}{l} 
+			n negativ \\
+			p positiv \\
+			e etwas \\
+			N Null \\
+			K Klein \\
+			G Groß
+			\end{tabular}
+		\end{tabular}
+	\caption{Bestimmung von Fuzzy-Regeln aufgrund der Zugehörigkeit der Eingangswerte zu bestimmten Fuzzy-Mengen \cite{Bar05}}
+	\label{tab:anfistab}
+\end{table}
+
+\newpage
+
+\subsection{ANFIS-Architektur}
+
+Die ANFIS Architekturen zur Nachbildung der beiden zuvor vorgestellten Fuzzy-Reglern bestehen jeweils aus einem 5-Schichten Modell.
+Wie zu Anfang schon erwähnt werden im ANFIS Modell die Parameter der Regeln erlernt, während die Regeln selbst von Anfang an feststehen. In den nachfolgend gezeigten ANFIS-Architekturen werden die Optimierungen der Parameter in der ersten und vierten Schicht vorgenommen.
+Die einzelnen Schichten dieser Architekturen übernehmen nun folgende Aufgaben.
+In der ersten Schicht wird die Zugehörigkeit zu den Fuzzymengen bestimmt.
+Innerhalb der zweiten Schicht werden die Gewichte der Regeln durch Produktbildung erstellt.
+Die dritte Schicht dient der Berechnung der normalisierten Gewichte.
+Während in der vierten Schicht die Berechnung der Ergebnisse der einzelnen Regeln stattfindet, wird in der fünften Schicht das Gesamtergebnis durch Summenbildung erzeugt.
+Zu beachten ist, daß in der vierten Schicht des Sogeno-Takagi-Kang-Reglers die Eingangswerte zur Berechnung der Funktionsergebnisse direkt mit einfließen. \cite{Sau08}
+
+\begin{figure}[h!]
+\begin{center}
+\leavevmode
+\includegraphics[width=0.8\textwidth]{ANFIS_Tsukamoto.jpg}
+\end{center}
+\caption{ANFIS-Architektur zur Nachbildung des Tsukamoto-Reglers \cite{Sau08}}
+\label{fig:ANFIS_Tsukamoto}
+\end{figure}
+
+\begin{figure}[h!]
+\begin{center}
+\leavevmode
+\includegraphics[width=0.8\textwidth]{ANFIS_Sugeno_Takagi_Kang.jpg}
+\end{center}
+\caption{ANFIS-Architektur zur Nachbildung des Sugeno-Takagi-Kang-Regler \cite{Sau08}}
+\label{fig:ANFIS_Sugeno_Takagi_Kang}
+\end{figure}
+
+\newpage
+
+\subsection{Hybrid-Lern-Algorithmus}
+ANFIS verwendet zur Optimierung seiner Parameter den sogenannten Hybrid-Lern-Algorithmus. \\
+Dieser beinhaltet den Backpropagation-Algorithmus und die Methode des kleinsten quadratischen
+Schätzers \cite{Bot08}. \\
+Der Premissenparameter S1, der ersten Schicht in den ANFIS-Modellen wird mittels des Backpropagationverfahren optimiert. \\
+Der Konsequenzparameter S2, der vierten Schicht in den ANFIS-Modellen wird mit der Methode des kleinsten quadratischen Schätzers optimiert \cite{Bor03}. \\
+Die Vorgehensweise ist dabei wie folgt:\\
+Zur Optimierung des Konsequenzparameters S2 wird ein Forward Pass durchgeführt. \\
+Für jedes Trainingspaar (x, output) werden die Werte berechnet. \\
+Der Premissenparameter S1 bleibt unverändert, so daß die Funktion des Netzes nur vom Konsequenzparameter S2 abhängig ist. \\
+Diese Funktion ist bzgl. der Parameter bei festen Werten von S1 linear. \\
+Man erhält so zwei Matrizen A, B mit $A*S = B$.\\
+Nun wird der kleinste Quadratische Schätzer über die Minimierung von ${\parallel A*S-B \parallel}^2$ berechnet. \\
+Dies ergibt die optimierten Parameter von S2 \cite{Sau08}. \\
+Zur Optimierung des Premissenparameters S1 wird ein Backward Pass durchgeführt. \\
+Hierfür bleibt nun der Konsequenzparameter S2 unverändert. \\
+Zur Anwendung kommt nun der Backprobagation-Algorithmus als Spezialfall der Gradientenmethode \cite{Sau08}. \\
+Bei ANFIS-Netzen, die den Tsukamoto-Regler nachbilden werden die Ereignisfunktionen der vierten Schicht durch stückweise lineare Funktionale ersetzt und dann jeweils die Hybrid-Methode angewandt. \\
+Bei ANFIS Netzen, die den Sugeno-Takagi-Kang-Regler nachbilden, wird das Gesamtverhalten des Netzes als Linearkombination der Parameter der vierten Schicht interpretiert. \cite{Mic02} \\
+\begin{displaymath}
+f=\frac{w_1}{w_1+w_2}f_1+\frac{w_2}{w_1+w_2}f_2=\bar{w_1}f_1+\bar{w_2}f_2
+\end{displaymath}