HW3: Small changes in the report
This commit is contained in:
parent
0ec5bc2c00
commit
ea62c174e9
Binary file not shown.
@ -144,7 +144,7 @@
|
||||
Με 3 MF/είσοδο αυξάνεται η εκφραστικότητα, αλλά ενδέχεται να αυξηθεί το ρίσκο υπερεκπαίδευσης αν δεν υπάρξει επαρκές regularization/early stopping μέσω validation.
|
||||
|
||||
\subsection{Διαγράμματα μάθησης}
|
||||
Παρακάτω παραθέτουμε τα διαγράμματα μάθησης.
|
||||
Στα σχήματα \ref{fig:scn1_learning_curves1} και \ref{fig:scn1_learning_curves2} παραθέτουμε τα διαγράμματα μάθησης.
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\begin{subfigure}{0.48\textwidth}
|
||||
@ -155,9 +155,11 @@
|
||||
\includegraphics[width=\linewidth]{../source/figures_scn1/model_2_learning_curves.png}
|
||||
\caption{Learning curves — Model~2}
|
||||
\end{subfigure}
|
||||
|
||||
\vspace{0.9em}
|
||||
|
||||
\caption{Καμπύλες μάθησης (train/validation).}
|
||||
\label{fig:scn1_learning_curves1}
|
||||
\end{figure}
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\begin{subfigure}{0.48\textwidth}
|
||||
\includegraphics[width=\linewidth]{../source/figures_scn1/model_3_learning_curves.png}
|
||||
\caption{Learning curves — Model~3}
|
||||
@ -166,15 +168,15 @@
|
||||
\includegraphics[width=\linewidth]{../source/figures_scn1/model_4_learning_curves.png}
|
||||
\caption{Learning curves — Model~4}
|
||||
\end{subfigure}
|
||||
\caption{Καμπύλες μάθησης (train/validation) για τα 4 μοντέλα.}
|
||||
\label{fig:scn1_learning_curves}
|
||||
\caption{Καμπύλες μάθησης (train/validation).}
|
||||
\label{fig:scn1_learning_curves2}
|
||||
\end{figure}
|
||||
|
||||
Παρατηρούμε μια σταθερή αποκλιμάκωση του train error και επιλογή εποχών μέσω του ελαχίστου validation.
|
||||
Τα μοντέλα με \emph{linear} έξοδο (ιδίως με 2 MF) συγκλίνουν ταχύτερα.
|
||||
|
||||
\subsection{Σφάλματα πρόβλεψης (residuals)}
|
||||
Στο σχήμα \ref{fig:scn1_error} βλέπουμε τα σφάλματα πρόβλεψης.
|
||||
Στα σχήματα \ref{fig:scn1_error1} και \ref{fig:scn1_error2} βλέπουμε τα σφάλματα πρόβλεψης.
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\begin{subfigure}{0.48\textwidth}
|
||||
@ -185,9 +187,12 @@
|
||||
\includegraphics[width=\linewidth]{../source/figures_scn1/model_2_error.png}
|
||||
\caption{Residuals — Model~2}
|
||||
\end{subfigure}
|
||||
\caption{Χρονοσειρές σφάλματος πρόβλεψης στα δεδομένα ελέγχου.}
|
||||
\label{fig:scn1_error1}
|
||||
\end{figure}
|
||||
|
||||
\vspace{0.9em}
|
||||
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\begin{subfigure}{0.48\textwidth}
|
||||
\includegraphics[width=\linewidth]{../source/figures_scn1/model_3_error.png}
|
||||
\caption{Residuals — Model~3}
|
||||
@ -197,14 +202,14 @@
|
||||
\caption{Residuals — Model~4}
|
||||
\end{subfigure}
|
||||
\caption{Χρονοσειρές σφάλματος πρόβλεψης στα δεδομένα ελέγχου.}
|
||||
\label{fig:scn1_error}
|
||||
\label{fig:scn1_error2}
|
||||
\end{figure}
|
||||
|
||||
Από τα διαγράμματα παρατηρούμε ότι, για τα καλύτερα μοντέλα, τα σφάλματα πρόβλεψης (residuals) κατανέμονται τυχαία γύρω από το μηδέν, χωρίς να εμφανίζουν συγκεκριμένο μοτίβο.
|
||||
Αντίθετα, αν τα σφάλματα παρουσίαζαν κάποια εμφανή δομή ή συστηματική τάση, αυτό θα σήμαινε ότι το μοντέλο δεν περιγράφει επαρκώς τη σχέση εισόδου–εξόδου και πιθανόν θα χρειαζόταν μεγαλύτερη πολυπλοκότητα (π.χ. περισσότερες συναρτήσεις συμμετοχής).
|
||||
|
||||
\subsection{Σύγκριση Actual–Predicted}
|
||||
Όσων αφορά τη σύγκριση μεταξύ του μοντέλου πρόβλεψης από την εκτέλεση του script έχουμε τα αποτελέσματα του σχήματος \ref{fig:scn1_predicted_vs_actual}:
|
||||
Όσων αφορά τη σύγκριση μεταξύ του μοντέλου πρόβλεψης από την εκτέλεση του script έχουμε τα αποτελέσματα του σχήματος \ref{fig:scn1_predicted_vs_actual1} και \ref{fig:scn1_predicted_vs_actual2}:
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\begin{subfigure}{0.48\textwidth}
|
||||
@ -215,9 +220,12 @@
|
||||
\includegraphics[width=\linewidth]{../source/figures_scn1/model_2_pred_vs_actual.png}
|
||||
\caption{Predicted vs Actual — Model~2}
|
||||
\end{subfigure}
|
||||
\caption{Συσχέτιση προβλέψεων με τις πραγματικές τιμές (ideal: γραμμή $y=x$).}
|
||||
\label{fig:scn1_predicted_vs_actual1}
|
||||
\end{figure}
|
||||
|
||||
\vspace{0.9em}
|
||||
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\begin{subfigure}{0.48\textwidth}
|
||||
\includegraphics[width=\linewidth]{../source/figures_scn1/model_3_pred_vs_actual.png}
|
||||
\caption{Predicted vs Actual — Model~3}
|
||||
@ -227,7 +235,7 @@
|
||||
\caption{Predicted vs Actual — Model~4}
|
||||
\end{subfigure}
|
||||
\caption{Συσχέτιση προβλέψεων με τις πραγματικές τιμές (ideal: γραμμή $y=x$).}
|
||||
\label{fig:scn1_predicted_vs_actual}
|
||||
\label{fig:scn1_predicted_vs_actual2}
|
||||
\end{figure}
|
||||
|
||||
\subsection{Συνολικά αποτελέσματα}
|
||||
@ -278,11 +286,11 @@
|
||||
|
||||
\begin{figure}[!ht]
|
||||
\centering
|
||||
\begin{subfigure}{0.48\textwidth}
|
||||
\begin{subfigure}{0.5\textwidth}
|
||||
\includegraphics[width=\linewidth]{../source/figures_scn2/scn2_error_vs_rules.png}
|
||||
\caption{Μέσο CV σφάλμα ως προς τον αριθμό κανόνων.}
|
||||
\end{subfigure}\hfill
|
||||
\begin{subfigure}{0.48\textwidth}
|
||||
\begin{subfigure}{0.5\textwidth}
|
||||
\includegraphics[width=\linewidth]{../source/figures_scn2/scn2_error_vs_features.png}
|
||||
\caption{Καλύτερο CV σφάλμα ανά πλήθος χαρακτηριστικών.}
|
||||
\end{subfigure}
|
||||
@ -295,27 +303,27 @@
|
||||
|
||||
\subsection{Τελικό μοντέλο: καμπύλες, προβλέψεις, residuals}
|
||||
Για το τελικό μοντέλο μετά την εκπαίδευση και αξιολόγηση έχουμε:
|
||||
\begin{figure}[!ht]
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=0.65\textwidth]{../source/figures_scn2/scn2_final_learning_curves.png}
|
||||
\caption{Καμπύλες μάθησης του τελικού μοντέλου (train/validation).}
|
||||
\end{figure}
|
||||
|
||||
\begin{figure}[!ht]
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=0.65\textwidth]{../source/figures_scn2/scn2_final_pred_vs_actual.png}
|
||||
\caption{Σύγκριση \emph{Predicted vs Actual} στο test set.}
|
||||
\label{fig:scn2_pred_vs_actual}
|
||||
\end{figure}
|
||||
|
||||
\begin{figure}[!ht]
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=0.65\textwidth]{../source/figures_scn2/scn2_final_error_series.png}
|
||||
\caption{Residuals (σειρά σφάλματος) στο test set.}
|
||||
\end{figure}
|
||||
|
||||
\subsection{Ενδεικτικές συναρτήσεις συμμετοχής (subset)}
|
||||
\begin{figure}[!ht]
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=0.85\textwidth]{../source/figures_scn2/scn2_final_mfs_subset.png}
|
||||
\caption{Ενδεικτικές MF για επιλεγμένες εισόδους πριν/μετά την εκπαίδευση.}
|
||||
@ -323,7 +331,7 @@
|
||||
|
||||
\subsection{Δείκτες απόδοσης τελικού μοντέλου (Test set)}
|
||||
Στην εκτέλεση που παραθέτουμε, το τελικό μοντέλο προέκυψε με \emph{12 κανόνες} και η επίδοση στο test είναι:
|
||||
\begin{table}[!ht]
|
||||
\begin{table}[H]
|
||||
\centering
|
||||
\begin{tabular}{lcc}
|
||||
\textbf{Metric} & \textbf{Τιμή} \\
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user