Βελτιωμένοι αλγόριθμοι εκπαίδευσης τεχνητών νευρωνικών δικτύων με προσαρμόσιμες χρονικές καθυστερήσεις

Δείτε το αρχείο http://vivliothmmy.ee.auth.gr/126/  
Φορέας Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Συλλογή Καταθετήριο της Βιβλιοθήκης Ηλ. Μηχανικών και Μηχ. Υπολογιστών Βελτιωμένοι αλγόριθμοι εκπαίδευσης τεχνητών νευρωνικών δικτύων με προσαρμόσιμες χρονικές καθυστερήσεις
Επιμέρους συλλογή Computer Science: Neural Networks
Θέματα Νευρωνικά δίκτυα
ΠεριγραφήΟ στόχος αυτής της εργασίας είναι η υλοποίηση ενός συστήματος, το οποίο θα μπορεί να χρησιμοποιηθεί αποτελεσματικά για την επξεργασία και, κυρίως, την πρόβλεψη σημάτων διακριτού χρόνου. Για το λόγο αυτό, χρησιμοποιούμε ένα νευρωνικό δίκτυο με προσαρμόσιμες χρονικές καθυστερήσεις. Συγκεκριμένα το δίκτυό μας έχει τη μορφή ενόςperceptron πολλών στρωμάτων (MLP), χωρίς βρόχους ανάδρασης. Οι συναπτικοί σύνδεσμοι μεταξύ των νευρωνίων χαρακτηρίζονται από το κλασικό βάρος και από έναν όρο χρονικής καθυστέρησης. Ο όρος αυτός καθορίζει τη χρονική καθυστέρηση που υφίσταται η πληροφορία, καθώς διανύει τη συγκεκριμένη σύναψη, και, όπως και το βάρος, είναι ένα μέγεθοςεκπαιδεύσιμο. Στο σημείο αυτό, πρέπει να τονίσουμε, ότι το δίκτυο δέχεται στην είσοδό του δεδομένα με τη μορφή σειράς διακριτού χρόνου. Τα δεδομένα αυτά δεν υφίστανται μετασχηματισμό και εισάγονται στο δίκτυο ακολουθιακά. Αρχικά παρουσιάσαμε έναν απλό αλγόριθμο εκπαίδευσης για το δίκτυό μας, ο οποίος δεν είναι τίποτα άλλο απόεπέκταση του παραδοσιακού back propagation, ώστε να μπορούμε να εκπαιδεύουμε τις χρονικές καθυστερήσεις. Ο νέος αυτός αλγόριθμος ονομάζεται back propagation διακριτού χρόνου (DTB), είναι απλός και δεν παρουσιάζει ιδιαίτερη υπολογιστική και αποθηκευτική πολυπλοκότητα. Στη συνέχεια, αποσκοπώντας σε καλύτερες επιδόσεις του δικτύου μας, εφαρμόζουμε τις αρχές βελτιστοποίησης των φίλτρων Κalman. Αρχικά θεωρούμε όλο το δίκτυο ως ένα ενιαίο σύστημα και υπολογίζουμε τα συναπτικά μεγέθη του δικτύου ταυτόχρονα. Λόγω της ιδιαίτερα υψηλής υπολογιστικής πολυπλοκότητας του καθολικού αυτού αλγορίθμου, αναλύουμε το δίκτυο σε μικρότερα υποσυστήματα και επικεντρώνουμε τον καθολικό αλγόριθμο σε αυτά. Συγκεκριμένα, παρουσιάζουμε τέσσερεις νέους τοπικούς αλγόριθμους, τους οποίους εφαρμόζουμε στο επίπεδο του νευρωνίου, και που παρουσιάζουνχαμηλότερη πολυπλοκότητα από τον καθολικό αλγόριθμο. Για να εξετάσουμε τις επιδόσεις του δικτύου μας, επιλέγουμε την εφαρμογή του στην πρόβλεψη της χαοτικής χρονοσειράς Mackey – Glass. Η πρόβλεψη γίνεται με δύο τρόπους. Είτε με την απευθείας εκπαίδευση του δικτύου για πρόβλεψη ενός συγκεκριμένου χρονικού βήματος στο μέλλον, π.χ. t+40, είτε με την πρόβλεψη πολλαπλών βημάτων. Στην περίπτωση αυτή εκπαιδεύεται το δίκτυο για πρόβλεψη t+1 και κατά τη διάρκεια της πρόβλεψης, η έξοδος του δικτίου ανατροφοδοτείται στην είσοδο, έως ότου επιτευχθεί το επιθυμητό βήμα πρόβλεψης. Τέλος, βάσει των πειραμάτων αυτών, συγκρίνουμε τους αλγορίθμους εκπαίδευσης, που εισάγαμε, και εξάγουμε τα συμπεράσματά μας.
Δημιουργός Σιώλου, Ολυμπία
ΜεσολαβητήςΘεοχάρης Ιωάννης
Ημερομηνία2004-07-01
ΤύποςΔιπλωματική
Μορφότυποςapplication/pdf
Πηγήhttp://vivliothmmy.ee.auth.gr/126/1/Olympia_Siolou_3987.pdf
ΆδειαCreative Commons Attribution Non-Commercial No Derivatives
Βιβλιογραφική αναφοράΣιώλου, Ολυμπία (2004) Βελτιωμένοι αλγόριθμοι εκπαίδευσης τεχνητών νευρωνικών δικτύων με προσαρμόσιμες χρονικές καθυστερήσεις. Θεοχάρης Ιωάννης , Θεσσαλονίκη.
Σχέσηhttp://vivliothmmy.ee.auth.gr/126/
Επισκέψεις30