Suche

Veranstaltungen

E389 / Events / From projection matrices to transformers: A review of key building blocks in deep neural network architectures.
17. January 2025, 15:00 bis 16:00
From projection matrices to transformers: A review of key building blocks in deep neural network architectures.
Presenter: Aggelos Pikrakis, Eng., Ph.D., Assistant Professor, University of Piraeus, Greece

Abstract:
This tutorial aims to conceptually connect different neural network architectures to provide a deeper understanding of advancements in the field. To achieve this, we will use standard mathematical tools as our guide. We will begin with standard feed-forward neural networks, examining them through the lens of projection matrices, and then move on to Recurrent Neural Networks (RNNs). Next, we will explore the Attention Mechanism and conclude with the Transformer architecture. Throughout the discussion, we will demonstrate how understanding the key building blocks of these architectures can help decipher their functionality and provide insights into their respective training and implementation challenges. This talk is designed for a broad audience with some prior exposure to machine learning concepts.

Short CV of the presenter: Aggelos Pikrakis is currently an Assistant Professor (tenured) in the Department of Informatics at the University of Piraeus, Greece, where he teaches courses on machine learning and audio processing. He is the co-inventor of several AI/ML patents, the co-author of two international textbooks in English, and the author of more than 50 refereed papers published in international peer-reviewed journals and conference proceedings. His research interests focus on audio analysis, particularly in machine learning algorithms such as deep neural networks, hidden Markov models, Bayesian architectures, and sequence alignment methods. His work has earned award recognition, including the 2019 EURASIP Meritorious Service Award.

Hinweis zu Cookies

Unsere Website verwendet Cookies, um die grundlegende Funktionalität unserer Website zu gewährleisten sowie die Zugriffe auf unserer Website zu analysieren und um Funktionen für soziale Medien und zielgerichtete Werbung anbieten zu können. Hierzu ist es nötig Informationen an die jeweiligen Dienstanbieter weiterzugeben. Weitere Informationen zu Cookies auf der Website finden Sie in unserer Datenschutzerklärung.

  • Diese Cookies werden für eine reibungslose Funktion unserer Website benötigt.

    Name Zweck Ablauf Typ Anbieter
    wordpress_test_cookie Test cookie zum Testen, ob Cookies gesetzt werden können. 1 Jahr HTTP Homepage TUW
    PHPSESSID Wird von WordPress verwendet, um den Status Ihrer aktuellen Benutzersession über mehrere Seitenanfragen hinweg zu bewahren. Session HTTP Homepage TUW
    wordpress_logged_in_{hash} Wird von Wordpress verwendet, um die Benutzer eingeloggt zu lassen. {hash} repräsentiert einen einmaligen Benutzertoken. 1 Jahr HTTP Homepage TUW
    wp-settings-time-{id} Dient zur Anpassung der Ansicht der Verwaltungsoberfläche und möglicherweise auch der Hauptschnittstelle der Website. 1 Jahr HTTP Homepage TUW
    wordpress_sec_{hash} Dieses Cookie wird verwendet, um Ihre Authentifizierungsdaten zu speichern. Die Verwendung ist auf den Bereich der Verwaltungskonsole beschränkt. {hash} repräsentiert einen einmaligen Benutzertoken. 1 Jahr HTTP Homepage TUW
    wp-settings-{id} Dient zur Anpassung der Ansicht der Verwaltungsoberfläche und möglicherweise auch der Hauptschnittstelle der Website. 1 Jahr HTTP Homepage TUW
    wp-wpml_current_language Speichert die aktuelle Sprache. Dieses Cookie ist standardmäßig auf Websiten aktiviert, um die Funktion der Sprachfilterung für AJAX-Operationen verwenden zu können. 1 Tag HTTP Homepage TUW
    wp-wpml_current_admin_language_{hash} Speichert die aktuelle Sprache des WordPress-Administrationsbereichs. {hash} repräsentiert einen einmaligen Benutzertoken. 1 Tag HTTP Homepage TUW
    CookieConsent_117a3e Speichert Ihre Einstellungen zur Verwendung von Cookies auf dieser Website. 1 Jahr HTML Homepage TUW

  • Mit Hilfe dieser Cookies können wir unser Angebot laufend verbessern und unsere Website an Ihre Bedürfnisse anpassen. Dabei werden pseudonymisierte Daten über die Websitenutzung gesammelt und statistisch ausgewertet.

    Name Zweck Ablauf Typ Anbieter
    _pk_id.136.56ce Wird verwendet, um ein paar Details über den Benutzer wie die eindeutige Besucher-ID zu speichern. 13 Monate HTML Matomo TUW
    _pk_ref Wird benutzt, um die Informationen der Herkunftswebsite des Benutzers zu speichern. 6 Monate HTML Matomo TUW
    _pk_ses.136.56ce Wird benötigt, um vorübergehende Daten des Besuchs zu speichern. 30 MInuten HTML Matomo TUW