Suche

Most Resource Efficient Matrix-Vector Multiplication on FPGAs

E389 / News / Most Resource Efficient Matrix-Vector Multiplication on FPGAs
16. August 2023
Speaker: Ralf Müller
Date and Time: Wednesday August 16, 2023 at 2pm
Room: Seminar Room 389-2 (Room # CG 04 02)

Abstract: Fast and resource-efficient inference in artificial neural networks (ANNs) is of utmost importance and drives many new developments in the area of new hardware architectures. In this work, we present a novel method for lowering the computation effort for ANN inference utilizing ideas from information theory. Weight matrices are sliced into submatrices of logarithmic aspect ratios. These slices are then factorized. This reduces the number of required computations without compromising on fully parallel processing. We also provide a tool to map these sliced and factorized matrices efficiently to reconfigurable hardware. By comparing to the state of the art FPGA implementations, we lower hardware resources measured in look-up-tables (LUTs) by a factor of four to six. Our method does not rely on any particular property of the weight matrices of the ANN. It works for the general task of multiplying an input vector with a constant matrix and is also suitable for convolutional neural networks as well as digital signal processing beyond ANNs.

Bio: Ralf Müller received his diploma in electrical engineering in 1996 and his PhD in 1999 from the Friedrich-Alexander University of Erlangen. Then he spent a year as a postdoctoral researcher at Princeton University in New Jersey. From 2000 to 2004, he led a research group at the
Telecommunications Research Center Vienna (ftw.). In 2005, he was appointed full professor at the Department of Electronics and Telecommunications at the Norwegian University of Technology and Natural Sciences (NTNU) in Trondheim. In 2013, he moved to the Institute of Digital Transmission at Friedrich-Alexander University Erlangen-Nuremberg.

Ralf Müller received the Leonard G. Abraham Award (shared with Sergio Verdú) for the publication „Design and analysis of low-complexity interference mitigation on vector channels“ from the IEEE Communications Society. His dissertation „Power and bandwidth efficiency of multiuser system with random spreading“ was awarded both the Vodafone (then Mannesmann) Foundation Grant for Research in Mobile Communications and the ITG Grant. For the publication „A random matrix model for communication via antenna arrays“ he received the prize of the ITG. The Philipp-Reis Prize was awarded to him jointly with Robert Fischer. Prof. Müller was Associate Editor of the IEEE Transactions on Information Theory from 2003 to 2006.

Hinweis zu Cookies

Unsere Website verwendet Cookies, um die grundlegende Funktionalität unserer Website zu gewährleisten sowie die Zugriffe auf unserer Website zu analysieren und um Funktionen für soziale Medien und zielgerichtete Werbung anbieten zu können. Hierzu ist es nötig Informationen an die jeweiligen Dienstanbieter weiterzugeben. Weitere Informationen zu Cookies auf der Website finden Sie in unserer Datenschutzerklärung.

  • Diese Cookies werden für eine reibungslose Funktion unserer Website benötigt.

    Name Zweck Ablauf Typ Anbieter
    wordpress_test_cookie Test cookie zum Testen, ob Cookies gesetzt werden können. 1 Jahr HTTP Homepage TUW
    PHPSESSID Wird von WordPress verwendet, um den Status Ihrer aktuellen Benutzersession über mehrere Seitenanfragen hinweg zu bewahren. Session HTTP Homepage TUW
    wordpress_logged_in_{hash} Wird von Wordpress verwendet, um die Benutzer eingeloggt zu lassen. {hash} repräsentiert einen einmaligen Benutzertoken. 1 Jahr HTTP Homepage TUW
    wp-settings-time-{id} Dient zur Anpassung der Ansicht der Verwaltungsoberfläche und möglicherweise auch der Hauptschnittstelle der Website. 1 Jahr HTTP Homepage TUW
    wordpress_sec_{hash} Dieses Cookie wird verwendet, um Ihre Authentifizierungsdaten zu speichern. Die Verwendung ist auf den Bereich der Verwaltungskonsole beschränkt. {hash} repräsentiert einen einmaligen Benutzertoken. 1 Jahr HTTP Homepage TUW
    wp-settings-{id} Dient zur Anpassung der Ansicht der Verwaltungsoberfläche und möglicherweise auch der Hauptschnittstelle der Website. 1 Jahr HTTP Homepage TUW
    wp-wpml_current_language Speichert die aktuelle Sprache. Dieses Cookie ist standardmäßig auf Websiten aktiviert, um die Funktion der Sprachfilterung für AJAX-Operationen verwenden zu können. 1 Tag HTTP Homepage TUW
    wp-wpml_current_admin_language_{hash} Speichert die aktuelle Sprache des WordPress-Administrationsbereichs. {hash} repräsentiert einen einmaligen Benutzertoken. 1 Tag HTTP Homepage TUW
    CookieConsent_117a3e Speichert Ihre Einstellungen zur Verwendung von Cookies auf dieser Website. 1 Jahr HTML Homepage TUW

  • Mit Hilfe dieser Cookies können wir unser Angebot laufend verbessern und unsere Website an Ihre Bedürfnisse anpassen. Dabei werden pseudonymisierte Daten über die Websitenutzung gesammelt und statistisch ausgewertet.

    Name Zweck Ablauf Typ Anbieter
    _pk_id.136.56ce Wird verwendet, um ein paar Details über den Benutzer wie die eindeutige Besucher-ID zu speichern. 13 Monate HTML Matomo TUW
    _pk_ref Wird benutzt, um die Informationen der Herkunftswebsite des Benutzers zu speichern. 6 Monate HTML Matomo TUW
    _pk_ses.136.56ce Wird benötigt, um vorübergehende Daten des Besuchs zu speichern. 30 MInuten HTML Matomo TUW