Durch die Integration von Intel MKL, OpenCV und NumPy reduziert der Server aufwendige Datenbewegungen und nutzt die Fähigkeiten der CPU optimal aus. Dadurch eröffnen sich neue Möglichkeiten für Klimadaten, Satellitenbilder, medizinische Bildgebung und großskalige numerische Analysen.
Unter der Betreuung von Peter Baumann, Professor für Informatik, hat das Studentinnen-Team, Dulguun Ulziibayar und Zaara Valladares, Intel MKL, OpenCV und NumPy in das Rasdaman Array-DBMS integriert.
Da diese Funktionen direkt über Datenwürfel-Anfragen aufgerufen werden können, bleibt die Verarbeitung nahe an den Daten, und ein wiederholter Export und Re-Import wird vermieden. Darüber hinaus bietet Intel MKL besonders optimierten Code, der sämtliche CPU-Fähigkeiten für eine hocheffiziente Big-Data-Verarbeitung nutzt.
Bachelorarbeiten zeigen, wie Intel MKL, OpenCV und NumPy in Rasdaman Array-DBMS integriert werden
Ulziibayar implementierte 15 Funktionen aus den drei Bibliotheken, wobei sie drei Integrationsmuster verwendete und diese mithilfe von Regressionstests sowie einer visuellen Demonstration mit OpenCV validierte. Valladares untersuchte die integrierten Funktionen hinsichtlich Korrektheit und Performance und testete sie mit Datensammlungen unterschiedlicher Dimensionen. Ihre Ergebnisse bestätigten eine zuverlässige und präzise Ausgabe und zeigten, dass benutzerdefinierte Funktionen (UDFs) bei einigen Eingaben zwar einen geringen zusätzlichen Rechenaufwand verursachen, sich die Ausführungszeit mit wachsendem Datenvolumen jedoch verbessert. Damit erweist sich der Ansatz als skalierbar.
„Diese Arbeit zeigt, wie der UDF-Mechanismus von Rasdaman diesen Rechenaufwand beseitigt und es ermöglicht, Funktionsaufrufe aus diesen Bibliotheken mithilfe von rasql-Abfragen auszuführen, während die Verarbeitung serverseitig bleibt“, sagt Ulziibayar.
Die Arbeiten zeigen, dass die Integration sowohl machbar als auch effektiv ist: Die getesteten Funktionen lieferten über verschiedene Datentypen und Dimensionen hinweg exakte Ergebnisse. Die UDF-basierte Ausführung wird mit zunehmender Größe der Arrays immer konkurrenzfähiger. Indem die Verarbeitung innerhalb der Datenbank verbleibt, wird der Aufwand für Datenbewegungen verringert und eine Grundlage für besser skalierbare wissenschaftliche Analysen durch Menschen und KI geschaffen.
Weitere Informationen unter www.rasdaman.com