Master’s Thesis

Masterarbeit

Entdeckung und Gestaltung neuer cuDF-Operatoren zur Unterstützung einer effizienten Velox-Ausführung auf GPUs

Velox ist eine leistungsstarke, Open-Source-Ausführungs-Engine für groß angelegte Datenverarbeitungs-Workloads, einschließlich der Ausführung von SQL-Abfragen. Sie bietet ein modulares, operatorbasiertes Ausführungsmodell, in dem relationale Abfragepläne als Kompositionen von Operatoren aus primitiven Operationen ausgedrückt werden. Kürzlich haben GPU-beschleunigte Datenverarbeitungs-Frameworks wie NVIDIA cuDF erhebliche Leistungsverbesserungen gezeigt; dennoch bestehen noch Lücken zwischen den von cuDF bereitgestellten Abstraktionen und den Operatoranforderungen moderner SQL-Engines.

Das Ziel dieses Projekts ist es, systematisch neuartige cuDF-Operatoren zu entdecken, zu entwerfen und zu implementieren, die besser zu den in der Velox-Abfrageausführung auftretenden Berechnungsmustern passen. Der Studierende wird eine arbeitslastgetriebene Analyse und automatisierte Operator-Entdeckungstools wie OpenEvolve (oder verwandte Techniken) verwenden, um SQL-Abfragepläne und Ausführungsspuren zu untersuchen, wiederkehrende Berechnungsmotive zu identifizieren und neue GPU-native Operatoren vorzuschlagen. Ein zentrales Thema des Projekts ist die Erforschung von Operatorabstraktionsebenen, wobei Fragen untersucht werden wie: Was stellt einen sinnvollen Operator dar, der mit einer oder mehreren GPUs ausgeführt werden kann? Wie grob- oder feinkörnig sollten diese Operatoren sein? Wie beeinflusst die Granularität der Operatoren Leistung, Allgemeingültigkeit und Wartbarkeit?

Die neu entwickelten cuDF-Operatoren werden durch GPU-gestützte Operatorimplementierungen in Velox integriert und durch umfassende Unit- und Integrationstests begleitet. Ihre Effektivität wird mit dem branchenüblichen TPC-H-Benchmark bewertet.

Anforderungen

• Fundierte Kenntnisse in C++ und Python
• Erfahrung mit Benchmarking und Performance-Profiling
• Grundkenntnisse in Datenbanken und SQL
• Selbstständige Lern- und Arbeitsfähigkeit

Bevorzugte Erfahrung/Fähigkeiten

• Erfahrung mit SQL-Engines, Datenverarbeitungssystemen oder GPU-Programmierung (CUDA, cuDF, RAPIDS etc.)
• Vertrautheit mit Abfrageausführung, relationaler Algebra, spaltenorientierten Datenlayouts und Speicherverwaltung
• Vertrautheit mit Abfrageoptimierung, Compiler-Techniken oder IR-basierten Systemen
• Vorherige Forschungserfahrung oder Publikationen in den Bereichen Systeme, Datenbanken oder Hochleistungsrechnen

Erwartete Projektschritte

• Studium der Velox-Architektur und ihres Operator-Ausführungsmodells
• Überprüfung der cuDF-Primitiven und ihrer aktuellen Nutzungsmuster in der SQL-Ausführung
• Analyse von SQL-Workloads und Ausführungsspuren (TPC-H), um Ineffizienzen und fehlende Abstraktionen zu identifizieren
• Entdeckung wiederkehrender Berechnungsmuster und Kandidatenoperatoren
• Systematische Erforschung von Operatorabstraktionsebenen, Definition und Bewertung alternativer Operatorgrenzen
• Entwurf und Implementierung neuer cuDF-Operatoren und Integration in Velox
• Entwicklung von Unit- und Integrationstests zur Sicherstellung von Korrektheit und Robustheit
• Bewertung der Leistung mit dem TPC-H-Benchmark, Analyse von Durchsatz, Kernel-Effizienz und Speicherverhalten
• Ableitung allgemeiner Prinzipien für das Operator-Design und Vorbereitung der Ergebnisse zur Veröffentlichung

Wir ermutigen und unterstützen Studierende aktiv, auf erstklassigen Konferenzen wie NeurIPS, VLDB zu publizieren. Wir erwarten, dass die Ergebnisse dieses Projekts auch zu einem Open-Source-Beitrag führen.

Vielfalt & Arbeitsumfeld

IBM engagiert sich für die Förderung von Vielfalt und Inklusion am Arbeitsplatz. Sie werden Teil eines offenen, multikulturellen Forschungsumfelds, das unterschiedliche Perspektiven schätzt und flexible Arbeitsbedingungen unterstützt. Unser Ziel ist es, allen Geschlechtern und Hintergründen zu einem beruflichen Erfolg zu verhelfen und gleichzeitig eine gesunde Work-Life-Balance zu erhalten.

Mehr Informationen