Die neue Version von Data Lake Insight (DLI) bietet die folgenden neuen Funktionen:
- Der Prozess der Übermittlung von Spark-Jobs über den ClusterAgent wurde optimiert, indem er in eine eigenständige Containerausführung entkoppelt wurde. Diese Verbesserung macht den ClusterAgent unabhängiger, flexibler und reduziert seine Abhängigkeit von Spark-JAR-Dateien.
- Der Bereinigungsmechanismus für Jobtabellen wurde verbessert, um die Stabilität und Zuverlässigkeit zu erhöhen. Darüber hinaus wurden Optimierungen vorgenommen, um die Kopplung zwischen Aufträgen und Jobtabellen zu beheben. Diese Verbesserungen sorgen dafür, dass Daten in Jobtabellen effizienter und exakter bereinigt werden, wodurch Probleme wie Datenredundanz und Leistungsabfall aufgrund verzögerter oder ungenauer Bereinigungen vermieden werden.
- Unterstützung für ODBC-Verbindungen zu DLI auf 64-Bit-Systemen wurde hinzugefügt.
- Eine Speicherauszugsmethode wurde eingeführt, wenn der Treiber eine vollständige Garbage Collection durchläuft. Dies ermöglicht eine schnelle Diagnose und Behebung potenzieller Speicherprobleme während der Laufzeit und erhöht die Zuverlässigkeit und Stabilität des Systems.
- Der Mechanismus zur automatischen Erneuerung von CCE-Client-Tokens wurde verstärkt, um die Systemsicherheit und die Benutzererfahrung zu verbessern.
- Nahtlose Upgrades für die DLI CCE-Version ohne Migrationen wurden ermöglicht, wodurch ein unterbrechungsfreier Betrieb gewährleistet ist.
- Die Managementlogik wurde von der Datenverarbeitungslogik getrennt, sodass beide Komponenten unabhängig voneinander betrieben und skaliert werden können. Dies reduziert direkte Abhängigkeiten und verbessert die Gesamteffizienz.
Diese Probleme wurden behoben:
- Der Link zur Weiterleitung zum Benutzerhandbuch auf der DLI-Konsole war ungültig.
- Fehlermeldung beim Speichern eines Flink-Jobs.
- Warteschlangentags wurden in TMS nicht erkannt.
- Das Problem mit der Alterung der Jobtabelle wurde behoben und der Alterungsmechanismus wurde verbessert.
- Der Fehler beim Speichern über die Schaltfläche „Speichern unter“ nach dem Beenden eines Flink-Jar-Jobs mit aktivierter Checkpointing-Funktion nur über die Konsole wurde behoben.
Weitere Informationen finden Sie im Data Lake Insight (DLI) Help Center.