Data Lake Insight (DLI) ist ein serverloser Big-Data-Abfrage- und Analysedienst. Er ist vollständig mit den Ökosystemen von Apache Spark und Apache Flink kompatibel. DLI unterstützt Standard-SQL und ist mit Spark und Flink SQL kompatibel. Er unterstützt außerdem mehrere Zugriffsmodi und ist mit den gängigen Datenformaten kompatibel. DLI unterstützt SQL-Anweisungen und Spark-Anwendungen für heterogene Datenquellen, einschließlich CloudTable, RDS, DWS, CSS, OBS, benutzerdefinierte Datenbanken auf ECSs und Offline-Datenbanken.
Spark ist eine einheitliche Analyse-Engine, die sich ideal für die Verarbeitung großer Datenmengen eignet. Sie konzentriert sich auf Abfragen, Berechnungen und Analysen. DLI optimiert die Leistung und baut Dienste auf der Grundlage von Open-Source-Spark neu auf. Es ist mit dem Apache Spark-Ökosystem und den Schnittstellen kompatibel und verbessert die Leistung um das 2,5-fache im Vergleich zu Open-Source Spark. Auf diese Weise können Sie mit Data Lake Insight Abfragen und Analysen von EB-Daten innerhalb weniger Stunden durchführen.
Flink ist eine verteilte Rechenmaschine, die sich ideal für die Stapelverarbeitung eignet, d. h. für die Verarbeitung statischer und historischer Datensätze. Sie kann auch für die Stream-Verarbeitung verwendet werden, d. h. für die Verarbeitung von Echtzeit-Datenströmen und die Generierung von Datenergebnissen in Echtzeit. DLI verbessert die Funktionen und die Sicherheit auf der Grundlage des Open-Source-Projekts Flink und bietet die für die Datenverarbeitung erforderliche Stream-SQL-Funktion.
