Open Telekom Cloud für Geschäftskunden

Data Lake Insight (DLI)

Data Lake Insight (DLI) ist ein serverloser Big-Data-Abfrage- und Analysedienst, der vollständig mit den Ökosystemen von Apache Spark und Apache Flink kompatibel ist. DLI unterstützt Standard-SQL und ist mit Spark und Flink SQL kompatibel. Er unterstützt außerdem mehrere Zugriffsmodi und ist mit den gängigen Datenformaten kompatibel. DLI unterstützt SQL-Anweisungen und Spark-Anwendungen für heterogene Datenquellen, einschließlich CloudTable, RDS, DWS, CSS, OBS, benutzerdefinierte Datenbanken auf ECSs und Offline-Datenbanken.

Spark ist eine einheitliche Analyse-Engine, die sich ideal für die Verarbeitung großer Datenmengen eignet. Sie konzentriert sich auf Abfragen, Berechnungen und Analysen. DLI optimiert die Leistung und baut Dienste auf der Grundlage von Open-Source-Spark neu auf. Es ist mit dem Apache Spark-Ökosystem und den Schnittstellen kompatibel und verbessert die Leistung um das 2,5-fache im Vergleich zu Open-Source Spark. Auf diese Weise können Sie mit Data Lake Insight Abfragen und Analysen von EB-Daten innerhalb weniger Stunden durchführen.

Flink ist eine verteilte Rechenmaschine, die sich ideal für die Stapelverarbeitung eignet, d. h. für die Verarbeitung statischer und historischer Datensätze. Sie kann auch für die Stream-Verarbeitung verwendet werden, d. h. für die Verarbeitung von Echtzeit-Datenströmen und die Generierung von Datenergebnissen in Echtzeit. DLI verbessert die Funktionen und die Sicherheit auf der Grundlage des Open-Source-Projekts Flink und bietet die für die Datenverarbeitung erforderliche Stream-SQL-Funktion.

Frau arbeitet vor mehreren Bildschirmen in einem Rechenzentrum

Gründe für DLI in der Open Telekom Cloud

Icon mit Server und Hand

Einfache Nutzung

Mit DLI können Sie ganze Terabytes in Ihrem Data Lake in Sekundenschnelle mit Hilfe von Standard-SQLs erforschen, ohne dass Sie sich um den Betrieb kümmern müssen.

Icon mit Kreisdiagramm und Sprechblase mit Bullet List

Analyse aus einer Hand

Vollständig kompatibel mit Apache Spark und Flink; Stream- und Stapelverarbeitung sowie interaktive Analyse an einem Ort.

Icon mit Zahnrad und Pfeilsymbol für Skalierbarkeit

Skalierbare Ressourcen

Gemeinsamer On-Demand-Zugriff auf gepoolte Ressourcen, flexible Skalierung auf der Grundlage voreingestellter Prioritäten.

Icon mit Wolke und Server

Quellenübergreifende Verbindung

Einfacher quellenübergreifender Datenzugriff für kollaborative Analysen mit DLI-Datenquellenverbindungen, keine Datenmigration erforderlich.


Key Features von DLI

Frau mit Stift in der Hand arbeitet vor mehreren Bildschirmen, die verschiedene Daten anzeigen

Vollständige SQL-Kompatibilität

Für die Durchführung von Big-Data-Analysen benötigen Sie keine Vorkenntnisse im Bereich Big Data. Sie brauchen nur SQL-Kenntnisse, und schon können Sie loslegen. Die SQL-Syntax ist vollständig kompatibel mit dem Standard ANSI SQL 2003.

 
Icon: Puzzle

Serverloses Spark/Flink

Migrieren Sie Ihre Offline-Anwendungen nahtlos in die Cloud mit serverloser Technologie. DLI ist vollständig kompatibel mit den Ökosystemen und APIs von Apache Spark, Apache Flink und Presto.

Icon: Diagramm

Quellenübergreifende Analyse

Analysieren Sie Ihre Daten datenbankübergreifend. Keine Migration erforderlich. Eine einheitliche Sicht auf Ihre Daten verschafft Ihnen ein umfassendes Verständnis Ihrer Daten und hilft Ihnen, schneller zu innovieren. Es gibt keine Einschränkungen in Bezug auf Datenformate, Cloud-Datenquellen oder ob die Datenbank online oder offline erstellt wird.

Icon: Hierarchische Struktur

Unternehmen mit mehreren Mandanten

Verwalten Sie rechen- oder ressourcenbezogene Berechtigungen projekt- oder benutzerspezifisch. Genießen Sie eine feinkörnige Kontrolle, die es einfach macht, die Datenunabhängigkeit für separate Aufgaben zu erhalten.

Icon: Cloud-Datenbank

Entkopplung von Speicher und Rechner

DLI entkoppelt die Speicherung von der Datenverarbeitung, so dass Sie niedrigere Kosten nutzen und gleichzeitig die Ressourcenauslastung verbessern können.

Icon: Zeitablauf

O&M-frei und hohe Verfügbarkeit

DLI befreit Sie von komplizierten O&M- und Upgrade-Vorgängen, während Sie dank der Dual-AZ-Bereitstellung von hoher Datenverfügbarkeit profitieren.


Identitäts- und Zugriffsmanagement

DLI verfügt über einen umfassenden Mechanismus zur Steuerung von Berechtigungen und unterstützt eine fein abgestufte Authentifizierung durch Identity and Access Management (IAM). Sie können in IAM Richtlinien erstellen, um DLI-Berechtigungen zu verwalten. Sie können sowohl den Berechtigungskontrollmechanismus von DLI als auch den IAM-Dienst für die Berechtigungsverwaltung verwenden.

Anwendungsszenarien der IAM-Authentifizierung

Bei der Verwendung von DLI in der Cloud müssen Enterprise-Benutzer DLI-Ressourcen (Warteschlangen) verwalten, die von Mitarbeitern in verschiedenen Abteilungen genutzt werden, einschließlich der Erstellung, Löschung, Verwendung und Isolierung von Ressourcen. Darüber hinaus müssen die Daten der verschiedenen Abteilungen verwaltet werden, einschließlich der Datenisolierung und -freigabe.

DLI verwendet IAM für ein ausgefeiltes Multi-Tenant-Management auf Unternehmensebene. IAM bietet Identitätsauthentifizierung, Berechtigungsverwaltung und Zugriffskontrolle und unterstützt Sie beim sicheren Zugriff auf Ihre Cloud-Ressourcen.

Mit IAM können Sie Ihr Cloud-Konto verwenden, um IAM-Benutzer für Ihre Mitarbeiter zu erstellen und den Benutzern Berechtigungen zuzuweisen, um ihren Zugriff auf bestimmte Ressourcentypen zu steuern. Müssen beispielsweise einige Softwareentwickler in Ihrem Unternehmen DLI-Ressourcen nutzen, dürfen diese aber nicht löschen oder risikoreiche Operationen durchführen, können Sie IAM-Benutzer für die Softwareentwickler anlegen und ihnen nur die für die Nutzung von DLI-Ressourcen erforderlichen Berechtigungen zuweisen.

 

DLI Systemberechtigungen

Rollen: Eine Art grobkörniger Autorisierungsmechanismus, der Berechtigungen in Bezug auf Benutzerzuständigkeiten definiert. Dieser Mechanismus bietet nur eine begrenzte Anzahl von Rollen auf Dienstebene für die Autorisierung. Wenn Sie Rollen für die Erteilung von Berechtigungen verwenden, müssen Sie auch andere Rollen zuweisen, von denen die Berechtigungen abhängen, damit sie wirksam werden. Rollen sind jedoch nicht die ideale Wahl für eine fein abgestufte Autorisierung und sichere Zugriffskontrolle.

Policies: Eine Art fein abgestufter Autorisierungsmechanismus, der die für die Durchführung von Vorgängen auf bestimmten Cloud-Ressourcen unter bestimmten Bedingungen erforderlichen Berechtigungen definiert. Dieser Mechanismus ermöglicht eine flexiblere richtlinienbasierte Autorisierung, die die Anforderungen an eine sichere Zugriffskontrolle erfüllt. So können Sie beispielsweise DLI-Benutzern nur die Berechtigungen für die Verwaltung eines bestimmten ECS-Typs erteilen.
 

Name der Rolle/Policy

Beschreibung

Kategorie

DLI FullAccess

Sämtliche Berechtigungen für DLI

Systemdefinierte Policy

DLI ReadOnlyAccess

Leseberechtigungen für DLI

Systemdefinierte Policy

Tenant Administrator

Tenant Administrator

  • Verwalten Sie Berechtigungen für die Administration sämtlicher Cloud-Dienste und den Zugriff auf diese. Nachdem eine Datenbank oder eine Warteschlange erstellt wurde, kann der Benutzer die Access Control List (ACL) verwenden, um anderen Benutzern Rechte zuzuweisen.
  • Umfang: Service auf Projektebene

Systemdefinierte Rolle

DLI Service Admin

DLI Administrator

  • Verwalten Sie Berechtigungen für die Administration der Warteschlangen und Daten von DLI sowie den Zugriff darauf. Nachdem eine Datenbank oder eine Warteschlange erstellt wurde, kann der Benutzer die Access Control List (ACL) verwenden, um anderen Benutzern Rechte zuzuweisen.
  • Umfang: Service auf Projektebene

Systemdefinierte Rolle

 

DLI Dienstberechtigungen

Berechtigungstyp

Subtyp

SQL Syntax

Queue Permissions

Queue management permissions

Queue usage permission

None

Data Permissions

Database permissions

Table permissions

Column permissions

Weitere Informationen erhalten Sie unter SQL Syntax of Batch Jobs > Data Permissions Management > Data Permissions List in der Data Lake Insight SQL Syntax Reference.

Job Permissions

Flink job permissions

None

Package Permissions

Package group permissions

Packe permissions

None

Datasource Connection Permissions

Datasource connection permissions

None

 

Weitere Informationen zur API-Definition erhalten Sie unter Granting Users with the Queue Usage Permission in der Data Lake Insight API Reference.

 

Features der DLI-Konsole

SQL-Editor

Job-Management

Ressourcen in der Warteschlangen-Verwaltung

Datenverwaltung

Job-Vorlage

Datenquellen-Verbindungen

Globale Konfiguration

 

Anwendungsszenarien

Analyse

E-Commerce

Großunternehmen

Genetik

Finanzwesen

Geografie

 
 
  • Communities

    Die Open Telekom Cloud Community

    Hier treffen sich Nutzer, Entwickler und Product Owner um sich zu helfen, auszutauschen und zu diskutieren.

    Jetzt entdecken 

  • Telefon

    Kostenfreie Experten-Hotline

    Unsere zertifizierten Cloud-Experten stehen Ihnen mit persönlichem Service zur Seite.

     0800 3304477 (aus Deutschland)

     
    +800 33044770 (aus dem Ausland)

     
    24 Stunden am Tag, 7 Tage die Woche

  • E-Mail

    Unser Kunden-Service steht Ihnen per E-Mail-Support kostenlos zur Verfügung.

    E-Mail schreiben 

  • AI Chat

    AIssistant

    Unsere KI-gestützte Suche hilft bei Ihrem Cloud-Anliegen.

    Jetzt vorab registrieren und in Kürze den neuen Open Telekom Cloud KI-Chatbot testen.

    Zukunft erleben