MRS neue Minor Version verfügbar

MRS (MapReduce Service) wird für die Analyse und Verarbeitung großer Datenmengen verwendet, insbesondere für Big-Data-Anwendungen. Es ermöglicht die Erstellung und Verwaltung von Hadoop-Clustern auf der Cloud und unterstützt verschiedene Big-Data-Komponenten wie Hadoop, Spark, HBase, Kafka und Storm. MRS bietet eine Plattform für die Ausführung von Programmen, die auf diesen Komponenten basieren, und ermöglicht die Überwachung und Verwaltung von Clustern über das MapReduce Service. 

In dieser neuen Minor Version Upgrade mit Bezeichnung 3.5.0-LTS sind folgenden neuen Funktionen.

Neue Funktionalitäten:

• Der Doris-Engine ist jetzt in der SQL-Inspector-Funktion verfügbar. Das bedeutet, dass SQL-Inspector-Blöcke und abfangen große und langsame SQL-Anweisungen in Doris basierend auf vordefinierten und benutzerdefinierten Inspektionrichtlinien.
• Das System kann langsame Abfrageanweisungen in Doris erkennen und abfangen. Das bedeutet, dass die Erkennung von langsamen Abfragen in Doris hinzugefügt wurde, wodurch die Überwachungsfähigkeit von Doris verbessert wird.
• HBase unterstützt die Synchronisierung von Tabellendaten mithilfe des Spark-BulkLoad-Tools. Um Hive- oder Spark-Tabellendaten schnell mit HBase-Tabellen zu synchronisieren, können Sie das Spark-BulkLoad-Tool verwenden. Es ermöglicht Ihnen auch, vollständige oder inkrementelle Daten im ORC/PAQUET-Format zu importieren.
• Die Hive-Komponente eines normalen Clusters unterstützt kaskadierende Autorisierung.
• Hive abfängt SQL-Anweisungen, die auf von ihr selbst geschriebene Daten zugreifen. Das bedeutet, dass Sie SQL-Anweisungen abfangen können, die auf von Ihnen selbst geschriebene Daten in Hive zugreifen.
• FlinkSQL unterstützt den MultiJoin-Operator. Das Joinen von breiten Tabellen mit Flinks FULL OUTER JOIN-Operator erhöht den Backend-Druck und verlangsamt die Leistung. Sie können den MultiJoin-Operator verwenden, um breite Tabellen zu joinen und die Rechenleistung zu verdoppeln.
• HDFS unterstützt asynchrone Löschung. Das bedeutet, dass die HDFS-Asynchronlöschfunktion verwendet wird, um große Verzeichnisse zu löschen. Durch asynchrone Löschung von Blöcken mit Verkehrssteuerung kann die kontinuierliche Sperrperiode effektiv verkürzt werden.
• YARN kann große Aufgaben erkennen, um zu verhindern, dass die Festplatten aufgebraucht werden. Das bedeutet, dass YARN lokale temporäre Dateien (wie Shuffle-Dateien) und wichtige HDFS-Verzeichnisse für große Hive-, HetuEngine- und Spark-Aufgaben scannen kann. Es meldet Ereignisse, wenn Aufgaben übermäßige Speicherressourcen (lokale Festplatten oder wichtige HDFS-Verzeichnisse) verbrauchen.
• HetuEngine unterstützt Oracle- und GBase-Datenquellen. Das bedeutet, dass HetuEngine es Ihnen ermöglicht, Oracle- und GBase-Datenquellen zu konfigurieren, zuzugreifen und abzufragen.
• Jetzt können Keytab-Dateien auf einem Remote-Knoten heruntergeladen werden. Sie können dies jetzt tun, indem Sie:
  1. Melden Sie sich bei MRS Manager an.
  2. Klicken Sie auf der Seite System > User page, auf More > Download Authentication Credential.
  3. Wählen Sie einen Download-Pfad aus und klicken Sie auf OK. Sie können Keytab-Dateien auf einen lokalen Pfad, den aktiven OMS-Knoten oder einen bestimmten Knoten herunterladen.

Weitere Informationen finden Sie im MapReduce Service Bereich im Help Center.