Data Ingestion Service (DIS)

Verschiedene Datenquellen wie Logs, das Internet of Things, Social Media Feeds oder Geotracking generieren pausenlos Daten. Für bestimmte Business-Szenarien bringt es Mehrwerte, diese Daten auszuwerten – über Big-Data-Analysen. Doch eine der Hauptherausforderungen besteht häufig darin, die nicht abreißenden Datenströme auf die Plattform zu bringen, auf der sie ausgewertet werden sollen. Data Ingestion Services übernehmen diese Aufgabe. Damit wird eine beschleunigte Aufnahme von Daten, direkt nach ihrer Produktion, möglich, um beispielsweise Echtzeitanalysen anzufertigen.

Mit dem Data Ingestion Service (DIS) bietet die Open Telekom Cloud ein Modul der MapReduce-Suite als alleinstehenden Service an. Er sorgt dafür, dass große Datenmengen in überschaubarer Zeit in der Open Telekom Cloud bereitstehen. DIS basiert auf Kafka, HBase und Redis. Der Service bietet Nutzern Freiheit bei der Nutzung des geeigneten Tools für die Auswertung. Er ermöglicht das Design der Streams via Konsole. Common Streams erlauben bis zu 50 Partitionen mit 2 MB/s Lesegeschwindigkeit, Advanced Streams bis zu 10 Partitionen mit 10 MB/s. Daten können langfristig im Object Storage abgelegt werden.