Apache Storm

Apache Storm

Information
Entwickelt von Apache Software Foundation
Erste Version 12. April 2014
Letzte Version 1.2.3 (18. Juli 2019)
2.0.0 (30. Mai 2019)
2.1.0 (31. Oktober 2019)
Anzahlung git-wip-us.apache.org/repos/asf/storm.git
Geschrieben in Clojure und Java
Lizenz Apache-Lizenz
Webseite Storm.apache.org

Apache Storm ist ein Rechenrahmen für die verteilte Stream-Verarbeitung , der hauptsächlich in der Programmiersprache Clojure geschrieben ist . Das Projekt wurde ursprünglich von Nathan Marz und dem BackType-Team erstellt und ist nach der Übernahme durch Twitter Open Source . Es verwendet benutzerdefinierte "Ausläufe" und "Bolzen", um Informationsquellen und Manipulationen für die Stapelverarbeitung und die kontinuierliche Datenverteilung zu definieren. Die erste Veröffentlichung erfolgte am17. September 2011.

Eine Storm-Anwendung ist als "Topologie" in Form eines gerichteten azyklischen Diagramms (DAG) mit Ausläufen und Bolzen als Eckpunkte des Diagramms konzipiert. Die Kanten des Diagramms werden als Flüsse bezeichnet und leiten Daten von einem Knoten zum anderen. Zusammen fungiert die Topologie als Datentransformationspipeline. Auf oberflächlicher Ebene ähnelt die allgemeine topologische Struktur einem MapReduce- Job . Der Hauptunterschied besteht darin, dass die Daten im Gegensatz zu einzelnen Stapeln in Echtzeit verarbeitet werden. Darüber hinaus werden Storm-Topologien unbegrenzt ausgeführt, bis sie gelöscht werden, während eine funktionierende MapReduce-DAG beendet werden sollte.

Storm wurde ein Apache-Top-Level-Projekt in September 2014 und war zuvor in Inkubation seitdem September 2013.

Peer-Plattformen

Storm ist nur eine von Dutzenden von Stream-Processing-Engines. Eine vollständigere Liste finden Sie unter Workflow-Verarbeitung . Twitter kündigte Heron an2. Juni 2015API kompatibel mit Storm. Es gibt andere vergleichbare Streaming-Daten-Engines wie Spark Streaming und Flink .

Siehe auch

Verweise

  1. "  https://projects.apache.org/json/projects/storm.json  " (Zugriff am 8. April 2020 )
  2. "  http://storm.apache.org/2019/07/18/storm123-released.html  "
  3. "  http://storm.apache.org/2019/05/30/storm200-released.html  "
  4. "  http://storm.apache.org/2019/10/31/storm210-released.html  "
  5. Marz, "  Über Nathan Marz  " , Nathan Marz (abgerufen am 28. März 2013 )
  6. "  BackType-Website (nicht mehr verfügbar)  " , BackType (abgerufen am 28. März 2013 )
  7. "  Ein Sturm kommt: Weitere Details und Pläne für die Veröffentlichung  " , Engineering Blog , Twitter Inc (abgerufen am 29. Juli 2015 )
  8. "  Storm Codebase  " , Github (abgerufen am 8. Februar 2013 )
  9. "  Tutorial - Komponenten eines Sturmclusters  " , Dokumentation , Apache Storm (abgerufen am 29. Juli 2015 )
  10. "  Apache Storm absolviert ein Top-Level-Projekt  "
  11. "  Inkubationsstatus des Sturmprojekts  " , Apache Software Foundation (abgerufen am 29. Oktober 2013 )
  12. "  Storm Proposal  " , Apache Software Foundation (abgerufen am 29. Oktober 2013 )
  13. "  Mit Twitter Heron schneller fliegen  " , Engineering Blog , Twitter Inc (abgerufen am 3. Juni 2015 )
  14. "  Benchmarking von Streaming-Berechnungs-Engines: Storm-, Flink- und Spark-Streaming  " [PDF] , IEEE,Mai 2016