Odysseus - Ein Framework zur Erstellung von
Datenstrommanagementsystemen

In zunehmendem Maße werden Daten nicht mehr nur auf Abruf (pull) zur Verfügung gestellt, sondern aktiv von einer Quelle als Datenstrom gesendet (push). Anwendungsgebiete sind hier das Verkehrsmanagement, die Logistik, die medizinische Überwachung, die Fertigungssteuerung („Industrie
4.0“) oder das Energiemanagement. In allen diesen Anwendungen müssen Daten integriert, transformiert, analysiert und Ergebnisse zeitnah bereitgestellt sowie erkannte Probleme unmittelbar berichtet werden.


Die Überwachung und Analyse der kontinuierlichen Datenströme findet immer noch zu oft mittels manuell erstellter Programme statt. Es wird zu viel Entwicklungszeit in Standardverarbeitungsschritte wie Einbinden von Quellen oder Zusammenführen und Aggregieren von Daten gesteckt, anstatt sich auf das eigentlich zu lösende Problem „Gewinnung von Informationen aus Daten“ zu konzentrieren. DSMS erlauben es stattdessen, diese Aufgaben mithilfe von deklarativen Anfragen/Regeln performant im Hauptspeicher zu erledigen. In Analogie zu der bereits in den 70er Jahren gewonnenen Erkenntnis, dass eine Verwaltung von Daten mit Hilfe eines Datenbankmanagementsystems einen deutlichen Vorteil gegenüber der Speicherung im Dateisystem bietet, erfolgt auch im Bereich der Verarbeitung von Datenströmen ein Umdenken. Durch die Verwendung von semantisch abstrakteren Konzepten im Rahmen einerAnfragesprache ist es
deutlich schneller möglich, Anwendungen zu erstellen und einfacher zu warten. Domänenexperten werden so in die Lage versetzt, selbst Probleme zu formulieren und die Lösung anzustoßen, statt auf die Realisierung durch Entwickler zu warten. Das DSMS kümmert sich dann um Optimierungsund Skalierungsfragen.

Viele in der Forschung und auf dem Markt existierende DSMS sind als Universalwerkzeuge ausgelegt, die oft nur bestimmte Datenmodelle (i. d. R. nur das relationale) unterstützen und in ihren Kernkomponenten wie bspw. dem Scheduler, der die Ausführung der Anfragen regelt, unzureichend anpassbar sind. Unsere Erfahrung hat gezeigt, dass viele Probleme im Datenstromkontext aber eine Anpassung des Systems verlangen. Dies kann zum einen das Datenmodell sein (bspw. JSON, XML oder RDF ), die Art der Datenverarbeitung (z. B. prioritätsbasiertes Scheduling oder out-of-order, prioritätsgesteuerte Verarbeitung wichtiger Elemente), aber insbesondere auch die Frage, welche Operationen auf den Daten zur Verfügung stehen und welche Quellentypen dem System bekannt sein müssen.

Aus diesem Grund entwickeln wir in IS im Projekt Odysseus seit 2007 ein gleichnamiges OSGi-basiertes Framework für die Erstellung von Datenstrommanagementsystemen, dessen Plug-in-basierte Architektur auf besonders einfache Weise erlaubt, einzelne Komponenten anzupassen und sogar das zugrundeliegende Datenmodell auszutauschen bzw. unterschiedliche Datenmodelle gleichzeitig innerhalb einer Anfrage zu adressieren. Das wesentliche Ziel von Odysseus war und ist die Entwicklung einer Softwareplattform zur Evaluation von Verfahren der Datenstromverarbeitung.


Zur Integration von externen Quellen bietet Odysseus ein modulares und erweiterbares Adapter-Framework, in dem unterschiedliche Ebenen der Verarbeitung (Transportschicht wie TCP, File, MessageBus, Protokollschicht wie CSV, JSON, ByteBuffer) voneinander getrennt werden und durch Kombination zu passendenWrappern werden.Weiterhin existiert ein auf Erweiterbarkeit ausgelegtes Operatorenmodell, in dem die Verarbeitung durch das Framework übernommen wird und nur nur die eigentlicheVerarbeitungslogik (z. B. für einen Filter) realisiert werden muss.
Odysseus hat sich im Laufe der Jahre zu einer idealen Plattform entwickelt, um unterschiedliche Probleme der Datenstromverarbeitung zu adressieren. So wurde es u. a. für die Erstellung von Fahrerassistenzsystemen, die Überwachungim häuslichen Kontext und im Bereich maritimer Sicherheit eingesetzt. Aktuelle Forschungsfragestellungen betrachten u. a. dieVerknüpfung von Recommenderfunktionalitäten, die verteilte Ausführung in einem Peer-2-Peer-Netzwerk sowie die Bereitstellung von Datenstromverarbeitungsmechanismen als Services.

Weitere Informationen, Downloads oder Dokumentation finden sich auf der Projektseite: http://odysseus.informatik.uni-oldenburg.de

Veröffentlichungen

2016

Lessons Learned from Using a Data Stream Management System for Real-time Recommendation of Popular News Articles based on Real User Streams
Cornelius A. Ludmann, Hans-Jürgen Appelrath
In: Large Scale Recommender Systems (LSRS) at 10th ACM Conference on Recomender Systems, ACM, 9/2016
Anomaly detection on data streams for machine condition monitoring
Tobias Brandt, Marco Grawunder, Hans-Jürgen Appelrath
In: Industrial Informatics (INDIN), 2016 IEEE 14th International Conference on, IEEE, IEEE, S.1282-1287, 7/2016
Experiences with Sensor-based Research for Critical, Socio-technical Systems
Henrik Surm, Nick Rüssmeier, Marco Grawunder, Daniela Nicklas, Oliver Zielinski
In: Proceedings of the 17th IEEE International Conference on Mobile Data Management, IEEE Computer Society, 6/2016

2015

Odysseus - An Extensible Research Platform for Streaming Applications (invited talk)
Marco Grawunder
In: Daniela Nicklas, Özgür Lütfü Özcep (Hrsg.): Proceedings of the 1st Workshop on High-Level Declarative Stream Processing co-located with the 38th German AI conference (KI 2015), Vol-1447, CEUR Workshop Proceedings, S.1-1, 9/2015
Online Recommender Systems based on Data Stream Management Systems
Cornelius A. Ludmann
In: Proceedings of the 9th ACM Conference on Recommender Systems, 15, ACM, S.391-394, 9/2015
Der Volltext dieser Arbeit kann hier als PDF-Dokument heruntergeladen werden.
OdysseusRecSys: Collaborative Filtering based on a Data Stream Management System
Cornelius A. Ludmann, Marco Grawunder, Hans-Jürgen Appelrath
In: Alexandra Cristea, Judith Masthoff, Alan Said, Nava Tintarev (Hrsg.): Posters, Demos, Late-breaking Results and Workshop Proceedings of the 23rd Conference on User Modeling, Adaptation, and Personalization (UMAP 2015), CEUR Workshop Proceedings, 1388, http://ceur-ws.org/Vol-1388/, 7/2015
Der Volltext dieser Arbeit kann hier als PDF-Dokument heruntergeladen werden.
Demo: Herakles – Real-time Sport Analysis using a Distributed Data Stream Management System (wird veröffentlicht)
Timo Michelsen, Michael Brand, Carsten Cordes, Hans-Jürgen Appelrath
In: DEBS '15: Proceedings of the 9th ACM International Conference on Distributed Event-Based Systems, ACM, 6/2015
Using odysseus for real-time analysis over high volume geospatial data streams
Michael Brand, Marco Grawunder
In: Proceedings of the 9th ACM International Conference on Distributed Event-Based Systems, DEBS '15, ACM, New York, NY, USA, S.320-321, 6/2015
Flexible Online-Recommender-Systeme durch die Integration in ein Datenstrommanagementsystem
Cornelius A. Ludmann, Marco Grawunder, Hans-Jürgen Appelrath
In: Gunter Saake, David Broneske, Sebastian Dorok, Andreas Meister (Hrsg.): Proceedings of the 27th GI-Workshop Grundlagen von Datenbanken (GvDB 2015), Gommern, Germany, CEUR Workshop Proceedings, 1366, Otto von Guericke University Magdeburg, http://ceur-ws.org/, S.96-101, 5/2015
Der Volltext dieser Arbeit kann hier als PDF-Dokument heruntergeladen werden.
Admission Control für kontinuierliche Anfragen
Timo Michelsen, Marco Grawunder, Cornelius A. Ludmann, Hans-Jürgen Appelrath
In: Thomas Seidl, Norbert Ritter, Harald Schöning, Kai-Uwe Sattler, Theo Härder (Hrsg.): Datenbanksysteme für Business, Technolog und Web (BTW 2015), Gesellschaft für Informatik, Bonn, Bonner Köllen Verlag, 3/2015
Herakles: A System for Sensor-Based Live Sport Analysis using Private Peer-to-Peer Networks
Michael Brand, Tobias Brandt, Carsten Cordes, Marc Wilken, Timo Michelsen
In: Norbert Ritter, Andreas Heinrich, Wolfgang Lehner, Andreas Thor, Steffen Friedrich (Hrsg.): Datenbanksysteme für Business, Technolog und Web (BTW 2015) - Workshopband, Hamburg, Germany, Gesellschaft für Informatik, Bonn, Bonner Köllen Verlag, 3/2015
Modulares Verteilungskonzept für Datenstrommanagementsysteme
Timo Michelsen, Michael Brand, Hans-Jürgen Appelrath
In: Norbert Ritter, Andreas Heinrich, Wolfgang Lehner, Andreas Thor, Steffen Friedrich, Wolfram Wingerath (Hrsg.): Datenbanksysteme für Business, Technolog und Web (BTW 2015) - Workshopband, Hamburg, Germany, Gesellschaft für Informatik, Bonn, Bonner Köllen Verlag, 3/2015
Continuous Evaluation of Collaborative Recommender Systems in Data Stream Management Systems
Cornelius A. Ludmann, Marco Grawunder, Timo Michelsen, Hans-Jürgen Appelrath
In: Norbert Ritter, Andreas Henrich, Wolfgang Lehner, Andreas Thor, Steffen Friedrich, Wolfram Wingerath (Hrsg.): Datenbanksysteme für Business, Technologie und Web (BTW 2015) - Workshopband, Hamburg, Germany, GI-Edition - Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn, Bonner Köllen Verlag, 3/2015

2014

Data Stream Processing in Dynamic and Decentralized Peer-to-peer Networks
Timo Michelsen
In: Proceedings of the 2014 SIGMOD PhD symposium, Snowbird, Utah, USA, Universität Oldenburg, S.1-5, Supervised by H.-Jürgen Appelrath, 6/2014

2013

Dynamic Generation of Adaptive Real-time Dashboards for Continuous Data Stream Processing
Timo Michelsen, Marco Grawunder, Dennis Geesen, Hans-Jürgen Appelrath
In: Proceedings of the 7th International Workshop on Real-Time Business Intelligence (BIRTE 2013), Riva del Garda, Italien, to appear, 8/2013
Challenges for Personal Data Stream Management in Smart Buildings
Dennis Geesen, Hans-Jürgen Appelrath, Marco Grawunder, Daniela Nicklas
In: Bin Guo, Peizhao Hu, Daniele Riboni (Hrsg.): Creating Personal, Social, and Urban Awareness through Pervasive Computing, IGI Global, S.201-219, 4/2013
Lernen häufiger Muster aus intervallbasierten Datenströmen - Semantik und Optimierungen
Dennis Geesen, Hans-Jürgen Appelrath, Marco Grawunder, Daniela Nicklas
In: Volker Markl, Gunter Saake, Kai-Uwe Sattler, Gregor Hackenbroich, Bernhard Mitschang, Theo Härder, Veit Köppen (Hrsg.): Tagungsband der Datenbanksysteme für Business, Technologie und Web (BTW), 15. Fachtagung des GI-Fachbereichs "Datenbanken und Informationssysteme", Lecture Notes in Informatics, 214, S.295-309, 3/2013
Temporale Konsistenz von Kontextinformationen in Datenstromsystemen
Dennis Geesen, Marco Grawunder, Hans-Jürgen Appelrath
In: Gunter Saake, Andreas Henrich, Wolfgang Lehner, Thomas Neumann, Veit Köppen (Hrsg.): Workshopband der Datenbanksysteme für Business, Technologie und Web (BTW), 15. Fachtagung des GI-Fachbereichs "Datenbanken und Informationssysteme", Lecture Notes in Informatics, 216, S.53-62, 3/2013

2012

Odysseus ‐ A Highly Customizable Framework for Creating Efficient Event Stream  Management Systems
Hans-Jürgen Appelrath, Dennis Geesen, Marco Grawunder, Timo Michelsen, Daniela Nicklas
In: Proceedings of the 6th ACM International Conferenceon Distributed Event‐Based Systems – ACM DEBS 2012, ACM, 7/2012
Odysseus as Platform to Solve Grand Challenges
Dennis Geesen, Marco Grawunder
In: Proceedings of the 6th ACM International Conferenceon Distributed Event‐Based Systems – ACM DEBS 2012, ACM, 7/2012
StreamCars: A New Flexible Architecture for Driver Assistance Systems
Andre Bolles, Hans-Jürgen Appelrath, Dennis Geesen, Marco Grawunder, Marco Hannibal, Jonas Jacobi, Frank Köster, Daniela Nicklas
In: Intelligent Vehicles Symposium (IV 2012), IEEE, S.252-257, 6/2012
Vom Smart Home zum Smarter Home mittels Datenstrommanagement
Dennis Geesen
Vortrag, Sixth Stream Data Management Systems and Applications Workshop (co-located with the EDBT/ICDT 2012), 3/2012
Data Stream Management in the AAL - Universal and Flexible Preprocessing of Continuous Sensor Data
Dennis Geesen, Melina Brell, Marco Grawunder, Daniela Nicklas, Hans-Jürgen Appelrath
In: Reiner Wichert, Birgid Eberhardt (Hrsg.): Ambient Assisted Living, 5, Springer Verlag, S.213-228, 1/2012
Datenstrommanagement im AAL: Universelle und flexible Vorverarbeitung kontinuierlicher Sensordaten
Dennis Geesen, Marco Grawunder, Daniela Nicklas, Hans-Jürgen Appelrath, Melina Brell
In: Technik für ein selbstbestimmtes Leben (AAL 2012), VDE Verlag, Berlin, 1/2012
Scheduling von Datenströmen auf der Basis von Service Level Agreements
Thomas Vogelgesang, Dennis Geesen, Marco Grawunder, Daniela Nicklas, Hans-Jürgen Appelrath
In: T. Härder, Ralf Schenkel (Hrsg.): Datenbank-Spektrum - Zeitschrift für Datenbanktechnologien und Information Retrieval, 12(1), Springer Berlin / Heidelberg, 1/2012

2011

Service Level Agreement basiertes Scheduling in Odysseus
Thomas Vogelgesang
Universität Oldenburg, 9/2011
Koordinierte zyklische Kontext-Aktualisierungen in Datenströmen
Dennis Geesen, Andre Bolles, Marco Grawunder, Jonas Jacobi, Daniela Nicklas, Hans-Jürgen Appelrath
In: Theo Härder, Wolfgang Lehner, Bernhard Mitschang, Harald Schöning, Holger Schwarz (Hrsg.): Tagungsband der Datenbanksysteme für Business, Technologie und Web (BTW), 14. Fachtagung des GI-Fachbereichs "Datenbanken und Informationssysteme", Lecture Notes in Informatics, 180, S.85-104, 3/2011
Objektverfolgung in einem Datenstrommanagementsystem
Thomas Vogelgesang
In: Proceedings BTW 2011 - Workshops und Studierendenprogramm, Technische Universität Kaiserslautern, S.119-123, 3/2011
StreamCars - Datenstrommanagementbasierte Verarbeitung von Sensordaten im Fahrzeug
Andre Bolles, Dennis Geesen, Marco Grawunder, Jonas Jacobi, Daniela Nicklas, Hans-Jürgen Appelrath, Frank Köster, Hannibal Marco
In: Theo Härder, Wolfgang Lehner, Bernhard Mitschang, Harald Schöning, Holger Schwarz (Hrsg.): Tagungsband der Datenbanksysteme für Business, Technologie und Web (BTW), 14. Fachtagung des GI-Fachbereichs "Datenbanken und Informationssysteme", Lecture Notes in Informatics, 180, S.710-713, 3/2011

2010

Sensordatenverarbeitung mit dem Open Source Datenstrommanagementframework Odysseus
Andre Bolles, Dennis Geesen, Marco Grawunder, Jonas Jacobi, Daniela Nicklas, Hans-Jürgen Appelrath
In: Klaus-Peter Fähnrich, Bogdan Franczyk (Hrsg.): Tagungsband der Informatik 2010, 40. Jahrestagung der Gesellschaft für Informatik, 176, Gesellschaft für Informatik, Bonn, Köllen Druck+Verlag, S.404-409, 9/2010
Prediction Functions in Bi-Temporal Data Streams
Andre Bolles, Marco Grawunder, Jonas Jacobi, Daniela Nicklas, Hans-Jürgen Appelrath
In: Proceedings of the 21st Database and Expert Systems Application Conference (DEXA 2010), Bilbao, Spain, 6261, Springer-Verlag, S.261-268, 8/2010
Zyklische Anfragen in Datenstrommanagementsystemen
Dennis Geesen
Diplomarbeit, Fakultät II - Informatik, Wirtschafts- und Rechtswissenschaften, Universität Oldenburg, 5/2010

2009

A physical operator algebra for prioritized elements in data streams
Jonas Jacobi, Andre Bolles, Marco Grawunder, Daniela Nicklas, Hans-Jürgen Appelrath
In: Computer Science - Research and Development, 24, Springer Verlag, 12/2009
Odysseus: Ein Framework für maßgeschneiderte Datenstrommanagementsysteme
Andre Bolles, Marco Grawunder, Jonas Jacobi, Daniela Nicklas, Hans-Jürgen Appelrath
In: Stefan Fischer, Erik Maehle, Rüdiger Reischuk (Hrsg.): Tagungsband der Informatik 2009, 39. Jahrestagung der Gesellschaft für Informatik, 154, Köllen Druck+Verlag, S.2000-2014, 9/2009
Integration von CEP-Funktionalität in Odysseus
Thomas Vogelgesang
Universität Oldenburg, 8/2009
A flexible Framework for Multisensor Data Fusion using Data Stream Management Technologies
Andre Bolles
In: Proceedings of the Ph. D. Workshop at the 2009 EDBT/ICDT joint conference, 3/2009
Priorisierte Verarbeitung von Datenstromelementen
Jonas Jacobi, Andre Bolles, Marco Grawunder, Daniela Nicklas, Hans-Jürgen Appelrath
In: Johann-Christoph Freytag, Thomas Ruf, Wolfgang Lehner, Gottfried Vossen (Hrsg.): Tagungsband der Datenbanksysteme für Business, Technologie und Web (BTW), 13. Fachtagung des GI-Fachbereichs "Datenbanken und Informationssysteme", Lecture Notes in Informatics, 144, Gesellschaft für Informatik, S.387-406, 3/2009
ODYSSEUS für verteilte Datenstrommanagementsysteme in einem P2P-Netzwerk
Christian Zillmann
School of Informaton Technology, International University in Germany. Print, Technischer Bericht, 2/2009

2008

Implementierung einer RDF-Datenstromverarbeitung mit SPARQL
Andre Bolles, Marco Grawunder
School of Informaton Technology, International University in Germany. Print, Technischer Bericht, 5/2008
Der Volltext dieser Arbeit kann hier als PDF-Dokument heruntergeladen werden.
Streaming SPARQL - Extending SPARQL to process data streams
Andre Bolles, Marco Grawunder, Jonas Jacobi
In: S. Bechhofer, M. Hauswirth, J. Hoffmann, M. Koubarakis (Hrsg.): The Semantic Web Research and Applications 5th European Semantic Web Conference, ESWC 2008, Tenerife, Canary Islands, Spain, Lecture Notes in Computer Science, 5021, Springer Verlag, 5/2008
Erweiterung von SPARQL zu einer Anfragesprache für RDF-Datenströme
Andre Bolles
Diplomarbeit, Fakultät II - Informatik, Wirtschafts- und Rechtswissenschaften, Universität Oldenburg, 1/2008