Logo des Repositoriums

Auflistung nach Schlagwort "Data preparation"

1 - 2 von 2
  • Zeitschriftenartikel
    Big Data Analytics im Bahnverkehr
    (HMD Praxis der Wirtschaftsinformatik: Vol. 56, No. 5, 2019) Hauck, Florian; Morgenstern, Sandro; Kliewer, Natalia
    Die Analyse von historischen Fahrtdaten bietet Bahnbetreibern die Möglichkeit Zusammenhänge zwischen Verspätungen zu erkennen, deren Ursachen besser zu verstehen und geeignete Maßnahmen zu treffen. Die gewonnenen Informationen können zum Beispiel verwendet werden, um robustere Fahrpläne zu erstellen und dadurch die Pünktlichkeit im Schienenverkehr zu verbessern. Damit die Daten ausgewertet werden können, müssen sie allerdings in einem konsistenten Zustand (das heißt vollständig und korrekt) vorliegen. Da Infrastrukturdaten sowie Soll- und Ist-Zeiten von Zugfahrten jeweils in verschiedenen Systemen erfasst werden, müssen die Daten zunächst vereinheitlicht und zusammengeführt werden. Dieser Beitrag stellt eine datengetriebene Infrastruktur-Modellierung und Integration von historischen Zugfahrtdaten vor. Dabei werden Daten der Deutschen Bahn aus einem Fahrplanjahr verwendet. Das Ziel besteht darin, systembedingte Inkonsistenzen bei der Zusammenführung der Daten zu beseitigen und die Integrität der Daten für weitere Analysen und Optimierungsansätze sicherzustellen. Außerdem werden Fahrtverläufe vereinheitlicht, damit diese besser miteinander verglichen werden können. In diesem Zusammenhang werden die Daten in ein JSON-Format transformiert, wodurch ein Vergleich von Soll- und Ist-Zeiten an allen Messpunkten möglich ist. Die Ergebnisse dieser Arbeit zeigen, dass in einem Datensatz mit 27 Mio. Zugfahrten 7 % aller Fahrten zunächst nicht für eine pauschale Weiterverarbeitung geeignet waren, weil zum Beispiel fehlende oder inkonsistente Werte vorlagen. Etwa 70 % der betroffenen Fahrten konnten automatisiert vervollständigt und harmonisiert werden. Dadurch wurde ein integrierter und bereinigter Datensatz erstellt, der als Grundlage zur Fahrplanoptimierung oder zur Analyse von Zugverspätungen verwendet werden kann. The analysis of historical trip data offers railway operators the opportunity to identify relations between delays, to better understand their causes and to take appropriate action. The information obtained can be used, for example, to create more robust timetables and thus improve punctuality in rail transport. However, for the data to be evaluated, it must be in a consistent state (i. e. complete and correct). Since infrastructure data as well as planned and actual times of train movements are recorded in different systems, the data must first be standardized and merged. This paper presents a data-driven approach for infrastructure modelling and integration of historical train running data. Data from Deutsche Bahn from one timetable year is used. The aim is to eliminate system-related inconsistencies in the consolidation of the data and to ensure the integrity of the data for further analyses and optimization approaches. In addition, the train trips are standardized so that they can be better compared with each other. In this context, the data will be transformed into a JSON format, enabling a comparison of planned and actual event times at all measuring points. The results of this work show that in a data set with 27 million train journeys, 7% of all journeys were initially not suitable for further processing because, for example, missing or inconsistent values were present. Approximately 70% of the affected trips could be completed and harmonized automatically. This resulted in the creation of an integrated and cleansed data set that can be used as a basis for timetable optimization or for the analysis of train delays.
  • Zeitschriftenartikel
    Enabling data-centric AI through data quality management and data literacy
    (it - Information Technology: Vol. 64, No. 1-2, 2022) Abedjan, Ziawasch
    Data is being produced at an intractable pace. At the same time, there is an insatiable interest in using such data for use cases that span all imaginable domains, including health, climate, business, and gaming. Beyond the novel socio-technical challenges that surround data-driven innovations, there are still open data processing challenges that impede the usability of data-driven techniques. It is commonly acknowledged that overcoming heterogeneity of data with regard to syntax and semantics to combine various sources for a common goal is a major bottleneck. Furthermore, the quality of such data is always under question as the data science pipelines today are highly ad-hoc and without the necessary care for provenance. Finally, quality criteria that go beyond the syntactical and semantic correctness of individual values but also incorporate population-level constraints, such as equal parity and opportunity with regard to protected groups, play a more and more important role in this process. Traditional research on data integration was focused on post-merger integration of companies, where customer or product databases had to be integrated. While this is often hard enough, today the challenges aggravate because of the fact that more stakeholders are using data analytics tools to derive domain-specific insights. I call this phenomenon the democratization of data science, a process, which is both challenging and necessary. Novel systems need to be user-friendly in a way that not only trained database admins can handle them but also less computer science savvy stakeholders. Thus, our research focuses on scalable example-driven techniques for data preparation and curation. Furthermore, we believe that it is important to educate the breadth of society on implications of a data-driven world and actively promote the concept of data literacy as a fundamental competence.