Democratizing Data Science

Bevor Daten analysiert werden können, muss bekannt sein, wo sich welche Daten befinden und welchen Inhalt sie haben.
Dieser Prozess wird als „Schema Discovery“ bezeichnet und ist eine zentrale Voraussetzung, um überhaupt Erkenntnisse aus den Daten gewinnen zu können.

Gerade im Bereich des Machine Learning hat sich dieser Schritt zu einer häufigen, aber oft unterschätzten Aufgabe entwickelt.
Die Qualität dieses Prozesses lässt sich steigern, indem ein zunächst „chaotisches“ Dateiset auf ein erstes Datenbankschema abgebildet wird, das anschließend iterativ verfeinert und geladen werden kann.

Ziel ist es, die bislang aufwendigen Teile dieses Vorgangs mithilfe von Large Language Models (LLMs) zu automatisieren.

Die Präsentation stellt „DataLoom“ vor – einen Prototypen, der den Einsatz von LLMs für „weiche“ Probleme und klassischen Algorithmen für „harte“ Aufgaben beim Laden von Daten präzise orchestriert.