Prism

Zielsetzung

Ziel dieses Projekts ist die Entwicklung robuster Evaluationsbenchmarks zur Bewertung der Qualität von Sensordaten, mit besonderem Fokus auf die Beurteilung imputierter Werte in medizinischen Zeitreihendatensätzen. Das Projekt untersucht die Grenzen konventioneller Metriken zur Bewertung der Vorhersagegenauigkeit und entwickelt umfassende Evaluationsframeworks, die mehrere komplementäre Metriken kombinieren, um eine zuverlässigere und differenziertere Bewertung der Datenqualität zu ermöglichen.

Beschreibung

Eine hohe Datenqualität bildet eine wesentliche Grundlage für vertrauenswürdige Systeme der künstlichen Intelligenz und des maschinellen Lernens. Im Gesundheitswesen sowie in anderen sensorbasierten Anwendungsbereichen werden fehlende Werte häufig mithilfe statistischer und Machine-Learning-basierter Imputationsverfahren rekonstruiert. Die Frage, ob eine Imputationsmethode tatsächlich aussagekräftige und zuverlässige Rekonstruktionen erzeugt, stellt jedoch weiterhin eine offene wissenschaftliche Herausforderung dar.

Aktuelle Forschungsarbeiten bewerten die Qualität von Imputationen überwiegend anhand von Metriken zur Vorhersagegenauigkeit wie dem Root Mean Squared Error (RMSE), dem Mean Absolute Error (MAE) und dem Mean Absolute Percentage Error (MAPE). Diese Metriken quantifizieren zwar die numerische Abweichung zwischen den ursprünglichen und den rekonstruierten Werten, bewerten jedoch primär die Vorhersagegenauigkeit. Wichtige Eigenschaften physiologischer Zeitreihendaten, darunter zeitliche Dynamiken, die Ähnlichkeit statistischer Verteilungen sowie die Erhaltung klinisch relevanter Muster, werden dabei häufig nicht ausreichend berücksichtigt.

Unsere Forschung zeigt, dass die Verwendung einer einzelnen Evaluationsmetrik zu irreführenden Schlussfolgerungen führen kann. Unterschiedliche Metriken führen häufig zu unterschiedlichen Rangfolgen der untersuchten Imputationsmethoden. Dies verdeutlicht, dass keine einzelne Kennzahl eine vollständige Bewertung der Rekonstruktionsqualität ermöglicht. Die Evaluation imputierter Daten erfordert daher eine multidimensionale Betrachtungsweise, die sowohl die punktweise Rekonstruktionsgenauigkeit als auch die Erhaltung der zugrunde liegenden statistischen Eigenschaften des ursprünglichen Signals berücksichtigt.

Dieses Projekt entwickelt umfassende Evaluationsbenchmarks, die Metriken zur Vorhersagegenauigkeit mit statistischen Distanzmaßen und interpretierbaren Machine-Learning-Verfahren kombinieren. Ziel ist die Etablierung standardisierter und anwendungsspezifischer Evaluationsmethoden, welche die tatsächliche Qualität rekonstruierter Sensordaten besser abbilden und eine fundiertere Auswahl geeigneter Imputationsverfahren für nachgelagerte Machine-Learning-Aufgaben ermöglichen.

Aktueller Forschung

Die aktuelle Forschung untersucht die Stärken und Grenzen bestehender Evaluationsmetriken zur Bewertung der Imputationsqualität physiologischer Sensordaten. Unsere Studien zeigen, dass häufig verwendete Metriken wie RMSE, MAE und MAPE oftmals zu unterschiedlichen Rangfolgen der untersuchten Imputationsmethoden führen, da sie primär die numerische Abweichung zwischen den ursprünglichen und den rekonstruierten Werten erfassen. Um diese Einschränkungen zu überwinden, untersuchen wir zusätzlich statistische Distanzmaße, darunter die Jensen-Shannon-Distanz (JSD) und den Cohen’s Distance Test (CDT). Diese ermöglichen eine Bewertung, inwieweit die rekonstruierten Daten die statistischen Eigenschaften des ursprünglichen Signals bewahren.

Aufbauend auf diesen Erkenntnissen haben wir FRAM-SHAP (Framework for Combined Evaluation Metrics through SHAP Analysis) entwickelt, ein neuartiges Framework, das mehrere prädiktive und statistische Evaluationsmetriken in einem gemeinsamen gewichteten Benchmark zusammenführt. Anstatt allen Metriken die gleiche Bedeutung zuzuweisen, nutzt FRAM-SHAP XGBoost, Optuna-Optimierung und SHAP-Analysen, um datengetriebene Gewichtungen auf Grundlage des jeweiligen Beitrags einer Metrik zur Bewertung der Imputationsqualität zu bestimmen. Dadurch entsteht ein flexibles und interpretierbares Evaluationsframework, das an unterschiedliche Datensätze, Anwendungsbereiche und Zielsetzungen der Qualitätsbewertung angepasst werden kann.

Zukünftige Forschungsrichtung

Zukünftige Arbeiten werden den vorgeschlagenen Evaluationsbenchmark um zusätzliche Metriken erweitern, die insbesondere die zeitliche Konsistenz, die Signalmorphologie, die klinische Relevanz sowie die Leistungsfähigkeit nachgelagerter Machine-Learning-Modelle berücksichtigen. Darüber hinaus soll das Framework über Herzfrequenzsignale hinaus auf weitere physiologische und multimodale Sensordaten ausgeweitet werden, darunter Glukosedaten, Beschleunigungssensordaten sowie Datensätze zur Erfassung und Überwachung von Stress.

Darüber hinaus verfolgen wir das Ziel, einen generalisierten Evaluationsbenchmark zu entwickeln, der Evaluationsmetriken automatisch anhand der Eigenschaften des jeweiligen Datensatzes, des verwendeten Imputationsverfahrens und der vorgesehenen nachgelagerten Anwendung auswählt und gewichtet. Durch die Integration von Methoden der erklärbaren künstlichen Intelligenz (Explainable Artificial Intelligence, XAI) mit domänenspezifischem Wissen soll ein standardisiertes und zugleich anpassungsfähiges Framework zur Bewertung der Datenqualität für ein breites Spektrum an KI-Anwendungen im Gesundheitswesen und in anderen sensorbasierten Anwendungsbereichen geschaffen werden.

Assoziierte Publikationen

HSU

Letzte Änderung: 11. August 2026