{"id":1945,"date":"2026-08-06T21:29:51","date_gmt":"2026-08-06T19:29:51","guid":{"rendered":"https:\/\/www.hsu-hh.de\/dataeng\/?page_id=1945"},"modified":"2026-08-11T10:46:13","modified_gmt":"2026-08-11T08:46:13","slug":"prism","status":"publish","type":"page","link":"https:\/\/www.hsu-hh.de\/dataeng\/forschung\/aktuelle-projekte\/prism\/","title":{"rendered":"Prism"},"content":{"rendered":"\n

Zielsetzung<\/strong><\/h3>\n\n\n\n

Ziel dieses Projekts ist die Entwicklung robuster Evaluationsbenchmarks zur Bewertung der Qualit\u00e4t von Sensordaten, mit besonderem Fokus auf die Beurteilung imputierter Werte in medizinischen Zeitreihendatens\u00e4tzen. Das Projekt untersucht die Grenzen konventioneller Metriken zur Bewertung der Vorhersagegenauigkeit und entwickelt umfassende Evaluationsframeworks, die mehrere komplement\u00e4re Metriken kombinieren, um eine zuverl\u00e4ssigere und differenziertere Bewertung der Datenqualit\u00e4t zu erm\u00f6glichen.<\/p>\n\n\n\n

Beschreibung<\/strong><\/h3>\n\n\n\n

Eine hohe Datenqualit\u00e4t bildet eine wesentliche Grundlage f\u00fcr vertrauensw\u00fcrdige Systeme der k\u00fcnstlichen Intelligenz und des maschinellen Lernens. Im Gesundheitswesen sowie in anderen sensorbasierten Anwendungsbereichen werden fehlende Werte h\u00e4ufig mithilfe statistischer und Machine-Learning-basierter Imputationsverfahren rekonstruiert. Die Frage, ob eine Imputationsmethode tats\u00e4chlich aussagekr\u00e4ftige und zuverl\u00e4ssige Rekonstruktionen erzeugt, stellt jedoch weiterhin eine offene wissenschaftliche Herausforderung dar.<\/p>\n\n\n\n

Aktuelle Forschungsarbeiten bewerten die Qualit\u00e4t von Imputationen \u00fcberwiegend anhand von Metriken zur Vorhersagegenauigkeit wie dem Root Mean Squared Error (RMSE)<\/strong>, dem Mean Absolute Error (MAE)<\/strong> und dem Mean Absolute Percentage Error (MAPE)<\/strong>. Diese Metriken quantifizieren zwar die numerische Abweichung zwischen den urspr\u00fcnglichen und den rekonstruierten Werten, bewerten jedoch prim\u00e4r die Vorhersagegenauigkeit. Wichtige Eigenschaften physiologischer Zeitreihendaten, darunter zeitliche Dynamiken, die \u00c4hnlichkeit statistischer Verteilungen sowie die Erhaltung klinisch relevanter Muster, werden dabei h\u00e4ufig nicht ausreichend ber\u00fccksichtigt.<\/p>\n\n\n\n

Unsere Forschung zeigt, dass die Verwendung einer einzelnen Evaluationsmetrik zu irref\u00fchrenden Schlussfolgerungen f\u00fchren kann. Unterschiedliche Metriken f\u00fchren h\u00e4ufig zu unterschiedlichen Rangfolgen der untersuchten Imputationsmethoden. Dies verdeutlicht, dass keine einzelne Kennzahl eine vollst\u00e4ndige Bewertung der Rekonstruktionsqualit\u00e4t erm\u00f6glicht. Die Evaluation imputierter Daten erfordert daher eine multidimensionale Betrachtungsweise, die sowohl die punktweise Rekonstruktionsgenauigkeit als auch die Erhaltung der zugrunde liegenden statistischen Eigenschaften des urspr\u00fcnglichen Signals ber\u00fccksichtigt.<\/p>\n\n\n\n

Dieses Projekt entwickelt umfassende Evaluationsbenchmarks, die Metriken zur Vorhersagegenauigkeit mit statistischen Distanzma\u00dfen und interpretierbaren Machine-Learning-Verfahren kombinieren. Ziel ist die Etablierung standardisierter und anwendungsspezifischer Evaluationsmethoden, welche die tats\u00e4chliche Qualit\u00e4t rekonstruierter Sensordaten besser abbilden und eine fundiertere Auswahl geeigneter Imputationsverfahren f\u00fcr nachgelagerte Machine-Learning-Aufgaben erm\u00f6glichen.<\/p>\n\n\n\n

Aktueller Forschung<\/strong><\/h3>\n\n\n\n

Die aktuelle Forschung untersucht die St\u00e4rken und Grenzen bestehender Evaluationsmetriken zur Bewertung der Imputationsqualit\u00e4t physiologischer Sensordaten. Unsere Studien zeigen, dass h\u00e4ufig verwendete Metriken wie RMSE<\/strong>, MAE<\/strong> und MAPE<\/strong> oftmals zu unterschiedlichen Rangfolgen der untersuchten Imputationsmethoden f\u00fchren, da sie prim\u00e4r die numerische Abweichung zwischen den urspr\u00fcnglichen und den rekonstruierten Werten erfassen. Um diese Einschr\u00e4nkungen zu \u00fcberwinden, untersuchen wir zus\u00e4tzlich statistische Distanzma\u00dfe, darunter die Jensen-Shannon-Distanz (JSD)<\/strong> und den Cohen’s Distance Test (CDT)<\/strong>. Diese erm\u00f6glichen eine Bewertung, inwieweit die rekonstruierten Daten die statistischen Eigenschaften des urspr\u00fcnglichen Signals bewahren.<\/p>\n\n\n\n

Aufbauend auf diesen Erkenntnissen haben wir FRAM-SHAP (Framework for Combined Evaluation Metrics through SHAP Analysis)<\/strong> entwickelt, ein neuartiges Framework, das mehrere pr\u00e4diktive und statistische Evaluationsmetriken in einem gemeinsamen gewichteten Benchmark zusammenf\u00fchrt. Anstatt allen Metriken die gleiche Bedeutung zuzuweisen, nutzt FRAM-SHAP XGBoost<\/strong>, Optuna-Optimierung<\/strong> und SHAP-Analysen<\/strong>, um datengetriebene Gewichtungen auf Grundlage des jeweiligen Beitrags einer Metrik zur Bewertung der Imputationsqualit\u00e4t zu bestimmen. Dadurch entsteht ein flexibles und interpretierbares Evaluationsframework, das an unterschiedliche Datens\u00e4tze, Anwendungsbereiche und Zielsetzungen der Qualit\u00e4tsbewertung angepasst werden kann.<\/p>\n\n\n\n

Zuk\u00fcnftige Forschungsrichtung<\/strong><\/h3>\n\n\n\n

Zuk\u00fcnftige Arbeiten werden den vorgeschlagenen Evaluationsbenchmark um zus\u00e4tzliche Metriken erweitern, die insbesondere die zeitliche Konsistenz, die Signalmorphologie, die klinische Relevanz sowie die Leistungsf\u00e4higkeit nachgelagerter Machine-Learning-Modelle ber\u00fccksichtigen. Dar\u00fcber hinaus soll das Framework \u00fcber Herzfrequenzsignale hinaus auf weitere physiologische und multimodale Sensordaten ausgeweitet werden, darunter Glukosedaten, Beschleunigungssensordaten sowie Datens\u00e4tze zur Erfassung und \u00dcberwachung von Stress.<\/p>\n\n\n\n

Dar\u00fcber hinaus verfolgen wir das Ziel, einen generalisierten Evaluationsbenchmark zu entwickeln, der Evaluationsmetriken automatisch anhand der Eigenschaften des jeweiligen Datensatzes, des verwendeten Imputationsverfahrens und der vorgesehenen nachgelagerten Anwendung ausw\u00e4hlt und gewichtet. Durch die Integration von Methoden der erkl\u00e4rbaren k\u00fcnstlichen Intelligenz (Explainable Artificial Intelligence, XAI)<\/strong> mit dom\u00e4nenspezifischem Wissen soll ein standardisiertes und zugleich anpassungsf\u00e4higes Framework zur Bewertung der Datenqualit\u00e4t f\u00fcr ein breites Spektrum an KI-Anwendungen im Gesundheitswesen und in anderen sensorbasierten Anwendungsbereichen geschaffen werden.<\/p>\n\n\n\n

Assoziierte Publikationen<\/h3>\n\n\n\n
\"Publikation<\/div>
Beyond Accuracy: Assessment of Statistical Imputation techniques for Heart Rate Data
<\/a>Vaibhav Gupta, Maria Maleshkova
BIO Web of Conferences<\/em><\/div><\/div>\n\n\n\n
\"Publikation<\/div>
FRAM-SHAP: Framework for Combined Evaluation Metrics through SHAP Analysis<\/a>
Vaibhav Gupta, Florian Grensing, Louisa van den Boom, Maria Maleshkova
Proceedings of the 2025 IEEE 25th BIBE<\/em><\/em><\/div><\/div>\n","protected":false},"excerpt":{"rendered":"

Zielsetzung Ziel dieses Projekts ist die Entwicklung robuster Evaluationsbenchmarks zur Bewertung der Qualit\u00e4t von Sensordaten, mit besonderem Fokus auf die Beurteilung imputierter Werte in medizinischen Zeitreihendatens\u00e4tzen. Das Projekt untersucht die […]<\/p>\n","protected":false},"author":4068,"featured_media":0,"parent":204,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"categories":[4],"tags":[],"class_list":["post-1945","page","type-page","status-publish","hentry","category-forschung"],"lang":"de","translations":{"de":1945,"en":1948},"pll_sync_post":{},"_links":{"self":[{"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/pages\/1945","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/users\/4068"}],"replies":[{"embeddable":true,"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/comments?post=1945"}],"version-history":[{"count":5,"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/pages\/1945\/revisions"}],"predecessor-version":[{"id":2028,"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/pages\/1945\/revisions\/2028"}],"up":[{"embeddable":true,"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/pages\/204"}],"wp:attachment":[{"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/media?parent=1945"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/categories?post=1945"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.hsu-hh.de\/dataeng\/wp-json\/wp\/v2\/tags?post=1945"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}