Gesundheit und Pflege – Zweite Evaluation in Neustadt an der Waldnaab

Bereits im Oktober und November 2022 fand die erste Evaluation im Themenfeld Gesundheit und Pflege mit den Landkreisen Lörrach und Neustadt an der Waldnaab statt. Bei unserer ersten Evaluation lag der Schwerpunkt auf dem Erstellungsprozess von Angeboten aus Sicht von Anbietern. Zudem wurden Interviews mit den Mitarbeitenden des Landkreises aus Sicht der Projektverwaltung geführt. Wie die erste Evaluierungsrunde ablief, könnt ihr euch in unserem Blogbeitrag »Erste Evaluationsergebnisse zu unserer Lösung im Handlungsfeld Gesundheit und Pflege« ansehen. Wir möchten euch nun einen Einblick in die zweite Evaluationsrunde im Landkreis Neustadt an der Waldnaab im April 2023 geben.

Ausgangslage und Zielsetzung der Evaluation

Kern der Idee im Landkreis Neustadt an der Waldnaab ist es, mithilfe einer digitalen Lösung eine aufwandsarme Nutzung von Ressourcen in der durch medizinische Fachangestellte (MFAs) erbrachten Gesundheitsversorgung zu ermöglichen. Die digitale Lösung wird es den mobilen medizinischen Fachangestellten ermöglichen, ihre Gesundheitsleistungen online anzubieten, welche dann von den Hausärzt:innen gebucht werden können. Dabei wird die Nutzung der MFA durch die Hausärtz:innen geografisch und aufgabenbezogen so optimiert, dass die MFAs möglichst viele Leistungen im Verhältnis zu ihrer verfügbaren Zeit erbringen. Ort, Zeitpunkt und Art der Leistung spielen bei dieser Optimierung eine Rolle. Hierdurch werden unter anderem die Hausarztpraxen entlastet, weil diese aufwändigen Arbeiten nicht mehr intern übernommen werden müssen.

Nach der ersten Evaluation in Neustadt an der Waldnaab konnten wir bereits viele Rückmeldungen und Erkenntnisse zu den Informationsseiten, den Profilen und der Angebotserstellung sammeln, die in der Lösung umgesetzt wurden. Auch erste Gedanken zum Buchungsprozess von Leistungen wurden erhoben, die als Grundlage für die weitere Ausarbeitung des Buchungsprozesses der Lösung verwendet und in der zweiten Evaluation getestet wurden.

Die Schwerpunkte in der zweiten Evaluation lagen neben dem Lösungsverwaltungsbereichs auf der Darstellung der Informationsseiten, den Profilen und der Darstellung einzelner Leistungen sowie deren Buchungsprozess.

Ablauf und Ergebnisse der Evaluation

Am ersten Tag der Evaluation gab es ein Kick-off-Meeting, bei dem wir uns mit den Projektverantwortlichen im Landkreis zusammensetzten und die anstehenden Evaluationstermine besprachen.

Am zweiten Tag starteten wir mit einem Evaluationstermin, bei dem wir den Lösungsverwaltungsbereich (z.B. Anpassungen am Titelbild) mit den Projektverwalter*innen evaluierten. Die Evaluation wurde mithilfe eines leichtgewichtigen, klickbaren Prototyps in Adobe XD durchgeführt. Dadurch konnten die zukünftigen Mechanismen in der Lösung prototypisch getestet werden. Für alle Interviews in der Evaluationswoche wurden die Teilnehmenden gebeten, die Think-Aloud-Methode zu verwenden, bei der sie ihre Gedanken und Eindrücke offen schildern. Insgesamt wurden fünf Einzelinterviews mit der Projektverwaltung durchgeführt.

Das Stimmungsbild der Projektverwaltung fiel insgesamt sehr positiv aus. In Abbildung 1 ist zu sehen, dass zum Beispiel die Anpassung der Titelbilder auf der Startseite und den Informationsseiten volle Zustimmung erhielt. Auch die Darstellung der Informationsseiten schnitt mit 4,7 von 5 Sternen sehr gut ab. Die Änderungsvorschläge und Ideen für die Informationsseiten wurden notiert und teilweise auch schon in der Lösung umgesetzt.

 

Abbildung 1: Stimmungsbild der Projektverwaltung

 

Am selben Tag wurden zusätzlich zwei Einzelinterviews mit Ärzt:innen aus dem Landkreis geführt, welche die Anwendung später in ihren Praxen einsetzen werden. Zudem waren wir am dritten Tag im beruflichen Schulzentrum Weiden, um mit auszubildenden MFAs Gruppeninterviews durchzuführen. Die angehenden MFAs werden als künftige Nutzergruppe die Leistungen für die Patient:innen  in den Hausarztpraxen buchen. In der Berufsschule wurden circa 17 Gruppeninterviews durchgeführt.

In Abbildung 2 ist das Stimmungsbild der angehenden MFAs und der Ärzt:innen in Bezug auf die jeweiligen Themenschwerpunkte dargestellt.

 

Abbildung 2: Stimmungsbild der MFPs und Ärzt:innen

 

Wie das Stimmungsbild zeigt, ist das allgemeine Fazit zur Lösung sehr gut. Auch die Profile und die Darstellung der Leistungen wurde von den Interviewten als sehr gut empfunden. Beim Buchen von Leistungen konnten wir viele wichtige Rückmeldungen und konstruktive Änderungsvorschläge mitnehmen, welche bereits umgesetzt wurden. Durch die Interviews mit den Ärzt:innen und den Auszubildenden konnten wir in Erfahrung bringen, dass einige Leistungen einzeln und andere in Kombination benötigt werden. Entscheidend ist somit der Aufschlüsselungsgrad einer entsprechenden Gesundheitsleistung, um festzulegen, inwiefern diese als eine einzelne große Leistung oder mehrere kleinere Leistungen beschrieben werden sollte.

Bei dieser Evaluation führten wir zudem einen weiteren Fragebogen ein, der zur Messung des Benutzererlebnisses der Anwendung verwendet wurde. Der sog. User Experience Questionnaire (kurz: UEQ) ist ein Datensatz, der Daten von 21.175 Personen aus 468 Studien zu verschiedenen Produkten enthält. Der zugehörige Fragebogen zeigt insgesamt 26 Gegensatzpaare und umfasst damit die folgenden sechs Faktoren: Attraktivität, Durchschaubarkeit, Effizienz, Steuerbarkeit, Stimulation und Originalität. Die Gegensatzpaare haben insgesamt sieben Abstufungen. Die interviewten Personen wurden gebeten, möglichst spontan ihre Zustimmung zu jedem einzelnen Gegensatzpaar durch Ankreuzen der jeweiligen Begriffsabstufung zu äußern, wie in Abbildung 3 dargestellt.

 

Abbildung 3: UEQ Fragebogen, Beispiel

 

Abbildung 4 zeigt die Auswertung des UEQs für die sechs genannten Faktoren. Unsere Lösung schneidet im Vergleich mit anderen Produkten, die auch mit dem UEQ getestet wurden, sehr gut ab. In den Bereichen »Attraktivität« und »Steuerbarkeit« liegen wir sogar im Bereich »Exzellent«, was bedeutet, dass wir hier im Bereich der 10% besten Resultate liegen. Auch die niedrigste Bewertung, bei »Originalität«, liegt im Bereich »Überdurchschnittlich« an der Grenze zu »Gut«, was aussagt, dass 25% der Resultate besser als das Ergebnis unserer Lösung und 50% schlechter waren. Diese vergleichsweise niedrige Bewertung kann damit begründet werden, dass die Interviewten sagten, dass es sich um eine Lösung handele, die auf jeden Fall gebraucht wird, die Bedarfe in der Zielgruppe aber schon länger vorhanden sind und somit eine entsprechende Lösungsidee bereits bekannt ist und daher nicht als sonderlich originell angesehen wird.

 

Abbildung 4: Auswertung des UEQ-Fragebogens

 

Insgesamt sind wir sehr zufrieden mit den Evaluationsergebnissen. Wir haben viele positive Rückmeldungen und Vorschläge mitgenommen, wie »Ich finde die Idee richtig gut und könnte mir vorstellen, dass das ein gutes System ist.« oder »Tolle Idee für die Zukunft…«. Dies zeigt uns, dass wir mit der Entwicklung der Lösung auf einem guten Weg sind.

Nächste Schritte

Die Lösungsentwicklung konnte anhand der Evaluationsergebnisse bedarfsorientiert fortgesetzt werden. In Neustadt an der Waldnaab steht vor allem das Buchen von Leistungen künftig im Vordergrund.