Erste Evaluationsergebnisse zu unserer Lösung im Handlungsfeld Gesundheit und Pflege

 

Wir stellen euch in diesem Artikel unsere ersten Evaluationsergebnisse im Themenfeld Gesundheit und Pflege vor. Wie in der Beschreibung unserer Lösungsidee erläutert, arbeiten wir in diesem Handlungsfeld gemeinsam mit den Landkreisen Lörrach und Neustadt an der Waldnaab daran, einen gemeinsamen Dienst zu entwickeln. Nach zahlreichen Überlegungen über eine mögliche Umsetzung des Dienstes in den beiden Landkreisen haben wir in Lörrach im Oktober 2022 und in Neustadt an der Waldnaab im November 2022 einen ersten Prototypen evaluiert.

Ausgangslage und Zielsetzung der Evaluation

Ziel unserer Lösung ist es, eine digitale Plattform zu schaffen, auf der gesundheitsbezogene Angebote und Unterstützungen bereitgestellt und gefunden werden können. Anbieter und Nachfrager von regionalen Gesundheitsleistungen vernetzen sich dadurch digital.

Hierbei soll die Lösung bereits in einem frühen Entwicklungsstadium gemeinsam mit den beteiligten Landkreisen und zukünftigen Nutzergruppen evaluiert werden, um einen bedarfsorientierten Entwicklungsprozess sicherzustellen. Erste positive Rückmeldungen gab es bereits bei einem ersten Treffen des Trialogs, bei dem visuelle Designs der Lösung vorgestellt wurden.

Darauf aufbauend verwendeten wir bei der Evaluation einen interaktiven, klickbaren und leichtgewichtigen Prototypen, um erneut Feedback einzuholen. Uns war es wichtig, früh in der Lösungsentwicklungsphase das Designkonzept auch bei potenziellen Nutzern der Lösung zu evaluieren und mögliche Änderungsbedarfe schnell abzuleiten. Ein spezielles Augenmerk legten wir auch auf die Erstellung von Angeboten. Um den Erstellungsprozess aus Sicht der Anbieter von gesundheitsbezogenen Leistungen bestmöglich zu testen, verwendeten wir einen papierbasierten Prototypen. Der verwendete Papierprototyp bestand aus verschiedenen Komponenten, um die Angebotserstellung ausgedruckt mittels Papier-Screens durchzuspielen. Eine beispielhafte ausgefüllte Angebotserstellung ist in Abbildung 1 zu sehen. Mögliche Komponenten umfassten hierbei z.B. ein Feld zur Beschreibung eines Angebotstitels oder zur Festlegung der Dauer eines Angebots. Auf der Basis der ausgedruckten Komponenten konnten hierdurch die interviewten Personen präferierte Elemente auswählen und in einer für sie optimalen Reihenfolge anordnen. Die Interviewten hatten zusätzlich die Möglichkeit, eigene Komponenten zu erstellen und zu verwenden, um Informationen abzubilden, für die wir im Vorfeld keine eigenen Komponenten berücksichtigt hatten.

 

Abbildung 1: Eine mithilfe des papierbasierten Prototyps ausgefüllte Angebotserstellung.

 

Bei der Evaluation fokussierten wir uns auf die Startseite, auf die verschiedenen Informationsseiten, die Profile und die Angebotserstellung sowie auf den Gesamteindruch der Lösung. In Neustadt an der Waldnaab lag der Fokus zusätzlich auf der Erstellung und Wirkung des Buchungsprozesses.

Die Ergebnisse der Evaluationen wurden anschließend vom Projektteam analysiert und aufbereitet, um mögliche Änderungen im nachfolgenden Entwicklungsprozess umzusetzen.

Ablauf und Ergebnisse der Evaluation

Am ersten Tag in Lörrach führten wir mit verschiedenen potenziellen Anbietern auf der Netzwerkkonferenz Einzelinterviews durch. Während der Einzelinterviews sollten die Teilnehmenden die Think-Aloud-Methode verwenden, um ihre Gedanken offen zu schildern. Bei dieser Methode sollen die Teilnehmenden ihre Eindrücke laut beschreiben, sodass möglichst viele Eindrücke ungefiltert protokolliert werden können. Während der Netzwerkkonferenz wurden neben den Einzelinterviews auch Gruppeninterviews durchgeführt. Zusätzlich erstellten die Teilnehmenden mithilfe des papierbasierten Prototypens beispielhafte Angebote. Am Nachmittag folgten Interviews mit den Mitarbeitenden des Landkreises aus Sicht der Projektverwaltung.

An den restlichen beiden Tagen fanden dann weitere Einzelinterviews mit verschiedenen Anbietern statt. Auch hier erstellten die Teilnehmenden beispielhafte Angebote mithilfe des papierbasierten Prototyps.

Insgesamt führten wir in Lörrach 20 Einzelinterviews und vier Gruppeninterviews. Außerdem wurden elf Beispielangebote erstellt.

Am ersten Tag in Neustadt an der Waldnaab führten wir eine Evaluation mit Mitarbeitenden des Landkreises aus Sicht der Projektverwaltung durch. Die Interviews erfolgten als Einzelinterviews und wurden mithilfe des leichtgewichtigen Prototyps in Adobe XD evaluiert. Während der Interviews sollten die Teilnehmer wieder die Think-Aloud-Methode anwenden.

Danach erfolgte eine Evaluation in einer Vorlesung von Professor Sesselmann an der OTH Amberg-Weiden u.a. mit Studierenden der Studiengänge Medizintechnik und Physician Assistance – Arztassistenz (PA). Die Evaluation führten wir mithilfe von Einzelfragebögen, Gruppeninterviews und sowohl dem klickbaren Prototypen als auch den papierbasierten Prototypen durch. Zusätzlich skizzierten einige der Studierenden einen beispielhaften Buchungsprozess für Angebote. Dabei kam vor allem der papierbasierte Ansatz bei den Studierenden sehr gut an.

Am zweiten Tag führten wir beim Bayrischen Roten Kreuz (BRK) Einzelinterviewgespräche mit ambulanten Pflegekräften durch und stellten auch dort unseren Prototypen vor. Das BRK betreibt im Landkreis Neustadt an der Waldnaab mehrere Pflegeheime und bietet ambulante Pflegeleistungen an. Dort stand das Erstellen eines beispielhaften Angebots im Fokus sowie die Anwendbarkeit des Konzepts auf verschiedene Pflegeleistungen.

In Neustadt an der Waldnaab führten wir insgesamt 18 Einzelinterviews und ebenfalls vier Gruppeninterviews. Hier erstellten die Teilnehmenden neun Beispielangebote und skizzierten drei Beispielbuchungsprozesse.

Die Evaluation hat aufgezeigt, dass unsere Lösung auf dem richtigen Weg ist und insgesamt bei den Interviewten einen positiven Gesamteindruck hinterlassen hat. So wurde besonders auch die Projektidee gelobt. Es gab Kommentare wie: »Mehrwerte für Landbevölkerung, insbesondere Ältere gegeben« aus Neustadt an der Waldnaab und »Grundlegende Idee sinnvoll« aus Lörrach. Aber vor allem bei potenziellen Anbietern kam die Lösung sehr gut an:

»Ich finde die Idee sehr nötig und sehr gut. Auf die Lösung haben wir lange gewartet.«

Auch die Umsetzung hinterließ bei den Interviewten einen durchweg positiven Eindruck:

»Gute Lösung für die Projektidee.«

So wurde neben der Bedienbarkeit der Lösung auch die generelle Darstellung gelobt. Die Teilnehmenden zeigten neben dem sehr positiven Feedback auch konstruktive Änderungsvorschläge auf und äußerten eigene Wünsche.

Nächste Schritte

Basierend auf den Ergebnissen der beiden Evaluationen in den Landkreisen Lörrach und Neustadt an der Waldnaab werden Änderungsvorschläge und -wünsche abgeleitet und mögliche Umsetzungen konzipiert. Die gewonnenen Erkenntnisse dienen zur weiteren Lösungsumsetzung und werden nun stückweise in den Entwicklungsprozess eingebunden. Insgesamt zeigen die Ergebnisse ein positives Stimmungsbild gegenüber der bisherigen Lösungsumsetzung, die es weiterzuentwickeln gilt.