Einbindung der Zielgruppe

Um die Herausforderungen der Smartphone-Nutzung besser zu verstehen, sucht das Forschungsteam den direkten Austausch mit sehbehinderten Nutzerinnen und Nutzern. Nur so kann sichergestellt werden, dass man die richtigen Probleme identifiziert und nicht über die Köpfe der Betroffenen hinweg agiert. Und in der Tat: Dieser Dialog offenbart zahlreiche Hindernisse, die dem Forschungsteam selbst vielleicht nicht aufgefallen wären und die dafür sorgen, dass viele Apps nach wie vor unzugänglich für blinde und sehbehinderte Menschen sind. Das häufigste Problem sind unbeschriftete oder falsch gelabelte Schaltflächen. Daher fokussiert sich das Projekt auf die Verbesserung dieses Defizits mittels Künstlicher Intelligenz.

Kleine Symbole werden zur großen Herausforderung

Ein anschauliches Beispiel sind Shopping-Apps: Anwenderinnen und Anwender berichten, dass Symbole und Schaltflächen häufig zu klein sind, was zu Fehlklicks führt. Zudem fehlen Beschriftungen, sodass unklar bleibt, ob man gerade „In den Warenkorb“ oder „Zur Kasse“ angeklickt hat. Ähnliche Herausforderungen gibt es bei Reise-Apps, die selten darauf ausgelegt sind, von blinden Menschen genutzt zu werden. Warum? Sie gehören nicht zur Hauptzielgruppe dieser Branche.

Auch Eingabefelder für Passwörter stellen eine Hürde dar: Häufig fehlen klare Hinweise, welche Kriterien das Passwort auf dieser Seite erfüllen muss – wie Mindestlänge, erlaubte Sonderzeichen oder Zahlen.

Die Kluft zwischen Entwicklung und Nutzung

Als eine der Hauptursachen für die unzureichende Barrierefreiheit vieler Anwendungen konnte die deutliche Diskrepanz zwischen den Entwicklerinnen und Entwicklern mobiler Software und den Bedürfnissen der sehbehinderten Nutzerinnen und Nutzer identifiziert werden. Was bedeutet das? Entwicklerinnen und Entwickler sind häufig privilegiert – weiße, männliche Fachkräfte, gut ausgebildet, körperlich uneingeschränkt und versiert im Umgang mit digitalen Technologien. Im Gegensatz dazu haben sehbehinderte Menschen häufig einen eingeschränkten Zugang zu Bildung, geringere finanzielle Ressourcen und weniger Möglichkeiten, sich mit der digitalen Welt vertraut zu machen. Diese unterschiedlichen Lebensrealitäten erschweren es Entwicklerinnen und Entwicklern, die Bedürfnisse dieser Zielgruppe zu verstehen, sich in ihre Perspektive hineinzuversetzen und diese entsprechend zu berücksichtigen.

Diese Erkenntnisse wurden zur Grundlage der Forschung und führten zur Entwicklung von HintDroid: Die Software adressiert die zentralen Herausforderungen der Barrierefreiheit bereits während des Entwicklungsprozesses und soll blinden sowie sehbehinderten Menschen eine inklusivere Nutzung mobiler Anwendungen ermöglichen.

Wie funktioniert HintDroid?

HintDroid ist eine KI-gestützte Software, die entwickelt wurde, um Apps auf Barrierefreiheit zu prüfen und diese automatisch zu verbessern. Sie richtet sich an Entwicklerinnen und Entwickler sowie Unternehmen, die mobile Anwendungen anbieten. Der Prozess gliedert sich in drei Schritte:

1. Analyse der App: Sobald eine neue App entwickelt wurde, kann sie mithilfe von HintDroid gescannt werden. Dabei analysiert die Software die Benutzeroberfläche und identifiziert Barrierefreiheitsprobleme wie fehlende Labels oder unklare Eingabeanweisungen.
2. Automatische Fehlerbehebung: Mithilfe von Künstlicher Intelligenz generiert HintDroid passende Hint-Texte für problematische Elemente. Die Programme, sogenannte große Sprachmodelle, werden darauf trainiert, menschliche Sprache zu verstehen und zu erzeugen. Sie funktionieren wie ein riesiges, digitales Wörterbuch kombiniert mit einem Assistenten, der Text ausgibt.
3. Feedback: Die generierten Lösungsvorschläge werden den Entwicklerinnen und Entwicklern präsentiert. Diese können dann entscheiden, ob sie die Änderungen übernehmen und sicherstellen, dass die Endnutzerinnen und Endnutzer von einer verbesserten Version der App profitieren.

Eine wichtige Funktion von HintDroid ist der feedbackbasierte Kontrollmechanismus. Nach der Generierung von Hint-Texten testet das Tool automatisch, ob diese korrekt sind und das gewünschte Verhalten auslösen. Falls nicht, wird das Modell durch erneutes Feedback angepasst.

Sehen wir uns ein Beispiel aus dem Bildungsbereich an – ein Geografie-Quiz in einer Lern-App: Ein Quiz-Bildschirm zeigt zwei unbeschriftete Eingabefelder. Ein Screenreader würde sie nur als zwei leere Felder identifizieren, in die ein Text eingegeben werden muss – blinde oder sehbehinderte Schülerinnen und Schüler hätten also keinen Anhaltspunkt, welche Informationen sie eingeben sollen. Durch die Analyse mit HintDroid könnten diese Leerstellen automatisch mit sinnvollen Hinweisen versehen werden, zum Beispiel „Hauptstadt“ und „Landesname“. Das Entwicklungsteam erhält diesen Vorschlag, kann ihn schnell genehmigen und die Hinweise werden direkt in die App integriert. So wird sichergestellt, dass das Quiz für alle Schülerinnen und Schüler zugänglich und nutzbar ist – auch für diejenigen, die Screenreader verwenden.

Einsatz von HintDroid für Bildungs-Apps

An Bildungseinrichtungen wie Schulen und Universitäten kommen immer mehr Lern-Apps zum Einsatz. Sie haben vielerlei Vorteile wie beispielsweise die Motivationssteigerung durch Gamification, die mögliche Anpassung des Leistungsniveaus auf individueller Basis und natürlich die Förderung digitaler Kompetenzen. Bei diesen Apps ist es besonders wichtig, sicherzustellen, dass alle Schülerinnen und Schüler, unabhängig von ihrer Sehfähigkeit, effektiv mit Bildungs-Apps interagieren können. HintDroid kann die Barrierefreiheit in Bildungs-Apps verbessern, indem es die Bildschirmlesefunktion erleichtert und inklusives Lernen fördert. Es bietet klare, kontextbewusste Hinweise, die Schülern zeigen, welche Informationen erforderlich sind. Dadurch wird Frustration reduziert und das Lernerlebnis verbessert. Es schließt Barrierefreiheitslücken, indem es Lehrkräfte und Entwicklungsteams dabei unterstützt, benutzerfreundlichere und zugänglichere Bildungsanwendungen zu erstellen – im Einklang mit dem wachsenden Fokus auf inklusive Bildung.

Fortschritt durch Problem-Engineering

HintDroid nutzt ein innovatives Konzept namens Problem-Engineering: Dabei werden Aufgaben oder Probleme so klar und präzise formuliert, dass große Sprachmodelle diese besser verstehen und lösen können. So entwickelt HintDroid gezielte Lösungen für bestimmte Probleme im Rahmen der Barrierefreiheit.

Das Modell lernt durch Beispiele und profitiert von den umfangreichen Webdaten, die das allgemeine LLM trainieren. Dies ermöglicht es, Lösungen zu entwickeln, die an den jeweiligen Kontext und die Bedürfnisse angepasst sind.

Weiterentwicklung und Zukunfts­visionen

Obwohl HintDroid bereits in der Forschungsphase beeindruckende Ergebnisse zeigt, ist es noch nicht auf dem Markt verfügbar. Die Software soll nicht profitorientiert vermarktet werden, sondern möglichst breit zugänglich gemacht werden, um Entwicklerinnen und Entwicklern eine einfache Nutzung der Software zu ermöglichen. Zwei Szenarien stehen derzeit zur Diskussion: eine Open-Source-Veröffentlichung, bei der Entwicklungsteams HintDroid kostenlos nutzen könnten, um ihre Apps barrierefrei zu gestalten, oder die Integration in den Google Play Store, damit Google Apps bereits vor ihrer Veröffentlichung auf Barrierefreiheit prüfen könnte. Die Vision geht jedoch weit über HintDroid hinaus: Es ist geplant, zukünftig virtuelle Assistenten zu entwickeln, die blinde Menschen durch natürliche Sprache bei der Nutzung von Apps unterstützen. Nutzerinnen und Nutzer könnten einfache Befehle geben wie „Zeige mir meine neuesten Nachrichten in WhatsApp“, und der Assistent würde die gewünschte Information direkt vorlesen.

Wettbewerbsumfeld

Es gibt einige Projekte und wissenschaftliche Arbeiten, die sich mit dem Thema Barrierefreiheit befassen – insbesondere mit der Erkennung und Beseitigung von Zugänglichkeitslücken für Anwenderinnen und Anwender mit Sehbehinderungen. Hier einige Beispiele: Eine Gruppe um Marcelo Medeiros Eler schlug 2018 ein Modell zur automatischen Testgenerierung vor, um mobile Anwendungen dynamisch zu bewerten. Das Team von Navid Salehnamadi stellte 2021 (Salehnamadi/Alshayban/Lin 2021) auf der CHI Conference on Human Factors in Computing Systems eine High-Fidelity-Form von Zugänglichkeitsprüfungen für Android-Apps vor. Sie verwenden automatisch Tests, welche zur Bewertung der funktionalen Korrektheit einer App geschrieben wurden, und werten diese im Hinblick auf die Barrierefreiheit aus. Die Forschungsgruppe um Xiaoyi Zhang zeigte 2018 (Zhang/Ross/Fogarty 2018) auf dem 31. Annual ACM Symposium on User Interface Software and Technology, wie Crowd-Sourcing genutzt werden kann, um GUI-Elemente zu annotieren, für die es keine ursprünglichen Inhaltsbeschreibungen gibt.

All diese Projekte leisten einen wichtigen Beitrag für eine erhöhte Sichtbarkeit der fehlenden Barrierefreiheit. Sie tragen zur Verbesserung der mobilen Zugänglichkeit bei, doch HintDroid ist das erste praktisch angelegte Tool, das das grundlegende Problem der fehlenden Hinweistexte beheben kann.

KI und Barrierefreiheit

Künstliche Intelligenz ist auf dem Vormarsch, die Entwicklungen in diesem Bereich überschlagen sich: Welche Chancen stecken in der KI, um Technologie in Zukunft barrierefrei zu gestalten? Das Potenzial ist groß. Je stärker unsere Gesellschaft auf Technologie basiert, desto barrierefreier könnte sie sein. Beispielsweise können wir erwarten, dass die kontextbewusste und multimodale Hinweisgenerierung eine deutliche Leistungssteigerung erleben wird, insbesondere auch basierend auf visuellen Informationen. Mit der weiteren Integration von KI-gestützter Lernanalyse kann die Software-Barrierefreiheit durch personalisierte Anpassungen an das Profil der Nutzerinnen und Nutzer verbessert werden. Das heißt, dass auch die individuellen Vorlieben mithilfe von Echtzeit-Feedback und sprachgesteuerter Unterstützung Eingang in die Gestaltung von Hinweistexten und Labels finden könnten. Auch der Bereich der Virtual und Augmented Reality ist vielversprechend.

Die wirkliche Herausforderung wird weiterhin darin liegen, den Minderheiten Gehör zu verschaffen und dafür zu sorgen, dass Profit nicht der einzige Antrieb hinter dem technologischen Fortschritt bleibt. Richtlinien zur Barrierefreiheit sind eine Sache – die Einhaltung derselben auch durchzusetzen, ist eine andere. HintDroid ist ein vielversprechender Schritt in Richtung einer inklusiveren digitalen Welt. Indem es Entwicklerinnen und Entwicklern hilft, Barrierefreiheit einfach und effizient zu verbessern, schließt es eine entscheidende Lücke. Prof. Chens Arbeit zeigt, wie innovative Technologien dazu beitragen können, die digitale Teilhabe für blinde und sehbehinderte Menschen grundlegend zu verbessern. Mit HintDroid und ähnlichen Ansätzen könnte die Zukunft der Softwareentwicklung barrierefrei werden – und für alle zugänglich.

Link zur Forschung von Prof. Chen

https://arxiv.org/pdf/2404.02706#page=3.72

Weitere Literatur zum Thema

https://ics.uci.edu/~iftekha/pdf/paper16.pdf

https://arxiv.org/abs/2101.04893

Erwähnte Arbeiten im Wettbewerbs­umfeld

Zhang, Xiaoyi/Spencer Ross, Anne/Fogarty, James (2018). Robust annotation of mobile application interfaces in methods for accessibility repair and enhancement. In Proceedings of the 31. ACM Digital Library.

Salehnamadi, Navid/Alshayban, Abdulaziz/Lin, Jun-Wei/Ahmed, Iftekhar/Branham, Stacey/Malek, Sam (2021). Latte: Use-case and assistive-service driven automated accessibility testing framework for android. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. 1–11. ACM Digital Library.

Medeiros Eler, Marcelo/Miguel Rojas, José/Ge, Yan/Fraser, Gordon (2018). Automated accessibility testing of mobile apps. In 2018 IEEE 11th International Conference on Software Testing, Verification and Validation (ICST). IEEE, 116–126. IEEE Xplore.