Storysign: Diese App mit künstlicher Intelligenz liest in Gebärdensprache vor

Lesen zu ler­nen ist super wichtig, doch für gehör­lose Kinder lei­der manch­mal schwierig. Genau hier kommt die neue App mit kün­stlich­er Intel­li­genz Sto­rysign von Huawei ins Spiel. Sie hil­ft gehör­losen Kindern mit alters­gerecht­en Geschicht­en spielerisch zum Lern­er­folg.

Das Smart­phone spielt bei Sto­rysign den Über­set­zer von geschriebe­nen Wörtern in Gebär­den­sprache. So kön­nen gehör­lose Kinder viel leichter in Geschicht­en ein­tauchen und wer­den fast schon neben­bei mit dem Lesen ver­traut gemacht. Hier erfährst Du, wie Sto­rysign funk­tion­iert.

Storysign: Teenager übersetzt Kindergeschichten

Den Job des Über­set­zers übern­immt Com­ic-Teenag­er „Star“. Sie wirkt wie eine ver­trauensvolle große Schwest­er und ist dadurch natür­lich viel cool­er als Eltern oder Lehrer. Allein schon, weil sie ja in ein­er Smart­phone-App lebt. Du brauchst Dein Smart­phone mit geöffnetem Sto­rysign bloß über eines der ein­ge­le­se­nen Kinder­büch­er zu hal­ten und schon legt Star mit der passenden Über­set­zung in Gebär­den­sprache los. Doch geschriebene Worte in Gebär­den­sprache zu über­set­zen ist viel aufwendi­ger, als Worte ein­fach vorzule­sen und damit in Ton wiederzugeben. Deshalb arbeit­et hin­ter Star in Wirk­lichkeit eine von Huawei trainierte kün­stliche Intel­li­genz (KI). Sie stellt sich­er, dass Star auch wirk­lich jeden Satz kor­rekt wiedergibt.

Wie Storysign beim Lesenlernen hilft

In die Welt von aufre­gen­den Aben­teuern und span­nen­den Kindergeschicht­en einzu­tauchen, wäre schon Grund genug, um Sto­rysign dem gehör­losen Nach­wuchs zu zeigen. Doch die KI-App geht weit über Unter­hal­tung hin­aus und stiftet echt­en Mehrw­ert beim Lesen­ler­nen. Denn gle­ich neben Star ist auf dem Smart­phone-Dis­play auch jew­eils der aktuelle Satz in Buch­staben­form zu sehen. Wie es hörende Erwach­sene aus der Karaoke-Bar ken­nen, ist der aktuell in Gebär­den­sprache gezeigte Buch­stabe oder Aus­druck dann far­big unter­legt. So fällt es gehör­losen Kindern wesentlich leichter, den Zugang zu Buch­staben und Wörtern zu find­en, da sie so die Bedeu­tung direkt ver­ste­hen kön­nen.

+++ AKTION: Sichere Dir beim näch­sten Einkauf im Google Play Store 5 Euro +++

Wäh­le Abrech­nen über Voda­fone als Zahlungsmeth­ode im Google Play Store. Das kannst Du jet­zt direkt tun oder erst, wenn Du etwas im Google Play Store kauf­st. Bei Deinem näch­sten App-Kauf oder In-App-Kauf von bis zu 5 Euro erstat­ten wir Dir den Preis.

Erfahre mehr: http://vod.af/VodafoneGoogleCashback

Welche Kinderbücher sind mit Storysign kompatibel?

Damit Com­ic-Avatar Star losle­gen kann, benötigst Du bloß ein Android-Smart­phone mit instal­liert­er Sto­rysign-App aus dem Play Store sowie ein physis­ches Exem­plar eines unter­stützten Kinder­buch­es. Wie oben schon kurz erwäh­nt, ist die Über­set­zung von Buch­staben in Gebär­den­sprache sehr aufwendig. Deshalb muss jedes Buch zunächst per Bewe­gungs-Erfas­sung von einem men­schlichen Über­set­zer aufgenom­men und ver­ar­beit­et wer­den. Die kün­stliche Intel­li­genz von Huawei ist dann dafür ver­ant­wortlich, das Buch und die entsprechende Pas­sage zu erken­nen und kindliche Wack­ler beim Hal­ten des Smart­phones auszu­gle­ichen. Zum Start von Sto­rysign gibt es in jed­er der zehn unter­stützten Gebär­den­sprachen min­destens eine Geschichte, die Star über­set­zen kann. In deutsch­er Gebär­den­sprache (DGS) ist das zum Beispiel der Titel „Peter Hase. Ein Guck­loch-Aben­teuer“. Alle weit­eren Kinder­büch­er und unter­stützten Sprachen find­est Du direkt in Sto­rysign. Dort siehst Du auch sofort, wenn die näch­ste Geschichte bere­it zum Vor­lesen ist.

Sto­rysign ist natür­lich längst nicht die einzige App, die im All­t­ag unter­stützen kann. Auch Speak­see ein super Helfer im All­t­ag. Die intel­li­gente App über­set­zt näm­lich gesproch­ene Sprache in Text und liefert damit die passenden Unter­ti­tel für das richtige Leben.

Was hältst Du von Sto­rysign? Über­set­ze Deine Gedanken in Buch­staben und hin­ter­lasse uns einen Kom­men­tar.

Bilder: Storysign