Försämrad teckenspråksförståelse i visuellt utmanande situationer

Bild 1: Visar exempel på bakgrundsbrus i den enklaste, medelsvåra och svåraste versionen (från vänster till höger). Bild 2: Visar exempel på hur försämrad bildkvalitet ser ut i den enklaste, medelsvåra och svåraste versionen (från vänster till höger).

Vi strävar alltid efter att kommunicera med varandra på olika sätt. Det finns dock många saker som kan störa vår kommunikation; många kan röra sig eller använda teckenspråk i bakgrunden, uppkopplingen kan vara dålig när vi har ett videosamtal, personer som vi kommunicerar med kanske inte behärskar språket full ut. Dessa situationer är oundvikliga och kan leda till att vi missar viktig information.

Forskning på hur visuellt utmanande situationer påverkar teckenspråksförståelse har inte kommit lika långt som motsvarande forskning på talspråksförståelse. Det finns flera skäl till att det är så. Till exempel är visuell kommunikation mer komplex än talad kommunikation och de metoder man använder för att forska på talat språk är inte alltid relevanta för teckenspråk. I projektet ”Försämrad teckenspråksförståelse i visuellt utmanande situationer” studerar vi därför hur olika sorters visuellt utmanande situationer kan påverka teckenspråksförståelse och hur ansträngande det blir att uppfatta tecken.

För talade språk finns det mycket forskning om vad som påverkar hur mycket man förstår av kommunikationen i svåra situationer. Det finns också flera olika metoder för att mäta det. I detta projekt har vi tagit fram motsvarande metoder för teckenspråk för att kunna undersöka på vilket sätt visuellt utmanande förhållanden påverkar teckenspråkskommunikation. Fungerar det på samma sätt som för talat språk? Det är viktigt att undersöka detta eftersom vi vet att i talade språk leder kommunikation i svåra situationer till mer ansträngning. Om detta även stämmer för teckenspråkskommunikation är det viktigt att hitta sätt att minska ansträngningen så att fler kan kommunicera bättre och orka kommunicera under längre tid.

I forskning kring förståelse av talat språk är det vanligt att använda två olika typer av auditivt utmanande förhållanden; tal presenterat i bakgrundsbrus och tal med försämrad ljudkvalitet. I vår studie har vi anpassat de här två typerna av förhållanden för teckenspråk och undersöker hur visuellt bakgrundsbrus och försämrad bildkvalitet påverkar förståelse av tecken.

Bakgrundsbrus innebär att irrelevant information läggs till i bakgrunden, så som olika störande ljud för hörande personer och visuella mönster för personer som använder teckenspråk. I vardagen kan det handla om att personer rör sig bakom den du tecknar med eller störande lampor som blinkar. På ett mer tekniskt sätt säger man att den irrelevanta informationen från bakgrundsbruset konkurrerar med den relevanta språkliga informationen.

Försämrad ljudkvalitet uppkommer genom att man manipulerar de olika ljudfrekvenserna som finns i talet, man kan säga att upplösningen i ljudet blir sämre. Ett motsvarande visuellt exempel på försämrad bildkvalitet kan vara att man tittar på en fågel och sedan tar en bild eller filmar den. Kameran kan ha bra upplösning, men när vi zoomar in i bilden eller filmen inser vi att vi inte kan urskilja detaljerna lika bra som när vi tittade på fågeln i verkligheten. Den förenklade versionen av verkligheten som kameran kan återskapa ger pixlade bilder eller videor.

I studien vi har genomfört fick 29 deltagare se 100 tecken i form av korta videos. Alla videos var manipulerade på ett av de två sätten vi beskrivit ovan. För att återskapa en situation med visuellt bakgrundsbrus ersatte vi en viss procent av filmens pixlar med svarta och vita pixlar (se Bild 1). För att efterlikna försämrad kvalitet minskades vi i stället antalet pixlar i filmen (se Bild 2). Båda sätten hade fem svårhetsgrader, från enkelt, med bara lite försämring, till svårt med stor försämring av kvalitén.

När deltagaren hade sett en video fick de skriva ner vilket tecken de tyckte att de såg och bedöma hur svårt de tyckte det var att se tecknet. Resultaten visade att det var en märkbar skillnad mellan nästan alla fem svårighetsnivåerna för de två olika sätten att försämra kvalitén, både när det gäller förståelse och när det gäller hur svårt det var att se tecknet. I Bild 3 kan vi se att deltagarnas uppfattning av hur svårt det var att se tecknet stämmer väl överens med hur mycket de förstod.

Stapeln längst till vänster i första bilden är låg och visar alltså att det inte var så många som fick rätt på vilket tecken det var i den svåraste versionen samtidigt som stapeln längst till vänster i andra bilden visar att det upplevdes som mycket svårt att avgöra vilket tecken det var. Tvärtom visar stapeln längst till höger i första bilden att det var många som fick rätt på vilket tecken det var i den lättaste versionen, och att man då upplevde det som lätt att se vilket tecken det var. Detta kan tyckas vara ganska självklart, men det är ändå viktigt att kunna visa på att det är så här det förhåller sig.

Resultaten var ganska lika för både bakgrundsbrus och försämrad kvalitet. På den enklaste svårighetsnivån förstod deltagarna ca 70% av tecknen. Därefter minskade förståelsen till ca 50% på medelnivån och ca 10% på den svåraste nivå. I och med att vi identifierat detta mönster kan både vi och andra forskare använda detta sätt för att testa förståelse av teckenspråk i framtida forskning. Erfarenheter från denna studie kan även användas inom annan forskning, till exempel de som forskar på ögonimplantat. Det är fortfarande långt kvar innan ögonimplantat är lika utvecklade som cochleaimplantat, men det är inte otänkbart att de i framtiden kan bli ett användbart hjälpmedel för att förbättra synen hos personer som har det behovet. I så fall är det viktigt att förstå hur syn via ett sådant implantat upplevs av användaren och vad användaren kan uppfatta i omgivningen.

Nästa steg för oss är att se hur hjärnan bearbetar samma typer av visuellt utmanande förhållanden som vi undersökt i den här studien. Därför kommer vi under hösten starta en hjärnavbildningsstudie där vi ska undersöka hur hjärnan arbetar vid presentation av teckenspråk och talat språk under visuellt respektive auditivt utmanande förhållanden.

Författare: Cristina Tobías Figuerola, Theres Ekblad, Emil Holmer, Carine Signoret, Josefine Andin