Vetenskap: Hur arbetar hjärnan när teckenspråk blir svårt att se?

En skakig videobild, dålig belysning eller en rörig bakgrund kan räcka för att det ska bli utmanande att avläsa teckenspråk. Men vad är det som händer i hjärnan i sådana situationer?

I en tidigare artikel i Dövas Tidning (DT nr 3 2024) berättade vi om studien ”Försämrad teckenspråksförståelse i visuellt utmanande situationer”. Där beskrev vi hur försämrad videokvalitet kan göra det svårare och mer utmanande att förstå tecken, på ungefär samma sätt som en försämrad ljudkvalitet gör det svårare och mer ansträngande att förstå tal. I den här uppföljande studien har vi undersökt hur hjärnan arbetar när teckenspråk och talat språk blir utmanande att förstå.

Vi tar hela tiden emot intryck från vår omgivning. En del intryck hjälper oss att förstå varandra, medan andra stör. För teckenspråk kan det handla om olika typer av visuellt brus som stör, så som dålig bild i ett videosamtal, dålig belysning, rörig bakgrund och personer som står i vägen. För talat språk kan det handla om bakgrundsljud, som till exempel trafik, maskiner eller andra personer som pratar samtidigt.

Det finns mycket forskning kring hur hjärnan reagerar på utmanande situationer för talat språk, men det finns nästan ingen forskning på detta när det gäller teckenspråk. I DT nr 3 2024 beskrev vi hur vi hade tagit fram videomaterial för att undersöka teckenspråksförståelse i visuellt utmanande situationer. I den här studien använder vi det videomaterialet och ett liknande talspråkligt material i en hjärnavbildningsstudie. Vi ville undersöka om hjärnan reagerar på samma sätt när språk blir svårt att uppfatta, oavsett om språket tas emot genom hörseln eller synen. Med andra ord ville vi besvara den här frågan: Aktiveras samma områden i hjärnan när vi försöker förstå tal och teckenspråk i utmanande situationer?

Tidigare forskning har visat att för talat språk är det mer utmanande att förstå tal i brus än tal med försämrad ljudkvalitet. Det gör att det krävs mer kognitiv kapacitet för att förstå tal i brus, vilket innebär att områden i de främre delarna av hjärnan aktiveras. För både tal i brus och försämrad ljudkvalitet aktiveras hörselområden. Vi utgick från att det fungerar likadant för teckenspråk och förväntade oss därför att synområden skulle aktiveras för både tecken i brus och vid försämrad videokvalitet, medan tecken i brus även borde aktivera de främre delarna av hjärnan.

Tal och tecken i utmanande situationer

För att kunna jämföra tal och tecken valde vi att genomföra studien på hörande personer som kunde både svenska och svenskt teckenspråk. Tjugotvå personer fick ligga i en magnetkamera samtidigt som de lyssnade på svenska ord respektive tittade på tecken från svenskt teckenspråk. Orden och tecknen presenterades på tre olika sätt: tydligt, med bakgrundsbrus och med försämrad kvalitet (Bild 1).

För talat språk innebar bakgrundsbrus att ett störande ljud spelades upp samtidigt som orden talades. För teckenspråk innebar bakgrundsbrus att bilden stördes av visuellt brus (Bild 1, mitten). Försämrad kvalitet innebar i stället att själva signalen ändrades. För tal innebar det försämrad ljudkvalitet och för teckenspråk försämrad bildkvalitet. Den försämrade ljudkvaliteten skapades så att det lät ungefär som när man lyssnar genom ett cochleaimplantat. Den försämrade videokvaliteten skapades genom att teckenspråksfilmerna gjordes pixliga (Bild 1, längst till höger).

Deltagarna fick se eller lyssna på ett antal tecken eller ord i följd samtidigt som vi tog bilder av hjärnan med magnetkameran. Efter varje sekvens av tecken eller ord fick de ange hur svåra de var att förstå.

 

Resultatet blev delvis annorlunda än vi hade trott

Precis som tidigare forskning har visat upplevde deltagarna i vår studie att talat språk var mest utmanande att förstå när det presenterades i bakgrundsbrus. Vi visade också att detsamma gäller för teckenspråk. Det som är intressant med våra resultat är att trots att det var ungefär lika svårt att förstå ord och tecken i bakgrundsbrus och med försämrad kvalitet så upplevdes det som mer ansträngande i bakgrundsbrus. Det gällde både för tal och tecken. Att förstå talat språk och teckenspråk handlar alltså inte bara om hur mycket information som finns kvar, utan också om vilken typ av brus eller försämring som används.

Hjärnavbildningsresultatet visade däremot inte de mönster vi förväntade oss (Bild 2). För det första kunde vi inte se någon ökning av aktivitet i främre delen av hjärnan för tal i brus. För det andra kunde vi inte se några liknande mönster mellan tal och tecken. För både tal i brus och försämrad ljudkvalitet aktiverades hjärnans hörselområden, alltså områden i hjärnan som är viktiga för att bearbeta ljud och tal (röda områden i Bild 2). För tecken i brus och försämrad videokvalitet såg vi aktivitet i synområden (blå områden i Bild 2). Synområdena ligger längst bak i hjärnan och är viktiga för bearbetning av former, rörelse och annan visuell information.

 

Det verkar alltså som att hjärnan inte alltid löser utmanande språksituationer genom ett gemensamt språksystem. I stället tycks hjärnan anpassa sig efter hur språket tas emot: genom öronen eller genom ögonen. Det är inte förvånande att syn och hörsel bearbetas olika. Det som är nytt är däremot att det inte verkar som att samma delar av hjärnan involveras när språket blir svårt att förstå.

Teckenspråk i visuellt utmanande situationer

Även om både tecken i brus och försämrad videokvalitet gjorde att hjärnans synområden aktiverades, så fanns det skillnader i vilka delar av synområdena som aktiverades. Olika delar av synområdena är särskilt viktiga för olika saker. I Bild 3 är de röda områdena de områden som aktiverades vid tecken i brus och de gröna områdena är de som aktiverades när videokvaliteten var försämrad. De röda områdena ligger lite längre bak och lite mer mot mitten. Det här kan betyda att när tecken presenterades i brus behövde deltagarna lägga mer fokus på att uppfatta rörelser och samtidigt bortse från det irrelevanta bruset. När videokvaliteten var försämrad, kan de i stället ha fokuserat främst på tecknens handform.

Varför är detta viktigt?

Vår studie visar att hjärnan verkar använda olika vägar för att hantera utmanande språksituationer beroende på om språket är talat eller tecknat. Det betyder att kunskap från forskning om tal inte direkt kan översättas till teckenspråk och tvärtom. Därför är det viktigt att det görs mer forskning inom detta område. Våra resultat är också viktiga för hur vi tänker kring tillgänglighet. För talat språk pratar man ofta om ljudmiljöer, hörselteknik och bakgrundsbuller. För teckenspråk behöver vi på motsvarande sätt tänka på visuella miljöer som bildkvalitet, belysning, kontrast och hur tydligt rörelser respektive handform syns. Det gäller överallt där teckenspråk används, till exempel i undervisning, vid digitala möten och i tolksituationer. Om omständigheterna inte är optimala blir det mer ansträngande att förstå även om man är mycket van vid teckenspråk.

Sammanfattning

I den här studien visade vi att hjärnan inte reagerar på samma sätt på tal och tecken i utmanande situationer. Tal aktiverar främst områden som bearbetar ljud och tecken aktiverar främst områden som bearbetar synintryck, oavsett hur utmanande situationen är. Slutsatsen är därför att teckenspråk behöver studeras på sina egna villkor, särskilt när vi vill förstå hur människor kommunicerar i situationer då signalen inte är optimal. Även om deltagarna i den här studien kunde teckenspråk är det nu viktigt att gå vidare med forskning där döva teckenspråkiga undersöks för att ytterligare förstå hur utmanande visuella miljöer påverkar kommunikation.

Författare: Josefine Andin, Cristina Tobías Figuerola, Emil Holmer, Carine Signoret, Theres Ekblad