E.R. Bekeš, I. gimnazija Osijek

E. B. Kolar, V. Galzina, Fakultet za Odgojne i obrazovne znanosti Osijek

Sažetak

Za razliku od gluhe djece i djece s oštećenjem sluha rođene gluhim roditeljima, djeca rođena roditeljima koji čuju nemaju kontinuiran izvor jezičnog inputa, što negativno utječe na njihovu radnu memoriju. Korištenjem umjetne inteligencije (AI) i interakcije čovjeka i računala (HCI) kreirali smo dječju slikovnicu s ciljem pomoći gluhim i djeci s oštećenjem sluha pri stjecanju pismenosti na znakovnom i govornom jeziku. Cilj je bio uspostaviti tehnološko okruženje koje je inkluzivnije kroz poboljšanje osjetilnih funkcija djece koja ovise o znakovnom jeziku. Kombiniranjem znakovnog i govornog jezika u slikovnici željeli smo premostiti komunikacijski jaz između djece s oštećenjem sluha i njihovih vršnjaka. AI i rješenje proširene stvarnosti ne samo da olakšavaju učenje jezika, već i potiču socijalnu uključenost omogućujući interakciju između korisnika znakovnog jezika i onih koji ga ne koriste. Cilj je također bio potaknuti opsežne rasprave o stvarnoj i učinkovitoj suradnji između nastavnika i istraživača te budućih učitelja, radi poboljšanja akademskih postignuća gluhe djece i uključivanja edukatora u planiranje i izradu digitalnog obrazovnog sadržaja.

I. Uvod

U suvremenom društvu inkluzija je jedan od najvažnijih obrazovnih prioriteta, osobito kada je riječ o djeci s oštećenjem sluha. Inkluzivni obrazovni model nastoji uključiti svu djecu i mlade, bez obzira na razvojne poteškoće, u redovni obrazovni sustav. Cilj je omogućiti ravnopravan pristup obrazovanju, socijalnoj interakciji i svakodnevnim aktivnostima. Djeca koja su gluha ili imaju oštećenje sluha pripadaju marginaliziranoj skupini koja se bori za ravnopravan pristup obrazovanju. Studija provedena u jednoj srednjoj školi u Hrvatskoj pokazala je da obrazovni materijali nisu prilagođeni potrebama gluhe djece, te da nastavnici nisu dovoljno educirani za kvalitetnu komunikaciju s njima — što je potaknulo razvoj novih obrazovnih sadržaja.

II. Znakovni jezik – učinkoviti alat za učenje govornog jezika

Na međunarodnoj znanstvenoj konferenciji naglašena je potreba za ranim jezičnim intervencijama kod djece koja su gluha, nagluha ili gluhoslijepa. Zaključeno je da sustav zanemaruje ovu populaciju, a djeca nisu izložena prirodnom jeziku u pravom razdoblju razvoja. Bimodalno-dvojezična komunikacija (kombinacija govornog i znakovnog jezika) identificirana je kao manjkavost obrazovnog sustava. U švicarskom istraživanju primijećeni su problemi s čitanjem i pisanjem kod gluhih učenika u redovnim školama, gdje nastavnici ne koriste znakovni jezik niti imaju pristup vizualnim komunikacijskim sredstvima. U hrvatskoj praksi primijećeni su slični izazovi. Nastava se temelji na govornom jeziku, s minimalnim uključivanjem znakovnog jezika. Učenici s oštećenjem sluha rijetko sudjeluju u nastavnim aktivnostima, pokazuju nezainteresiranost i ne dobivaju individualne zadatke. Kurikulum ne uključuje pisanje eseja, sastava ili složenijih tekstova. Kako bi se poboljšala pismenost, potrebno je stvoriti novo kontekstualno okruženje učenja. Znakovni jezik može poslužiti kao most prema govornom jeziku i omogućiti razvoj osnovnih vještina čitanja i pisanja.

III. Slikovnice i pričanje priča

Istraživanja potvrđuju vezu između vokabulara i pismenosti. Djeca s oštećenjem sluha često ne usvajaju znanje slučajno i trebaju ciljanu vokabularnu intervenciju. Čitanje slikovnica pokazalo se iznimno učinkovitim u proširenju vokabulara, osobito uz korištenje dijaloških metoda. U studijama se pokazalo da su poboljšane intervencije s pitanjima i slikovnim poticajima korisne kod djece koja koriste znakovni jezik. Takav pristup potiče njihovo sudjelovanje, emocionalnu uključenost te usvajanje jezika u razumljivom obliku. Rezultati ukazuju da djeca koja koriste znakovni jezik imaju sličan napredak kao ona koja koriste govoreni jezik, ako se čitanje slikovnica provodi u interaktivnom obliku uz vizualnu i komunikacijsku potporu.

IV. Umjetna inteligencija i imerzivne tehnologije kao „game-changeri“

Umjetna inteligencija može značajno unaprijediti obrazovanje gluhe i nagluhe djece. AI aplikacije poput Microsoft Translatora omogućuju transkripciju govora u stvarnom vremenu, čime se omogućuje praćenje nastave. Deaf AI nudi niz inkluzivnih tehnoloških rješenja. Sustavi za prevođenje znakovnog jezika uz HCI tehnologije omogućuju komunikaciju između gluhih i osoba koje čuju. Primjer tehnologije iz Indije koristi strojno učenje za prepoznavanje dvoručnih gesti, povećavajući kognitivne sposobnosti djece do 60–70%. U Hrvatskoj je razvijena aplikacija za učenje hrvatskoga znakovnog jezika na temelju računalnog vida. Google je također pokrenuo inicijativu pomoću AI za poučavanje ASL jezika roditeljima gluhe djece, uz povratne informacije u stvarnom vremenu.

V. HCI, AI i proširena stvarnost

Prevladavanje izazova u automatskom prevođenju govora u znakovni jezik je ključan korak. Postoje aplikacije za ASL i europske jezike, ali još ne za hrvatski. Cilj je osposobiti buduće učitelje da kreiraju digitalne sadržaje prilagođene učenicima s teškoćama. U sklopu kolegija „Digitalizacija nastavnog sadržaja“ 26 studenata učilo je o proširenoj stvarnosti, AR aplikacijama i stvaranju digitalnih obrazovnih materijala. Osmišljene su slikovnice (strip i abecedar), uz korištenje AI alata, znakovnog jezika i vizualnih medija. Učenje putem interaktivnih slikovnica potiče vokabular, vizualnu podršku, eksplicitnu instrukciju, višu razinu razmišljanja i inkluzivnost.

VI. Metodologija

A. Odabir sudionika

Zbog malog broja gluhe djece u Hrvatskoj, sudionici su regrutirani preko Facebook grupa roditelja. Sudjelovalo je 6 gluhih ili nagluhih učenika (4 osnovnoškolca, 2 predškolca), njihovi roditelji (n=12), nastavnici (n=5) i vršnjaci (n=25). Odabrani su prema dostupnosti mobilnih uređaja koji podržavaju AR tehnologiju.

B. Dizajn intervencije

Kroz kolegij studenti su razvijali dvije slikovnice: (1) Abecedar s prikazom hrvatske abecede u znakovnom jeziku i animacijama; (2) Pepeljuga kao strip s video sadržajem na znakovnom jeziku. Korišteni alati: Canva, Comic Life, AssemblrEDU.

C. Provedba

Slikovnice su podijeljene učenicima, roditeljima, učiteljima i vršnjacima. AR sadržaji aktivirani su putem osobnih uređaja.

D. Prikupljanje podataka i rezultati

Prva faza uključivala je promatranje učenika od strane roditelja i nastavnika. Korištena je Likertova skala s 5 stupnjeva (1 – potpuno se ne slažem, 5 – potpuno se slažem) za procjenu reakcija učenika na slikovnice i AR sadržaj.

Rezultati su pokazali izrazito pozitivan učinak:

• Ukupno 78% sudionika izrazilo je zadovoljstvo slikovnicama.
• 76% snažno se složilo da učenici pokazuju entuzijazam pri aktivaciji AR značajki.
• 94% je pokazalo visoku razinu angažiranosti i koncentracije na detalje sadržaja.
• Učenici su pokazivali veselje, interakciju sa znakovnim animacijama, te pratili sadržaj gestom.

U drugom dijelu provedeni su polustrukturirani intervjui s roditeljima, učenicima, vršnjacima i nastavnicima. Zaključci:

• Roditelji su izrazili veću povezanost sa svojom djecom kroz zajedničko “čitanje”.

• Pohvalili su vizualnu podršku i dvojezični sadržaj, te predložili dodatne prilagodbe (kontrast, veličina fonta, raznolikost likova).

• Nastavnici su slikovnice ocijenili primjenjivima za sve učenike, naglašavajući nedostatak prilagođenih nastavnih resursa za D/HH učenike.

• Vršnjaci su s entuzijazmom učili znakovni jezik te zajedno s D/HH učenicima sudjelovali u priči — što je potaknulo inkluziju i zajedništvo u učionici.

VII. Zaključak

Kombinacija HCI-a, AI-a i proširene stvarnosti u obrazovanju potiče inkluziju i razvoj pismenosti kod djece s oštećenjem sluha. Učitelji mogu bez predznanja iz znakovnog jezika koristiti sadržaj i potaknuti dvojezičnu komunikaciju. Potrebna su daljnja istraživanja na većim uzorcima uz primjenu generalizacijskih testova. Intervencije trebaju biti proširive i dugoročne, a učitelji aktivno uključeni u razvoj sadržaja.

Cilj da se pokrene dijalog između edukatora i istraživača u svrhu stvaranja učinkovite edukacije za gluhe i nagluhe učenike — postignut je. Upotrebom HCI-a, AI-a i proširene stvarnosti, učitelji mogu bez poznavanja znakovnog jezika stvoriti interaktivno i inkluzivno obrazovno okruženje koje promiče bimodalnu dvojezičnu komunikaciju. Slikovnice su omogućile:

• Razvoj pismenosti na dva jezika
• Obiteljsku interakciju kroz zajedničko čitanje
• Socijalnu uključenost među djecom

Za budućnost, predlaže se:

• Širenje istraživanja na veći uzorak s grupnim usporedbama
• Uvođenje testova generalizacije (primjena naučenog sadržaja u drugim kontekstima)
• Razvijanje jednostavnih protokola za primjenu u nastavi kod kuće i u školi
• Umanjivanje subjektivnih izvora podataka kroz dodatno praćenje i digitalne alate

Literatura

• L. Muštra, The experience of inclusive education of children and youth with hearing impairment: sociological research, Graduation Thesis, University of Split, Faculty of Humanities and Social Sciences, Split, 2020
• Group of authors, The 3rd international scientific-professional conference “Results of (non) supportive environment”, Zagreb, 2019, Accessed: 11.12.2023 [Online]. Available: https://dodir.hr/istrazivanja/
• C. Hohenstein and L. Zavgorodnia, The inclusive schooling paving the road to higher education, selected papers from the 3rd international scientific-professional conference “Results of (non) supportive environment”, Zagreb, 2019, pp.25-43.
• C. Hohenstein, L. Zavgorodnia, M. Näf, et al.,Status Quo of Inclusive Access to Higher Education. A Focus on Deaf and Hearing-impaired Individuals in German-speaking Switzerland. 2019, DOI: 10.21256/zhaw-4919.
•  D. Kavčić, Educational topics 3, 2020, 5: pp. 65-82.
• D. Powell, M. Hyde, R. Punch, Inclusion in Postsecondary Institutions With Small Numbers of Deaf and Hard-of-Hearing Students: Highlights and Challenges, The Journal of Deaf Studies and Deaf Education, Vol. 19, Issue 1, January 2014, pp.126–140, DOI: 10.1093/deafed/ent035
• J. W. Trussell, S.R. Easterbrooks, The Effect of Enhanced Storybook Interaction on Signing Deaf Children’s Vocabulary, The Journal of Deaf Studies and Deaf Education, Vol. 19, Issue 3, 2014, pp. 319–332, DOI: 10.1093/deafed/ent055
• P.C. Fung, B. W. Y. Chow, C. McBride-Chang, The impact of a dialogic reading program on deaf and hard-of-hearing kindergarten and early primary school-aged students in Hong Kong, Journal of Deaf Studies and Deaf Education, 10, 2020, pp. 82–95, DOI:10.1093/deafed/eni005
• J. Roach, AI technology helps students who are deaf learn, Microsoft Blog, 2018, Accessed: 11.12.2023 [Online]. Available: https://blogs.microsoft.com/ai/ai-powered-captioning
• H. K.Vashisth, T. Tarafder, R. Aziz, M. Arora, Hand Gesture Recognition in Indian Sign Language Using Deep Learning. Eng. Proc. 2023, pp. 59-96. DOI: 10.3390/engproc2023059096
• N. Tomažin, L. Krčelić, B. Krčelić, Gestikulator – Platforma za učenje hrvatskoga znakovnog jezika, University of Zagreb, Faculty of Electrical Engineering and Computing, Zagreb, 2022, Accessed: 13.12.2023 [Online]. Available: https://apps.unizg.hr/rektorova-nagrada/javno/radovi/1476/preuzmi
• S. Aquino, Inside Google’s Effort To Use AI To Make ASL Accessible To All, 2023, Accessed: 13.12.2023 [Online]. Available: https://www.forbes.com/sites/stevenaquino/2023/05/30/inside-googles-effort-to-use-ai-to-make-asl-accessible-to-all/?sh=58d6bac56bfa
• I. Papastratis, C. Chatzikonstantinou, D. Konstantinidis, et al., Artificial Intelligence Technologies for Sign Language. Sensors, Basel, 2021, DOI: 10.3390/s21175843
• BS. Beal-Alvares, A.R. Lederberg, S. R. Easterbrooks, Grapheme-phoneme acquisition of deaf preschoolers, Deaf Stud Deaf Educ, 2012, pp. 39-60, DOI: 10.1093/deafed/enr030
• Nastavni zavod za javno zdravstvo, Svjetski dan sluha, 2023, Accessed: 16.01.2024 [Online]. Available: https://www.zzjzosijek.hr/svjetski-dan-sluha
• Deaf-blind Association Dodir, Dvoručna Abeceda, video, 2021, Accessed:16.10.2023,[Online].Available:   https://youtu.be/lYoKQRJygyY?si=4n8VU9dpWYJLEBup
• HRT, Juhuhu: Pssst, priča (na hrvatskom znakovnom jeziku), Pepeljuga, 2022, Accessed: 22. 09. 2023, Online, Available:  https://juhuhu.hrt.hr/gledaj/1184/pepeljuga