Statusrapport
Lydstyringsprosjektets hovedmål er å:
Undersøke mulighetene for lydstyring av PC, og legge grunnlaget for et utviklingsprosjekt, dersom dette er mulig og hensiktsmessig.
Mulighetene for lydstyring av PC har så langt blitt undersøkt ved å:
1. Analysere internasjonal forskning på dysartrisk tale og lydgjenkjenning.
2. Analysere resultater fra internasjonale utviklingsprosjekter.
3. Analysere resultater fra gjenkjenningstester på utviklingspiloter og eksisterende talegjenkjenningsprodukter.
4. Vurdere mulig teknologi for lydstyring.
5. Definere typiske brukere av en slik lydstyringsløsning.
6. Definere hvilke funksjoner det kan være hensiktsmessig at et slikt lydstyringssystem bør inneholde.
7. Etablere internasjonalt samarbeid.
Resultatene kan så langt oppsummeres slik:
Forskning på dysartri og gjenkjenning
Hovedparten av forskning på lydgjenkjenning tar for seg ikke-talte lyder fra omgivelser, og kan for eksempel være rettet mot sensornettverk, omgivelseskontroll eller hjelpemidler for hørselshemmede [1]. En del forskning er også rettet mot dyreriket. Såkalt pattern matching er her en mye brukt teknikk.
Noe forskning er gjort på kombinering av talelyder og talekommandoer i grensesnitt [2, 3]. Dette er typisk for styring av musepeker, og har fokus på ikke-funksjonshemmede brukere.
Når det gjelder forskning på lyd/talegjenkjenning av mennesker med talevansker /dysartri [9], er dette fremdeles begrenset. Det finnes likevel studier som har undersøkt hva som kjennetegner dysatrisk tale og hva resultatene innebærer for talegjenkjenning [4, 5, 6, 12].
Noen av disse tar også spesifikt for seg intra-taler variasjoner, og forsøker å undersøke graden av uttalevariasjon på samme frase fra samme person med dysartri, og effekten dette har på talegjenkjenning [7, 8]. Resultatene viser at selv om brukere med dysartri har til dels store uttalevariasjoner, er gjenkjenning ikke umulig. Dette bekreftes av erfaringer fra brukertestinger av eksisterende talegjenkjenningsprodukter og av utviklingspiloter.
Erfaringer fra utvikling og brukertesting
Det finnes flere studier som peker i retning av at talestyring ikke bare er mulig for personer med dysartri, men at det effektiviserer og forenkler deres hverdag.
En Kanadisk-Amerikansk studie fra 2008 [10] demonstrerer hvordan talegjenkjenning forbedrer kommunikasjon, via PC, for en student med Cerebral Parese (CP) og talevansker. Studenten økte sine kommunikasjonsevner, ble mer produktiv og følte økt mestring. CP er den diagnosen som ligger til grunn for de fleste uttestingene med mennesker med dysartri.
I en svensk studie [11] undersøkes hensiktsmessigheten av Dragon Dictate for to personer med CP og dysartri. Effektivitet i interaksjon med PC ble målt, og når talegjenkjenning ble kombinert med testpersonenes opprinnelige bryterløsning økte antallet korrekte input med 40 %.
Det synes som om Dragon Dictate og andre kommersielle gjenkjenningssystemer er brukbare for mennesker med mild dysartri [7, 11, 13]. Det er varierende konklusjoner om anvendbarhet for personer med moderat dysartri, og kun få studier synes gjort med mennesker med alvorlig dysartri.
Generelt er konklusjonen at personer med moderat til alvorlig dysartri ikke kan benytte standard gjenkjenningssystemer, men trenger spesialtilpassede gjenkjenningsapplikasjoner.
Det er sannsynlig at personer med dysartri vil oppnå noe lavere gjenkjenning enn personer uten talevansker, selv med spesialtilpassede systemer. I spesialtilpassede gjenkjenningsapplikasjoner er høyeste suksessrate på gjenkjenning for personer med moderat til alvorlig dysartri på mellom 84,3 og 95,4 % [13, 14]. De spesialtilpassede løsningene bør derfor ha et begrenset vokabular, noe som øker gjenkjenningsraten [13, 14]. I systemet CanSpeak med beste gjenkjenningsrate på 84,3 %, var hele 47 ulike kommandofraser benyttet.
Forøvrig synes forskningen å peke i retning av at opptreningsbaserte programmer er trettende og uheldig for denne brukergruppen, og at man snarere bør ha et spesialtilpasset vokabular [11, 13]. For eksempel synes ”r” å være en vanskelig lyd og uttale for mange personer med dysartri [12]. I utvelgelse av vokabular er de beste resultater oppnådd ved involvering av fagmiljøet rundt brukeren.
Typiske brukere og funksjonalitet
Som forskningspublikasjonene indikerer, representerer personer med CP en av de større brukergruppene med dysartrisk tale. Det finnes imidlertid flere progredierende muskelsykdommer som gjør at man etter hvert mister tale, og mennesker med Afasi er en tredje brukergruppe.
For å definere hvilken funksjonalitet som typisk vil være ønsket i et lydstyringssystem, ble 4 ulike personas laget i forprosjektet. Hver persona er et eksempel på en bruker, hva gjelder demografi (alder, kjønn, funksjonshemming etc.), personlighet og behov. Dette gjør personas nyttige i forhold til å kunne forestille seg hva løsningen vår bør tilby av funksjonalitet, design og så videre. Personas gjør det også lettere å kommunisere til andre hva man mener, og få en felles forståelse av hva vi skal lage og for hvem.
Personasene i forprosjektet er fiktive og bygget på kunnskap hos SIKTE, Sunnaas og CP-foreningen. Personasene ble valgt for å dekke de tenkte typiske brukerne av en lydstyringsløsning, med representative personkarakteristikker, behov, type og grad av funksjonshemming. De er både barn og voksne, og bruker ulike betjeningsmetoder fra skanning og fot/hånd/hodebryterløsninger til øyestyring.
Gjennom dette arbeidet ble det tydelig at det er ønskelig med et bredt utvalg av tilgjengelig funksjonalitet. Eksempler på tenkt ønskelige PC-styrings muligheter er: styring av rullestol, surfing på nett og bruk av sosiale medier, kommunikasjon via MSN og e-post, sende tekstmeldinger, se på bilder, finne, laste ned og lytte til musikk, tekstbehandling og bruk av PC til skolearbeid/arbeid. Det ble videre klart at brukerne av en lydstyringsløsning vil ha svært ulike behov og muligheter, og at en slik tilpasning derfor bør skje på individnivå. Dette støttes av resultater fra forskning.
Prosjektgruppen vurderte derfor delmålet definering av basisprofiler til å være uhensiktsmessig. Både antallet kommandofraser/funksjoner, spesifisering av fraser og tiknyting frase/funksjon bør skje på individnivå. I stedet bør det legges opp til bruk av en løsning med stor fleksibilitet i mulig funksjonsutvalg.
Mulig teknologi
Et dansk firma har laget den enkle applikasjon Vocal Command [15] som gjenkjenner to ulike brukerspesifiserte lyder og deretter utfører ønskede kommandoer. Vocal Command ble testet i forprosjektet, og gjenkjenningen ble vurdert som svært god. Dessverre vurderes to kommandofunksjoner som alt for lite funksjonalitet for at denne løsningen skal være hensiktsmessig som lydstyring av PC. I tillegg var kommandoutvalget lydene kunne knyttes opp mot svært begrenset. Løsningen har således store mangler, og ble derfor vurdert som uaktuell.
Intelligent Voice Operating System (IVOS) er et engelsk talegjenkjenningsprogram med TTS. Her kan en vilkårlig frase spesifiseres til å trigge en kommando. Brukeren kan også spesifisere egne kommandoer. Det er i tillegg mulighet for å "ta opp" en sekvens av handlinger og definere dette som én kommando. Den siste kjente versjonen av IVOS er laget i 2004, og kjører på Windows XP. Programvaren synes å være utdatert, og ikke lenger aktuell for utvikling.
Dragon Dictate virker brukbar for personer med mild til moderat dysartri, på tross av det er tidkrevende å lære å bruke. I Dragon for hver bruker en profil, som deretter justeres ved bruk etter brukerens spesifikke taleegenskaper. Brukeren har også mulighet til å trene opp gjenkjenneren ved å gjenta enkelte dårlig gjenkjente fraser et ubegrenset antall ganger. Slik forbedres gjenkjenningen opp til et visst nivå, for så å flate ut.
For personer med alvorlige talevansker er Dragon Natural Speaking imidlertid i nåværende form ikke mulig å benytte, ifølge testerfaringer gjort av Dr.Ing: T. Felzer [16]. Dette er fordi den introduserende opptreningsveilederen ikke nødvendigvis er i stand til å gjenkjenne brukerens input. Det er ikke mulig å justere alle fraser Dragons opptreningsveileder ber om. Resultatet er derfor at man ikke får opprettet brukerprofil.
VOMOTE er en talestyringsløsning som tilbyr et stort antall talekommandoer – og dermed har støtte for bred funksjonalitet, på samme måte som Dragons produkter. Fordelen ift Dragon er at VOMOTE er taleruavhengig – dvs. at den ikke krever noe opplæring, og ikke oppretter spesielle brukerprofiler. Dette synes å passe brukergruppens behov. Dersom VOMOTE skal brukes som teknologi i en spesialtilpasset lydstyringsløsning, er tanken at antallet og spesifiseringen av kommandofraser må tilpasses brukeren, i tråd med beskrevne forskningsfunn.
I en slik tilpasning må gjenkjenneren i VOMOTE byttes ut med en løsning der brukeren har mulighet for å trene opp gjenkjenneren i sine utvalgte kommandofraser, og knytte disse opp mot ønsket funksjonalitet i VOMOTE.
Mulig samarbeid
Det utredes mulighetene for et samarbeid med bl.a. Veridict i utarbeidelsen av VOMOTE til et spesialtilpasset lydgjenkjenningssystem for personer med moderat til alvorlig dysartri.
Referanser
1. Utsumi et.al., Sound recognition system for hearing impaired people based on pulsed neural networks, Japan 2009.
http://www.ieice.org/ken/paper/20090311YakM/eng/
2. Mihara et.al., The migratory cursor: accurate speech-based cursor movement by moving multiple ghost cursors using non-verbal vocalizations, Tokyo Institute of Technology, Japan 2005.
http://portal.acm.org/citation.cfm?id=1090801&dl=GUIDE&coll=GUIDE&CFID=74694324&CFTOKEN=80985362
3. Igarashi et.al., Voice as sound: using non-verbal voice input for interactive control, Brown University, USA 2001.
http://portal.acm.org/citation.cfm?id=502372&dl=GUIDE&coll=GUIDE&CFID=74697509&CFTOKEN=45969910
4. R. Patel et.al., Automatic landmark analysis of dysarthric speech, 2008.
http://www.highbeam.com/doc/1G1-191480544.htm
5. Kent et.al., Acoustic studies of dysarthric speech: Methods, progress, and potential, 1999.
http://www.sciencedirect.com/science?_ob=ArticleURL&_udi=B6T85-3WMK3VF-2&_user=10&_coverDate=05%2F06%2F1999&_rdoc=1&_fmt=high&_orig=search&_sort=d&_docanchor=&view=c&_searchStrId=1263010325&_
6. E. Rosengren et.al., How does automatic speech recognition handle severely dysarthric speech? Sverige 1995.
http://books.google.com/books?id=eNpiStR-kcYC&pg=PA336&lpg=PA336&dq=Rosengren+How+does+automatic+speech+recognition+handle+severely+dysarthric+speech%3F&source=bl&ots=IULLMfKmSD&sig=vZa8MV9Chs2Ww0vg4uYcNDiTFjA&hl=en&ei=w95fTPPDH8uQsAaQ5sWNCA&sa=X&oi=book_result&ct=result&resnum=1&ved=0CBIQ6AEwAA#v=onepage&q=Rosengren%20How%20does%20automatic%20speech%20recognition%20handle%20severely%20dysarthric%20speech%3F&f=false
7. Thomas-Stonell et.al., Computerized Speech Recognition: Influence of Intelligibility and Perceptual Consistency on Recognition Accuracy, ISAAC 1998. http://www.cs.toronto.edu/~gpenn/csc2518/thomasstonelletal98.pdf
8. B. Blaney et.al., Acoustic variability in dysarthria and computer speech recognition, 2000.
http://www.informaworld.com/smpp/content~db=all~content=a713805127
9. Wikipedia, Hva er dysartri. http://sv.wikipedia.org/wiki/Dysartri
10. J. M. Mangan og J. H. Mangan, Using Recognition Software to Improve Computer Usability for a Student with Cerebral Palsy, Canada/USA 2008.
http://www.editlib.org/noaccess/28428
11. C, Havstam et.al., Speech recognition and dysarthria: A single subject study of two individuals with very severe impairment of speech and motor control, Sverige 2003.
http://www.informaworld.com/smpp/1602521371-696256/content~db=all~content=a713789253
12. Plaza-Aguilar et.al., A Voice Recognition System for Speech Impaired People, Mexico 2004.
http://www.computer.org/portal/web/csdl/doi/10.1109/ICECC.2004.1269566
13. F. Hamidi et.al., CanSpeak: A Customizable Speech Interace for People with Dysarthric speech, York University, Canada 2010.
http://www.springerlink.com/content/xw6748h3j844852t/
14. M. Hawley et.al., A speech-controlled environmental control system for people with severe dysarthria, Journal Medical Engineering & Physics, Elsevier, 2007.
http://www.medengphys.com/article/S1350-4533(06)00138-X/abstract
15. Demo, Vocal Command: http://www.efaktum.dk/default.efact?pid=4284&mid=2201&hid=2215&sub=2215&main=2201
16. Dr.Ing. Torsten Feltzer, Institut für Mechatronische Systeme im Maschinenbau, Technische Universität Darmstadt.
Vedlegg 1: Personas
Navn: Knut
Alder: 16 år
Mål: Å beherske My Tobii (system med øyestyring) som skrivehjelpemiddel og kommunikasjonshjelpemiddel.
Kunnskap/ Utdanning: Knut sin funksjonshemming har gjort at det ikke har vært mulig å sikkert slå fast hans kognitive evner. Kan blir oppfattet som en nokså umoden gutt, med sammensatte lærevansker, men med normalt evne-potensiale. Knut kan lese og skrive enkeltord, og korte setninger. Han går nå på videregående skole, i en klasse for elever med multifunksjonshemming.
Egenskaper/holdning: Knut kan ikke gå, stå, snakke, eller klare seg selv med eller uten hjelpemidler, og er totalt avhengig av hjelp til alle gjøremål, også til å kommunisere. Dette er han klar over og han virker komfortabel med det. Dersom han ikke blir forstått, har han ikke stor utholdenhet i å få frem budskapet sitt.
Knut vegrer seg ofte for utfordringer som stiller krav til hans selvstendighet, selv om det blir lagt opp til oppgaver det skal være mulig for ham å mestre. Dette er et fenomen som har undret mange oppigjennom årene
Miljø/livssituasjon: Foreldrene til Knut er skilt, og han bor vekselvis hos mor (med lillesøster og stefar), far og på avlastning. I tillegg har han skole/SFO som sosial arena. Knut skal flytte i egen omsorgsbolig når han blir 18 år.
Funksjonshemming og begrensninger: Knut har alvorlig grad av Cerebral Parese, som omfatter hele kroppen. Han har redusert funksjon i både armer og ben, torso, bekken. Han har kraftige spasmer. Knut kan ikke kontrollere hverken musklene eller spasmene. Han har ingen funksjonelle viljestyrte bevegelser som kan benyttes til kommunikasjon, bortsett fra et raskt blikk opp for ”Ja” og dreie hodet til siden for ”Nei”. Han klarer å sparke seg frem på spasmer, når han står i Pony/ Meywalk eller lignende. Når han får noe i hånden, kan han delvis viljestyrt skyve denne opp mot munnen.
Knut har svært store kommunikasjonsvansker, både med og uten hjelpemidler og tolk. Knut kommuniserer hovedsaklig med blikkpeking, og kan skrive ved hjelp av en blikkpeketavle dersom han må.
Bruk av lyder: Han har noen udifferensierte lyder, og ofte er disse knyttet til emosjonell påvirkning.
Styringsmuligheter pr. i dag: Knut bruker My Tobii med øyestyring. Museklikket foregår med dwell (klikk trigges ved hover over mus).
Behov/oppgaver: Man kan i høyden tenke seg at Knut kan klare å bruke en udifferensiert lyd til for eksempel venstre museklikk.
Knut bruker PCen til (med hjelp):
- Kommunikasjon
- MSN
- Gjøre lekser/ skolearbeid
- Se på bilder
- Finne- og laste ned musikk
- Harry Potter klubb
Navn: Bjørn
Alder: 25 år
Mål: Å beherske en PC bl.a. som skrivehjelpemiddel.
Kunnskap/ Utdanning: Bjørn fullførte barneskolen før han fikk hjerneslag, og har siden det fortsatt å utvikle seg kognitivt, om enn i et noe langsommere tempo. Han får vist frem personligheten sin og at han har humor ved hjelp av lyder, mimikk, lightwriter (TTS) og gester.
Egenskaper/holdning: Bjørn er en ung mann med mye stå-på vilje. Han tåler motgang og orker å kjempe for å få frem budskapet sitt.
Miljø/livssituasjon: Bjørn bor hjemme hos foreldrene sine, men er i ferd med å flytte i egen omsorgsbolig.
Funksjonshemming og begrensninger: Bjørn fikk hjerneslag da han var bare 12 år gammel. Dette medførte redusert funksjon i armer, torso, bekken og ben, og spasmer i hendene. Bjørn ufrivillige øyebevegelser (nystagmus) og store talevansker.
Behov/oppgaver: Bjørn har behov for en mer avansert kommunikasjonsløsning enn han i dag har tilgang til.
Det har vært forsøkt øyestyring, men dette er ikke en god løsning på grunn av uttalt nystagmus.
Det har vært forsøkt forskjellige museløsninger, og det siste var at det skulle støpes en håndmus. Problemet med museløsningene har vært at Bjørn har spasmer i hendene som vanskeliggjør kontrollen.
Siste alternativ har vært scanning. Det er usikkert hvor langt de har kommet med dette arbeidet.
Bjørn ønsker å bruke PCen til:
- Kommunikasjon
- E-post
- MSN
- Gjøre lekser/ skolearbeid
- Se på bilder
- Finne- og laste ned musikk
- PowerPoint
Navn: Ola
Alder: 12 år
Kunnskap/ Utdanning: Ola går på barneskolen.
Egenskaper/holdning: Ola er utpreget sosial, kreativ og flink med sine medmennesker. Han er interessert i musikk og er Michael Jackson fan. Han vil gjerne delta i en gruppe med jevnaldrende hvor de leker seg med musikk; setter sammen musikk, komponerer på PC og så opptrer etterpå. Altså en blanding av å bruke ferdig musikk og å komponere selv.
Ola ønsker økt selvstendighet, og å få hjelp til å effektivisere og lette sin PC-bruk. Han er en nokså motivert og utholdende person, som selv ønsker å prøve ut nye interaksjonsmåter og kombinasjoner mot sin PC.
Funksjonshemming og begrensninger: Ola har cerebral parese. Han trenger fullt stell og pleie. Han har bevegelsesvansker som omfatter hele kroppen (GMFCS V). Han er spastisk, og ofte veldig stram i muskulaturen. Hodet har en tendens til å vris til den ene siden med kraftig spenning av hals/nakke muskulatur.
Ola bruker veldig mye energi i bevegelsesutførelsen og har forstyrrende medbevegelser. Han er avhengig av en godt støttet utgangsstilling/sittestilling Dette er en betingelse for å kunne lykkes med en aktivitet som krever motorisk presisjon. Ola har gode kognitive ressurser som gjør at han kan finne strategier og dermed øke mulighetene for motorisk mestring. Han er en svært selvstendig og intelligent gutt, som ønsker å være selvhjulpen så langt det er mulig. Han kan lese.
Ola har cerebral synshemning. Av øyemotoriske grunner har han lettere for å bevege blikket vertikalt enn horisontalt.
Styringsmulighet pr. i dag: Ola har ikke mulighet for å mestre vanlig tastatur, mus eller joystick-styring for elektrisk rullestol. Han har vist at han klarer en bryter inne i hånd, ved å klemme og slippe. Imidlertid er denne funksjonen ikke bra nok til en-bryterstyrt skanning.
Ola bruker elektrisk rullestol og benytter omgivelseskontroll – som kobles opp til CD-spiller, tv, vifte, lys eller andre aktuelle ting. Det er plassert en bryter/brytere under fotbrettet hans. Bruk av føtter til betjening oppfattes både av han og personene rundt som mer lovende enn bruk av hånd. Det er en del tilpasninger av sittestilling som må gjøres i forkant.
Ola utløser museklikk enten med en av fotbryterne eller med dwell (hover over mus).
Bruk av lyder: Ola har god lydering av ordene og kan snakke. Han kan uttale enkelte ordlyder ganske høyt og tydelig, men har en variabel stemme. Problemet hans er å snakke jevnt og tydelig. Han har problemer med gradering av pusten i forbindelse med snakking. Det kan ta tid før ordene kommer og første ordet kan da gjerne komme veldig høyt. Imidlertid kommer ordene mer jevnt når han visker. Taleforsterker gjør at andre forstår han bedre. Vi har lurt på muligheten av at han kunne si retningene i forbindelse med kjøring av elektrisk rullestol og så holde en hånd eller fotbryter inne for å kjøre den valgte retningen. Imidlertid er det en del tekniske spørsmål i den forbindelse: Støy må filtreres, samtidig som det må tillates stor variasjon i hvordan lydkommandoen gis.
Behov/oppgaver: Ola blir fort sliten av å bruke PCen, og en del aktiviteter er tidkrevende – for eksempel å scrolle opp/ned; navigere frem og tilbake mellom nettsider og skrive ut sider. Ola vil gjerne kunne sende tekstmeldinger, bruke internett uten hjelp og kjøre elektrisk rullestol. Ellers er det aktuelt å løse skoleoppgaver ved hjelp av PC. Han vil også gjerne bruke PC både til kreative musikkoppgaver og til å skrive ned historier han dikter.
Ola kan godt tenke seg å bruke korte lydkommandoer, og tenker seg et sted mellom 5-10 ulike kommandoer. Han ønsker lydstyring som et supplement til andre styringsmetoder.
Ola bruker PCen til:
- Internett (surfing)
- Sende tekstmeldinger
- Kjøre elektrisk rullesto
- Gjøre lekser/ skolearbeid
- Skrive historier
- Laste ned, sette sammen og lytte til musikk.
Navn: Elin
Alder: 7 år
Kunnskap/ Utdanning: Elin går på skolen, i 2. klasse.
Egenskaper/holdning: Elin vil gjerne gjøre alt selv, og avviser hjelp til betjening av PC når læreren spør, selv om hun ikke klarer det selv. Hun er interessert i å være sammen med jevnaldrende og gjøre det samme som de gjør. Hun liker musikk, dans og ulike spill.
Elin kan ikke gå, men ”danser” ved å bevege kroppen til musikken. Hun gir ikke opp i kommunikasjon og lar de rundt gjette og gjette, selv om det kan ta en time.
Funksjonshemming og begrensninger Elin har Cerebral parese. Bevegelsesvanskene omfatter hele kroppen (GMFCS V)og hun trenger fullt stell og pleie. Hun er spastisk, og ofte veldig stram i muskulaturen.
Elin bruker veldig mye energi i bevegelsesutførelsen og har forstyrrende medbevegelser. Hun er avhengig av en godt støttet utgangsstilling/sittestilling. Dette er en betingelse for å kunne lykkes med en aktivitet som krever motorisk presisjon. Hun har gode kognitive ressurser.
Styringsmulighet pr. i dag: Elin har ikke mulighet for å mestre vanlig tastatur, mus eller joystick-styring for elektrisk rullestol. På skolen brukes automatisk skanning med en håndbryter. Dette mobiliserer imidlertid store og energikrevende bevegelser som i hovedsak fører til feilaktiveringer.
I samarbeid med SIKTE ble det gjennomført utprøvinger både av hodebrytere og av blikkstyring. Utprøvingssituasjonene var meget nøye forberedt i forhold til skjermdesign/programvare og utgangsstillingen stabiliserte hele kroppen. Elin viste da at hun klarte både hodebrytere selvstendig og øyestyring med dwell-funksjon for museklikk. Hun forbauset tilskuerne ved å klare memory med 16 felt meget bra med blikkstyring. Hun klarte ikke dette når posisjoneringsstøttene ble fjernet.
Elin har likevel ikke god styringsfunksjon av data i dag. Det antas at tilretteleggingsarbeidet er for krevende for menneskene rundt henne, både når det gjelder ressurser, kompetanse og forståelse for Elins behov.
Bruk av lyder: Elin formulerer ikke gjenkjennbare ord, men har en del lyd som følelsesuttrykk. Det er lyder når hun blir ivrig og når noe er vondt. ”Æææ” er gjenkjennbart. Hun kan ikke si ”ja” og ”nei”, men av og til kan det komme svakt noe som kan tolkes som dette. For å beskrive hennes lyd-repertoar må en nøyere kartlegging til.
Det har vært diskutert om lyd kan brukes til museklikk ved øyestyring. En antatt utfordring er imidlertid at musemarkøren vil flytte seg under anstrengelsen av å si lyden.
Et annet problem vil være om maskinen også oppfatter andre lyder og dermed feilaktivere.
Behov/oppgaver: Elin vil kunne bruke datateknologien til å mestre ting på egen hånd; Til kommunikasjon/samspill, i lek, på fritiden, i skolen, til omgivelseskontroll og til mobilitet.
Elin bruker PCen til:
- Kommunikasjon
- Skolearbeid
- Omgivelseskontroll
- Spill, lek og underholdning
Verktøylinje
Tips noen om siden