For å kunne sammenlikne ulike nettsteder satte MediaLT opp et poengsystem. Slike systemer vil naturligvis ikke være 100% representative, men vi har forsøkt å vektlegge ulike punkter i forhold til relevans i ABM-sektoren. Vektleggingen ville vært litt annerledes hvis vi skulle teste f.eks. online spill.
Nettsidene er testet med ulike skjermforstørrere, skjermlesere og andre hjelpemidler. Det finnes svært mange produkter på det norske markedet, og en fullstendig test med alle alternativer er for omfattende i et oppdrag av denne typen. Likevel vil tilgjengelighetsproblematikken være den samme, og MediaLT mener at de testene som er gjennomført gir en god indikasjon på hvordan nettsidene fungerer.
Vårt utgangspunkt har vært å se på nettstedenes førsteside og noen tilfeldige undersider. Når det har vært nødvendig har vi lett på nettstedene, f.eks. for å finne tabeller, skjemaer, grafikk etc.
Vi har i liten utstrekning benyttet automatisert testing. Hovedgrunnen til dette er at MediaLT mener at slike tester kan gjøres av den enkelte nettside-eier. Automatisert testing er imidlertid benyttet for å sjekke om nettsteder fyller kravene til WCAG 1.0 (A og AA) og for kodevalidering (kun førstesidene).
Testing av tilgjengelighet er noe mer komplisert enn helt vanlig brukertesting og ekspertevaluering. Grunnen er at brukernes kompetanse er så ulik. En blind som ikke har lært å bruke skjermleser, og som ikke har noen erfaring med internett vil f.eks. få lite ut av nettsider selv om tilgjengeligheten er god. MediaLT har skrevet denne rapporten, og testet med tanke på at de som bruker siden har kompetanse tilsvarende Datakortet modul 7/E-borger (www.datakortet.no). Vår vurdering er at et slikt kompetansenivå må kunne forventes av aktuelle brukere, siden nettstedene i ABM-sektoren i stor grad retter seg mot almennheten (ikke helt spesifikke brukergrupper).
Kvantitativ testing vil ikke besvare alle spørsmål eller avdekke alle tilgjengelighets-problemer. Vårt mål har imidlertid vært at de aller mest sentrale tilgjengelighetspunktene vurderes. WCAG 1.0 (retningslinjer for tilgjengelighet) brukes delvis som et utgangspunkt, men disse retningslinjene er etter hvert noe foreldet. En ny versjon av WCAG er på trappene. For å kompensere for dette har vi utviklet et eget testsystem.
Noen testkriterier er viktigere enn andre. For å ta høyde for dette vektlegges punktene forskjellig vha. ulike "poeng". Full score gir 37 poeng.
WCAG 1.0 testes vha. en validator. Vi ser på om nettstedene fyller kriteriene for A (alle testkriterier på nivå 1) og AA (alle testkriterier på nivå 2). Dette er ikke en del av selve poenggivningen, men er ment å synliggjøre om nettstedene er tilgjengelige i forhold til typiske anbudskrav mv.
Numrene (f.eks. 1.1) refererer til tilsvarende punkter i WCAG 1.0 for de som ønsker detaljert forklaring.
I dette punktet har vi sjekket om ikke-tekstlige elementer (lyd/grafikk) har en alternativ tekstbeskrivelse. Her har vi forsøkt å ta høyde for at det på noen nettsteder faktisk kan være en bevisst strategi å bruke tomme alt-attributter for "pynte". Dette er i så fall OK, men i utgangspunktet bør alle ikke-tekstlige elementer ha et tekstalternativ (og dette er et krav dersom elementene brukes for lenking).
0=ingen, 1=tilfeldig, 2=stort sett OK, 3=OK
I dette punktet har vi sjekket om farger brukes som eneste "indikator" for å angi informasjon. De fleste tilfellene der vi har funnet eksempler på dette har det vært kalendere og markering av valgt dato.
0=kun fargekoding, 1=ikke aktuelt eller et alternativ
I dette punktet har vi sjekket om det er nok kontrast på nettstedet. Vi har
ikke benyttet automatisk sjekking, men svaksynte brukere. Sidene er også sjekket
med ulike fargefiltre som ofte brukes av stærkt svaksynte.
0=ingen, 1=tilfeldig, 2=stort sett OK, 3=OK
I dette punktet har vi sjekket om førstesidene validerer vha: http://validator.w3.org/.
0-1 der 0 er ikke godkjent, 1 er godkjent
I dette punktet har vi sjekket om det brukes ordentlig merking av overskrifter (<h1>, <h2> osv). Overskrifter er et av de viktigste elementene i forhold til navigering og forståelse av struktur for synshemmede.
0=ingen, 1=tilfeldig, 2=stort sett OK, 3=OK
I dette punktet har vi sjekket om førstesidene er riktig kodet i forhold til språk. Denne informasjonen kan brukes blant annet av talesyntese for å velge en stemme med riktig språk.
0 hvis ikke kodet, ellers 1
I dette punktet har vi sjekket om tabeller merkes riktig, f.eks. om rad/kolonne-overskrifter er merket med <th>.
0=ikke bruk av merking, 1=th (etc.)
I dette punktet har vi sjekket om tabeller med flere nivåer er merket riktig, f.eks. <th>, <thead>, <tfoot> <tbody>, <colgroup>...
0=ikke bruk av merking, 1=merket riktig
I dette punktet har vi sjekket om førstesiden (evt. utvalgte undersider) fortsatt er leselige/forståelige uten bruk av stilark.
0=uleselig, 1=noenlunde, 2=stort sett OK, 3=OK
I dette punktet har vi sjekket tilgjengeligheten i tilleggsprogrammer, plug-in's etc.
0=fungerer ikke OK, 1=ikke aktuelt eller det finnes et alternativ eller fungerer greit
I dette punktet har vi sjekket om objekter med egne grensesnitt kan brukes maskinvare-uavhengig. Eksempler på det vi har valgt å inkludere her er dynamiske menyer og skjemaer.
0=ubrukelig, 1=OK
I dette punktet har vi sjekket om w3c-teknologi domminerer på sidene, og dette er tilfelle for alle nettstedene (pdf er et eksempel på teknologi som ikke er w3c).
0=bruker ikke-standard teknologi, 1=ikke aktuelt eller det finnes et alternativ eller fungerer greit
I dette punktet har vi sjekket om rammenavnene beskriver "innholdet".
0-1, 0=dårlige rammetitler, 1=ikke rammer eller gode navn
I dette punktet har vi sjekket om navn på lenker (inkl. alt-attributt for grafiske lenker) er gode.
0=uforståelig, 1=dårlig, 2=stort sett OK, 3=OK
I dette punktet har vi sjekket om det brukes et forståelig språk. Nettstedene som ikke har fått 1 poeng har enten blandet dialekter/språk, hatt mange skrivefeil eller brukt et unødvendig komplisert språk.
0=feil, småfeil, uforståelig, 1=OK
I dette punktet har vi sjekket om elementrekkefølgen (koderekkefølgen) blir forståelig.
0=uforståelig, 1=dårlig, 2=stort sett OK, 3=OK
I dette punktet har vi sjekket om interne hopp brukes på en fornuftig måte (avhengig av antall lenker på siden, struktur mm).
0=ingen, 1=dårlig, 2=stort sett OK, 3=OK
I dette punktet har vi sjekket om vi får siden til å "krasje". Datatekniske hjelpemidler for funksjonshemmede, ulike nettlesere mm. kan få enkelte sider til å krasje. Forutsetningen for testingen har vært at vi benytter stabile maskiner.
0=krasj, 1=ingen krasj
I dette punktet har vi sjekket om siden tilbyr spesielle tilgjengelighetsfunksjoner. Dette kan være tilpasningsmuligheter for kontrast, innebygget tale, tekststørrelse mm.
0=ingen, 1=dårlig, 2=stort sett OK, 3=OK
I dette punktet har vi sjekket at størrelsen på valgbare ellementer ikke er for små. Her har nettsteder fått 1 poeng dersom det ikke finnes veldig små ikoner, knapper etc.
0=små objekter, 1=størrelse OK
I dette punktet har vi sjekket om nettstedet tilbyr nyhetsbrev/rss.
0=ikke nyhetsbrev/rss, 1=har nyhetsbrev/rss
Utgangspunktet for testingen var forsidene
For å gå gjennom punktene over tok vi utgangspunkt i nettstedenes forside. Fant vi ikke eksempler på det som skulle testes lette vi i undersider. Dette kunne eksempelvis være tilfelle for skjemaer, tabeller og grafikk.
Følgende personer har vært med på testingen: