Nie wahaj się proponować zmian. Możesz komentować, uzupełniać, redagować każdy fragment dokumentu.
Podstawa testowania zgodności TIK z EN 301 549
Wersja robocza 1.0 (scalona)
1. Cel i zakres
1.1 Status dokumentu
Niniejszy dokument stanowi referencyjną „Podstawę testowania zgodności TIK z EN 301 549”.
Dokument ma charakter metodyczny i operacyjny. Nie zastępuje norm technicznych ani przepisów prawa. Określa jednolite zasady organizacji, przeprowadzania i dokumentowania ocen zgodności technologii informacyjno‑komunikacyjnych (TIK) z wymaganiami EN 301 549 oraz – w zakresie, w jakim norma się do nich odwołuje – z WCAG 2.x.
1.2 Cel dokumentu
Celem dokumentu jest:
- Zapewnienie jednolitej, powtarzalnej i dowodowej metodyki testowania zgodności.
- Umożliwienie porównywalności wyników ocen realizowanych przez różne podmioty.
- Uporządkowanie relacji między monitoringiem, przeglądami okresowymi, audytami pełnymi i procesami certyfikacyjnymi.
- Zapewnienie interoperacyjności danych o wynikach testów (w tym zgodności z modelem EARL).
- Wzmocnienie systemowego podejścia do utrzymania dostępności w czasie.
1.3 Zakres przedmiotowy
Metodyka obejmuje ocenę zgodności następujących kategorii produktów i usług TIK:
- Strony internetowe i aplikacje webowe.
- Aplikacje mobilne.
- Dokumenty elektroniczne (w szczególności PDF, dokumenty pakietów biurowych, e-publikacje).
- Oprogramowanie (desktop, klient–serwer, kioski, systemy dedykowane).
- Usługi wsparcia i dokumentację użytkownika, jeżeli objęte są zakresem oceny zgodności.
Metodyka ma charakter modułowy (rozdział 8) i może być stosowana proporcjonalnie do rodzaju oraz złożoności produktu.
1.4 Słownik pojęć operacyjnych
Poniższe definicje mają charakter operacyjny na potrzeby stosowania niniejszej Podstawy.
Ocena zgodności
Zorganizowany proces weryfikacji spełnienia wymagań EN 301 549 w określonym zakresie i środowisku, realizowany na poziomie głębokości A/B/C.
Poziom głębokości (A/B/C)
Klasyfikacja zakresu i kompletności oceny:
- Poziom A (ocena rdzeniowa) – minimalny zestaw testów dotyczących fundamentów percepcji, operowalności i podstawowej programowej dostępności.
- Poziom B (ocena reprezentatywna) – pełne pokrycie reprezentatywnej próbki obejmującej wszystkie obszary funkcjonalne produktu.
- Poziom C (ocena pełna) – pełne pokrycie wszystkich wymagań normy oraz wszystkich procesów i ról użytkownika.
Profil testowania (Profil 0–4)
Tryb zastosowania oceny (scenariusz organizacyjny lub regulacyjny), określający cel i minimalny wymagany poziom głębokości.
Procedura testowa
Zdefiniowany, powtarzalny opis sposobu weryfikacji konkretnego wymagania normatywnego, zawierający kroki testowe, kryteria oceny i wymagane dowody.
Test (wykonanie testu)
Praktyczne wykonanie procedury testowej w odniesieniu do wskazanego zakresu (np. widoku, komponentu, procesu) w określonym środowisku.
Monitoring
Stały zestaw działań służących wykrywaniu regresji dostępności i generowaniu sygnałów do interwencji procesowej w UMPTZ (np. skanowanie, analiza zmian, analiza zgłoszeń użytkowników, obserwacja trendów).
Ocena okresowa (w tym ocena roczna)
Sformalizowane podsumowanie stanu zgodności w określonym czasie, realizowane na podstawie danych z monitoringu i rejestru, uzupełnione brakującymi testami do wymaganego poziomu (dla oceny rocznej – Poziom B).
Audyt pełny
Ocena zgodności realizowana na Poziomie C, obejmująca pełne pokrycie wymagań normy oraz procesów i ról użytkownika, z rozbudowaną dokumentacją dowodową.
Niezgodność
Stwierdzenie niespełnienia wymagania normatywnego w zakresie objętym testem (wynik FAIL), udokumentowane dowodami.
Rejestr niezgodności
Centralny, ciągły zbiór informacji o niezgodnościach, ich statusach, wadze, planach naprawczych i weryfikacji, stanowiący rdzeń danych systemu UMPTZ.
Regresja dostępności
Pogorszenie stanu zgodności wynikające ze zmiany produktu (kodu, konfiguracji, treści, komponentów lub procesu), powodujące powstanie nowych niezgodności lub ponowne pojawienie się niezgodności wcześniej usuniętych.
Dowód
Materiał umożliwiający niezależną weryfikację wyniku testu (np. opis kroku, zrzut ekranu, nagranie, log AT, identyfikacja wersji).
Technologia asystująca (AT)
Oprogramowanie lub funkcja systemowa wspierająca użytkownika w dostępie do treści i interfejsu (np. czytnik ekranu, powiększenie systemowe).
Reprezentatywność próbki
Właściwość próbki, polegająca na objęciu wszystkich obszarów funkcjonalnych i typów widoków/komponentów istotnych dla korzystania z produktu, w celu uzyskania wiarygodnej oceny Poziomu B.
1.5 Konwencje redakcyjne
- Terminy Poziom A/B/C odnoszą się wyłącznie do głębokości oceny.
- Terminy Profil 0–4 odnoszą się wyłącznie do trybu zastosowania.
- Określenie test oznacza wykonanie procedury testowej w danym zakresie; określenie procedura testowa oznacza opis metody.
- Określenie ocena roczna oznacza ocenę okresową wymaganą do aktualizacji deklaracji, realizowaną co najmniej na Poziomie B.
- Określenie audyt pełny oznacza ocenę na Poziomie C.
2. Zasady nadrzędne i model dowodowy
2.1 Zasady nadrzędne testowania
Proces testowania zgodności opiera się na następujących zasadach:
- Prymat wymagania normatywnego – test weryfikuje spełnienie wymagania normy, a nie zastosowanie określonej techniki implementacyjnej.
- Dowodowość – każdy wynik testu musi być poparty możliwymi do zweryfikowania dowodami.
- Powtarzalność – test powinien być możliwy do odtworzenia przez innego testera w porównywalnym środowisku.
- Komplementarność metod – testy manualne są obowiązkowe; testy z wykorzystaniem technologii asystujących (AT) stosuje się tam, gdzie wymaganie dotyczy interakcji programowej; narzędzia automatyczne mają charakter wspomagający.
- Proporcjonalność – zakres i głębokość testów powinny być dostosowane do celu oceny (rozdział 5) oraz poziomu głębokości A/B/C (rozdział 3).
2.2 Model klasyfikacji wyników (EARL)
Wyniki testów klasyfikowane są zgodnie z modelem EARL (Evaluation and Report Language) opracowanym przez W3C.
Dopuszczalne wartości wyniku:
- PASS (earl:passed) – wymaganie zostało spełnione w zakresie objętym testem.
- FAIL (earl:failed) – wymaganie nie zostało spełnione w zakresie objętym testem.
- N/A (earl:inapplicable) – wymaganie nie ma zastosowania do badanego elementu, funkcjonalności lub produktu (wymagane uzasadnienie).
- CANNOT TELL (earl:cannotTell) – brak możliwości jednoznacznego rozstrzygnięcia na podstawie przeprowadzonych czynności testowych (wymagane uzasadnienie).
Każdy wynik musi być powiązany z:
- identyfikatorem testu,
- odniesieniem do odpowiedniego punktu EN 301 549 (oraz WCAG, jeżeli dotyczy),
- jednoznacznym określeniem zakresu (widok, komponent, proces),
- zestawem dowodów.
2.3 Klasyfikacja wagi niezgodności
Klasyfikacja wagi niezgodności (krytyczna, poważna, umiarkowana, niska) stanowi warstwę analityczną odrębną od oceny PASS/FAIL.
Waga niezgodności określa wpływ problemu na wykonalność zadania przez użytkownika i powinna być uzasadniona opisem scenariusza oraz grup użytkowników dotkniętych barierą.
3. Uniwersalny Model Procesu Testowania Zgodności (UMPTZ)
3.1 Założenie modelu
UMPTZ opiera się na założeniu, że dostępność jest cechą dynamiczną produktu cyfrowego, wymagającą stałego monitorowania i reakcji na zmiany.
Monitoring stanowi oś systemu zgodności, a oceny okresowe są elementem wtórnym i raportowym.
Model ma charakter pętli:
Monitoring – Analiza sygnału – Test (A/B/C) – Rejestr – Naprawa – Retest – powrót do monitoringu
3.2 Monitoring jako warstwa stała
Monitoring obejmuje w szczególności:
- cykliczne skanowanie automatyczne,
- analizę zmian produktowych i wdrożeń,
- analizę zgłoszeń użytkowników,
- obserwację trendów i powtarzalnych źródeł błędów.
Monitoring pełni funkcję detekcyjną, prewencyjną i diagnostyczną.
3.3 Poziomy głębokości oceny
Poziom A – Ocena rdzeniowa
Obejmuje weryfikację fundamentów operowalności, percepcji i podstawowej programowej dostępności. Stosowana w profilach Przegląd wstępny i Fundamenty zgodności.
Poziom B – Ocena reprezentatywna
Obejmuje pełne pokrycie reprezentatywnej próbki wszystkich obszarów funkcjonalnych produktu. Stanowi minimalny poziom wymagany dla oceny rocznej.
Poziom C – Ocena pełna
Obejmuje pełne pokrycie wszystkich wymagań normy oraz wszystkich procesów i ról użytkownika. Stosowana w audytach pełnych i procesach certyfikacyjnych.
3.4 Ocena roczna w modelu UMPTZ
Ocena roczna:
- wykorzystuje dane zgromadzone w procesie monitoringu,
- uzupełnia ewentualne braki do poziomu B,
- formalizuje aktualny stan zgodności w deklaracji dostępności.
Ocena roczna nie zastępuje monitoringu i nie stanowi jedynego mechanizmu utrzymania zgodności.
4. Rejestr niezgodności jako rdzeń systemu danych
4.1 Rola rejestru
Rejestr niezgodności stanowi centralne źródło informacji o stanie zgodności produktu.
Rejestr jest dokumentem ciągłym, aktualizowanym w wyniku działań monitoringu oraz ocen A/B/C.
4.2 Minimalna struktura rejestru
Rejestr powinien zawierać co najmniej:
- identyfikator niezgodności,
- odniesienie do EN 301 549 (oraz WCAG, jeżeli dotyczy),
- lokalizację problemu (widok, komponent, proces),
- opis wpływu na użytkownika,
- kategorię wagi,
- datę wykrycia,
- plan działań naprawczych,
- status realizacji,
- datę weryfikacji naprawy.
4.3 Relacja rejestru do deklaracji dostępności
Deklaracja dostępności powinna odwoływać się do aktualnego stanu rejestru, wskazując zakres przeprowadzonej oceny oraz najistotniejsze niezgodności.
Rejestr stanowi podstawę planowania działań naprawczych, raportowania postępów oraz analiz trendów.
5. Profile testowania jako scenariusze zastosowania
5.1 Charakter profili
Profile testowania określają tryb zastosowania oceny zgodności w określonym kontekście organizacyjnym lub regulacyjnym.
Profile nie definiują samodzielnie głębokości testu. Głębokość testu określana jest przez poziomy A/B/C opisane w rozdziale 3.
Każdy profil musi jednoznacznie wskazywać:
- cel oceny,
- minimalny wymagany poziom głębokości (A/B/C),
- zakres próbki,
- możliwość wykorzystania wyniku do celów deklaracyjnych lub certyfikacyjnych.
5.2 Profil 0 – Przegląd wstępny
Cel
Wstępna identyfikacja barier krytycznych przed publikacją produktu, wdrożeniem nowej wersji lub podjęciem decyzji o dalszej ocenie.
Minimalna głębokość
Poziom A (ograniczony zakres).
Charakterystyka
- Ograniczona próbka.
- Koncentracja na barierach uniemożliwiających wykonanie podstawowych zadań.
- Brak pełnego pokrycia wymagań normy.
Status regulacyjny
Nie stanowi podstawy deklaracji dostępności ani certyfikacji.
5.3 Profil 1 – Fundamenty zgodności
Cel
Ocena strukturalnej zdolności produktu do osiągnięcia zgodności.
Minimalna głębokość
Poziom A.
Charakterystyka
- Weryfikacja kluczowych kryteriów rdzeniowych.
- Test głównego scenariusza zadaniowego.
- Test obsługi klawiaturą.
- Test z wykorzystaniem technologii asystujących w zakresie podstawowej interakcji.
Status regulacyjny
Nie stanowi podstawy deklaracji dostępności. Stanowi podstawę decyzji o gotowości do oceny reprezentatywnej (Poziom B).
5.4 Profil 2 – Przegląd cząstkowy
Cel
Ocena wybranego modułu, komponentu, procesu lub obszaru funkcjonalnego.
Minimalna głębokość
Poziom A lub B w obrębie badanego zakresu.
Charakterystyka
- Pełne pokrycie wymagań w obrębie zdefiniowanego zakresu.
- Uwzględnienie wszystkich stanów (błąd, sukces, komunikaty).
- Możliwość agregacji wyników w czasie.
Status regulacyjny
Może stanowić element oceny rocznej po agregacji do poziomu B obejmującego wszystkie obszary funkcjonalne.