Wiarygodność Wyników

Jak testowany jest LokalScore

Wynik oceny adresu jest weryfikowany na 5 niezależnych poziomach – od sprawdzania pojedynczych formuł, przez testy całego systemu, po porównanie danych z niezależnymi źródłami. Poniżej znajdziesz szczegóły w dwóch wersjach: prostym językiem oraz w wersji technicznej.

Dlaczego można ufać wynikowi?

LokalScore to program, który po podaniu adresu wylicza ocenę od 0 do 100 – jak dobre jest to miejsce do życia (pod kątem komunikacji, sklepów, przedszkoli, zieleni, hałasu, jakości powietrza). „Przetestowanie" oznacza odpowiedź na jedno pytanie: czy tej ocenie można ufać? Nie wystarczy, że program „coś policzy" – trzeba udowodnić, że liczy prawidłowo. Wynik jest weryfikowany na 5 sposobów, jeden po drugim, jak piętrowy budynek: każdy kolejny poziom sprawdza coś innego i mocniejszego.

1

Sprawdzian z tabliczki mnożenia

Wyobraź sobie, że ktoś napisał program, który liczy średnią ocen z kilku przedmiotów. Zanim można uwierzyć w wynik, program dostaje konkretne przykłady, które da się policzyć w głowie lub na kartce, i sprawdza się, czy poda dokładnie to samo. Dokładnie tak samo jest dla każdego „kawałka” oceny – np. jeśli przy przystanku w odległości 200 m wynik ma wynieść X, podaje się taki przypadek i sprawdza, czy program zwraca X. W sumie przygotowano 24 takie drobne sprawdziany – i wszystkie się zgadzają. To dowód, że matematyka w programie jest poprawna.

2

Egzamin z całego zadania

Pierwszy poziom sprawdzał pojedyncze elementy, ale ocena składa się z wielu elementów naraz (komunikacja, sklepy, przedszkola, hałas, powietrze...). Mogłoby się okazać, że każdy element osobno działa, a po złożeniu całości wynik jest błędny. Dlatego przygotowano 3 „sztuczne” miejsca o dokładnie określonej charakterystyce: duże miasto (mnóstwo autobusów, tramwaj, metro, sklepy, przedszkola, parki, kino – ocena wysoka, około 78), średnie miasto (autobusy, sklep, szkoła, ale bez metra i tramwaju – ocena średnia, około 47) oraz wieś (prawie nic w pobliżu – ocena niska, około 19). Wartości oczekiwane policzono ręcznie, na kartce, a nie „wzięto z programu”. Program podał dokładnie te same liczby. To dowód, że całość działa poprawnie, a nie tylko pojedyncze elementy.

3

Sprawdzenie na prawdziwych adresach

Dotąd testowano na sztucznych przykładach, ale przecież program ma oceniać prawdziwe adresy w Polsce. Bierze się więc 5 realnych lokalizacji: centrum Warszawy i Stare Miasto w Krakowie (oceny wysokie – duże miasta z rozbudowaną komunikacją), Rynek we Wrocławiu (wysoka ocena), centrum Radomia (ocena średnia – duże, ale mniejsze miasto) oraz wieś na Mazowszu (niska ocena – mało infrastruktury). Program jest uruchamiany dla tych punktów i sprawdza się, czy wyniki „mają sens” – czy centrum dużego miasta faktycznie wypada lepiej niż wieś. Wszystkie 5 punktów zachowuje się zgodnie z oczekiwaniem. To dowód, że na prawdziwych danych program nie robi nic dziwnego.

4

Porównanie z niezależnym źródłem

Najlepszy sposób, by sprawdzić, czy ktoś Cię nie oszukuje, to zapytać drugą, niezależną osobę. Dokładnie tak jest z danymi: program twierdzi, że w promieniu 1 km od punktu X jest 90 przystanków autobusowych – sprawdzono to w OpenStreetMap (darmowej mapie świata, którą edytują miliony ludzi), która pokazuje 92 (małe różnice są normalne, bo mapa zmienia się codziennie). Tak samo porównano tramwaje, supermarkety, parki, place zabaw i przedszkola – w pięciu miastach. Sprawdzono też, czy deklarowany hałas i jakość powietrza mieszczą się w sensownych granicach (np. realistyczne 75 dB, a nie „12 000 dB” – bo taki wynik oznaczałby błąd). Wszystkie 5 punktów przeszło bez wyraźnych niezgodności. To dowód, że dane, na których program pracuje, zgadzają się z rzeczywistością.

5

Zdjęcie wyniku, żeby wykryć przypadkowe zmiany

Wyobraź sobie, że masz zdjęcie swojego mieszkania sprzed remontu. Po remoncie porównujesz zdjęcia – od razu widzisz, co się zmieniło. Dokładnie tak działa ostatni poziom: robi się „zdjęcie” (tzw. snapshot) poprawnego wyniku dla jednego standardowego scenariusza i zapisuje je w projekcie. Od teraz, za każdym razem, gdy ktoś zmieni cokolwiek w programie, automatyczny test porównuje nowy wynik z tym zdjęciem. Jeśli wynik się zmienił – test się „wywala” i zwraca uwagę: „coś się zmieniło, sprawdź czy to zamierzone!”. Dzięki temu żadna przypadkowa poprawka nie zepsuje wyników po cichu.

Dlaczego to buduje zaufanie?

Każdy z tych poziomów sprawdza co innego, więc razem dają mocny dowód, że ocena adresu jest wiarygodna. Żaden pojedynczy test nie dałby takiej pewności – dopiero te 5 różnych sposobów naraz.

Wróć na stronę główną