Kalkulator EWD 100

Dokumentacja techniczna wskaźników jednorocznych dla gimnazjów A.Pokropek, T.Żółtak "Nowe jednoroczne modele EWD" (2012)

W roku 2012 egzamin gimnazjalny przeprowadzony został według nowych zasad. Po raz pierwszy sprawdzał on opanowanie wiadomości i umiejętności uczniów nauczanych wedle nowej, wprowadzonej w 2009 roku, podstawy programowej. Tak jak poprzednie edycje, składał się z trzech części (humanistycznej, matematyczno-przyrodniczej oraz części dotyczącej języka obcego nowożytnego) jednak struktura każdej z części uległa znacznym zmianom. W nowej formule każda część składa się z dwóch oddzielnych testów. W części humanistycznej jest to test składający się z zadań z języka polskiego oraz drugi test, składający się zadań z zakresu historii i wiedzy o społeczeństwie. Część matematyczno-przyrodnicza składa się z testu skomponowanego z zadań matematycznych oraz testu z zakresu przedmiotów przyrodniczych: biologii, chemii, fizyki i geografii. Część językowa rozbita została na dwa testy o różnych poziomach trudności: poziomie podstawowym i rozszerzonym, przy czym uczniowie mogą albo rozwiązywać zadania z poziomu podstawowego, albo z poziomu podstawowego i rozszerzonego. W związku z tymi zmianami wyniki egzaminacyjne zaczęto komunikować w sześciu zakresach (wcześniej w trzech). Zmiana egzaminu gimnazjalnego wymusiła refleksje nad miarami efektywności kształcenia opartymi na tym egzaminie. Niniejszy tekst przedstawia nowe rozwiązania, jakie zostały wprowadzone do jednorocznego modelu EWD dla szkół gimnazjalnych. Omówienie zmian poprzedzone zostało analizą psychometryczną egzaminu gimnazjalnego, której wyniki implikowały serię decyzji dotyczących modyfikacji modelu.

Edukacyjna Wartość Dodana dla szkół gimnazjalnych do roku 2012 komunikowana była dla dwóch części egzaminu gimnazjalnego: części humanistycznej oraz matematyczno-przyrodniczej. Z języka obcego zrezygnowano ze względu na dużą liczbę języków, które mogą być wybrane przez uczniów, braku pomiaru analogicznej umiejętności pod koniec szkoły podstawowej oraz wątpliwości, co do trafności tej miary w dobie powszechnie działających szkół języków obcych oraz prywatnych korepetycji. Nowa formuła egzaminu gimnazjalnego wprowadza cztery miary osiągnięć szkolnych istotnych dla EWD. Taka zmiana zrodziła dwa pytania, które musiały zostać zadane w kontekście rozwoju metody EWD:

• Czy takie cztery wyniki egzaminacyjne mogą stać się podstawą dla czterech oddzielnych miar EWD?
• Czy możliwe jest łącznie wyników testów i budowanie wskaźników EWD dla dwóch ogólnych umiejętności – humanistycznych i matematyczno-przyrodniczych?

Aby odpowiedzieć na pierwsze pytanie posłużyliśmy się analizą rzetelności testów gimnazjalnych, która była szacowana na cztery różne sposoby. Pierwszym z nich było wyznaczenie wartości wskaźnika Alfa Cronbacha, klasycznej miary pozwalającej oszacować dolną granicę rzetelności testu. Oznacza to, że rzetelność testu może być nieco wyższa od tej, na jaką wskazuje Alfa Cronbacha. Wartość tego wskaźnika wyraża się wzorem:

gdzie: liczba zadań w teście wariancja dla i-tego zadania wariancja dla wyniku sumarycznego

Alfa Cronbacha, jakkolwiek prosta do wyliczenia i szeroko stosowana, ma jednak tę wadę, że nie najlepiej nadaje się do szacowania rzetelności testów, w których poszczególne zadania mają różne długości skal. W takim przypadku będzie przejawiać tendencję do zaniżania oszacowywanych wartości rzetelności (Lord i Novick 1968). Jako alternatywną miarę rzetelności, odporną na różnice w długości skali poszczególnych zadań, posłużyliśmy się więc oszacowaniem na podstawie wyników dwuparametrycznego modelu IRT (Item Response Theory), wyestymowanego w odniesieniu do danych z egzaminu gimnazjalnego. Podobnie jak w klasycznej teorii testu (KTT), przy podejściu odwołującym się do IRT, wariancję wyniku prawdziwego można rozbić na dwa składniki:

gdzie x oznacza wzór odpowiedzi ucznia (uczniowie o tym samym wzorze odpowiedzi to tacy, którzy uzyskali dokładnie taką samą punktację za każde z zadań w teście), θ prawdziwy poziom umiejętności, a θ ̂ przewidywany poziom umiejętności. Pierwszy składnik odnosi się do niepewności oszacowania parametru umiejętności dla uczniów charakteryzujących się tym samem wzorem odpowiedzi. Wartość oczekiwana tego parametru w przestrzeni możliwych wzorów odpowiedzi to średnia niepewność szacowania umiejętności uczniów. Natomiast drugi komponent to wariancja szacowanych umiejętności uczniów o różnych wzorach odpowiedzi. Tak jak w klasycznej teorii testu, wariancja wyniku jest więc sumą wariancji wynikającej z błędu pomiaru i wariancji wyników prawdziwych. W związku z tym indeks rzetelności może zostać obliczony, jako stosunek wariancji wyników prawdziwych do całkowitej wariancji wyników pomiaru (Scheerens i in. 2003: 148):

Każdą miarę rzetelności obliczyliśmy w dwóch wariantach: (a) traktując każdy podpunkt zadania jako oddzielne zadanie (jest to sposób szacowania rzetelności przyjęty przez CKE) oraz (b) sumując wyniki uzyskane za poszczególne podpunkty w ramach zadania (jeśli występowały), tworząc jedno zadanie o dłuższej skali. W tabeli 1. Przedstawiono wartości szacowanych wskaźników. Wyniki są spójne. Alfa Cronbacha daje najniższe oszacowanie (dolna granica rzetelności), oszacowania na podstawie IRT są nieco wyższe. Szacowanie rzetelności na podpunktach traktowanych jako osobne zadania wyraźnie zwiększa wskaźnik rzetelności w przypadku Alfy Cronbacha, w stosunku do sytuacji, gdy wyniki za podpunkty są sumowane w ramach zadań, nie ma to jednak dużego znaczenia w przypadku szacowania rzetelności za pomocą IRT.

Tabela 1. Rzetelność testów gimnazjalnych

GH – część humanistyczna łącznie; GH-H – historia i WOS; GH-P – język polski; GMP – część matematyczno-przyrodnicza łącznie; GM-P – przedmioty przyrodnicze; GM-M – matematyka. (a) Podpunkty traktowane jako oddzielne zadania. (b) Sumowanie wyników za podpunkty w ramach zadań. W teście matematycznym nie było zadań, w którym wyróżniono podpunkty.

Za dopuszczalną granicę rzetelności skal w pomiarze edukacyjnym przyjęło się traktować wartość 0,9 dla skali głównej oraz 0,8 dla podskal. Jeżeli traktować poszczególne testy egzaminu gimnazjalnego jako podskale, tylko test przyrodniczy nie spełnia tego kryterium (bez względu na to, jaką metoda liczona jest rzetelność). Ponieważ wyniki edukacyjnej wartości dodanej nie są komunikowane w odniesieniu do uczniów, a w odniesieniu do większych agregatów (szkoła lub w przypadku wskaźników jednorocznych oddział lub inna grupa uczniowska), kryterium minimalnej wartości rzetelności może zostać nieco obniżone. Wartości oscylujące wokół 0,75 wydają się być wystarczająco wysokie na potrzeby szacowania EWD. Można zatem powiedzieć, że nowe testy gimnazjalne są wystarczająco rzetelne, aby mogły się stać się podstawą dla czterech oddzielnych wskaźników EWD. Rzetelność liczona dla części humanistycznej i matematyczno-przyrodniczej egzaminu gimnazjalnego oscyluje w granicach 0,9, co pozwala wierzyć, że choć każda z nich powstała w wyniku połączenia dwóch testów, tworzą one wewnętrznie spójne skale. Aby potwierdzić te przypuszczenie odwołaliśmy się do eksploracyjnej analizy czynnikowej (EFA) dla zmiennych porządkowych. Na rysunku 1. przedstawiony został wykres osypiska uzyskany za pomocą tej analizy.

Rysunek 1. Wykresy osypiska dla dwóch części egzaminu gimnazjalnego

Wykres osypiska wskazuje na wartości własne kolejnych czynników, a więc pośrednio na odsetek wariancji wyników, który może zostać opisany przy ich pomocy. Jak widać w obydwu przypadkach znaczna cześć wariancji umiejętności mierzonych obydwoma testami przypisywana jest pierwszemu czynnikowi. Kolejne czynniki charakteryzują się znacznie mniejszymi wartościami własnymi, a ich uwzględnienie nie zwiększa znacząco odsetka wyjaśnianej przez model wariancji. Wyniki te uzasadniają traktowanie sumarycznej liczby punktów w ramach każdej z części egzaminu gimnazjalnego jako wskaźników odnoszących się do ogólnych umiejętności humanistycznych lub matematyczno-przyrodniczych. Wyniki przedstawionych analiz sugerują, iż egzamin gimnazjalny może być wykorzystany w modelowaniu EWD co najmniej na dwa sposoby. Po pierwsze, egzamin może stać się bazą dla czterech wskaźników odnoszących się do szczegółowych umiejętności mierzonych osobnymi testami w każdej z części egzaminu (przedmioty przyrodnicze, matematyka, język polski, historia z WOS). Po drugie można zachować ogólne miary umiejętności, znane ze wcześniejszych edycji egzaminu: humanistyczną i matematyczno-przyrodniczą, ponieważ dwa testy z jednej części są spójne i dają się przedstawić w jednowymiarowej formie.

Jednocześnie ze zmianą liczby dostarczanych wskaźników wprowadzona została istotna zmiana w sposobie prezentacji wyników egzaminacyjnych i wartości jednorocznych miar EWD. Dotychczas były one przedstawiane na skali „surowych” punktów egzaminacyjnych. Od bieżącego roku wprowadzona zostaje, znana już z trzyletnich wskaźników EWD dla gimnazjów, prezentacja wyników egzaminacyjnych na znormalizowanej skali o średniej 100 i odchyleniu standardowym 15 (podobnie jak w przypadku wskaźników trzyletnich por. Pokropek 2009). Zmiana ta powinna ułatwić porównywanie wyników z różnych lat oraz z różnych testów, zwłaszcza że w ramach nowej formuły egzaminu gimnazjalnego poszczególne testy różnią się co do liczby punktów, jakie można w nich uzyskać . Normalizacja wyników jest też konieczna, aby umożliwić uwzględnienie w jednorocznych modelach EWD uczniów o wydłużonym toku kształcenia. W wyniku normalizacji wynik danego ucznia przedstawiany jest w odniesieniu do wyników wszystkich zdających, przy założeniu, że w populacji rozkład umiejętności badanej przez test jest normalny. Przeliczenie dokonywane jest tzw. metodą Hazena (Barnett 1974) w oparciu o wzór:

gdzie: U(X=xi) - wynik znormalizowany dla wyniku surowego równego xi; Φ-1 - funkcja odwrotna do dystrybuanty rozkładu normalnego standaryzowanego; N(X ≤ xi) - liczba zdających z wynikiem niższym niż xi; N(X = xi) - liczba zdających z wynikiem surowym równym xi; n - liczba zdających. Ponieważ liczba osób, które uzyskują na sprawdzianie najniższe wyniki jest bardzo niewielka, na potrzeby normalizacji zdecydowaliśmy się wszystkie osoby, które otrzymały z tego egzaminu nie więcej niż 3 punkty traktować tak, jakby otrzymały ten sam wynik. Zapobiega to przypisywaniu pojedynczym osobom ekstremalnie dalekich od średniej wyników znormalizowanych i wpływa pozytywnie na własności modeli jednorocznej EWD. W tabeli 2. przedstawione zostały wyniki normalizacji. W pierwszej kolumnie podano sumaryczne wyniki. W sześciu następnych odpowiadające nim wartości znormalizowane dla 6 skal egzaminu gimnazjalnego. Dwie ostatnie kolumny przedstawiają wartości znormalizowane dla sprawdzianu po szkole podstawowej dla roku 2009 i 2008 kolejno. Jako, iż poszczególne skale mają rożne długości dla wartości poza skalą przyjęto oznaczenie ndt. (nie dotyczy)

Tabela 2. Znormalizowane wyniki egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej

PKT- surowe punkty; GH – część humanistyczna łącznie; GMP – część matematyczno-przyrodnicza łącznie; ; GH-P – język polski; GM-M – matematyka; GH-H – historia i WOS, GM-P –przedmioty przyrodnicze; SP 2009 – sprawdzian po szkole podstawowej w roku 2009; SP 2008 – sprawdzian po szkole podstawowej w roku 2008; ndt. – nie dotyczy.

Wynik znormalizowany wyższy niż 100 wskazuje, że uczeń uzyskał z danego testu rezultat wyższy niż średnia wyników wszystkich zdających w kraju. Wyniki znormalizowane można też łatwo przeliczyć na skalę staninową, powszechnie stosowaną w polskim systemie egzaminów zewnętrznych. Stosowanie jedynie dziewięciostopniowej skali staninowej jest związane z utratą znacznej ilości informacji o uczniach w porównaniu z bardziej precyzyjną skalą 100/15. Jednak porównanie obu skal może być pomocne przy oswajaniu się z interpretacją wyników na nowej skali 100/15. Przypisanie wyników na skali 100;15 do przedziałów staninowych pokazuje tabela 3.

Tabela 3. Przeliczanie wyników na skali 100;15 na skalę staninową

Warto zaznaczyć, że znormalizowane wyniki dla dwóch części egzaminu gimnazjalnego (humanistycznej i matematyczno-przyrodniczej) wyliczane są na podstawie rozkładu sumy wyników surowych z odpowiednich dwóch testów, a nie z przekształcenia ich wyników znormalizowanych. W szczególności znormalizowany wynik danej części egzaminu gimnazjalnego nie jest średnią z wyników znormalizowanych dwóch tworzących daną część testów. Zależność pomiędzy znormalizowanymi wynikami testów tworzących daną część i znormalizowanym wynikiem dla tej części jako całości wynika z łącznego rozkładu wyników tych dwóch testów, jest złożona i nie daje się łatwo opisać. Normalizacja wyników egzaminu gimnazjalnego przeprowadzana jest na danych otrzymywanych przez Zespół EWD od okręgowych komisji egzaminacyjnych w wyniku zamówienia na połączone wyniki egzaminu gimnazjalnego i sprawdzianu (zawiera on również wyniki egzaminu gimnazjalnego uczniów, którym nie udało się przyłączyć wyników sprawdzianu). Normalizacja wykonywana jest z uwzględnieniem wszystkich zdających egzamin gimnazjalny po raz pierwszy, z wyjątkiem uczniów szkół dla dorosłych, specjalnych i przyszpitalnych (szkoły te identyfikowane są na podstawie prowadzonej przez Zespół EWD bazy gimnazjów). Ponieważ wyniki sprawdzianu w zbiorze połączonych wyników egzaminacyjnych nie są kompletne (ze względu na niemożliwość przyłączenia wyników sprawdzianu niektórym osobom oraz występowanie uczniów o wydłużonym toku kształcenia), normalizacja wyników sprawdzianu przeprowadzana jest na podstawie zbioru wyników tworzonego w czerwcu każdego roku w Centralnej Komisji Egzaminacyjnej na potrzeby przygotowania sprawozdania ze sprawdzianu. Przy normalizacji uwzględniane są wszystkie obserwacje z tego zbioru odnoszące się do arkuszy standardowych.

W modelach jednorocznej EWD 2012 po raz pierwszy uwzględnieni zostali uczniowie gimnazjów, których cykl kształcenia uległ wydłużeniu o rok. W odniesieniu do nich estymowana jest odrębna linia regresji określająca zależność pomiędzy wynikami sprawdzianu, a wynikami danego testu lub danej części egzaminu gimnazjalnego. Wielkość efektów opisujących wpływ płci i dysleksji estymowana jest z kolei łącznie, biorąc pod uwagę jednocześnie uczniów o normalnym i wydłużonym o rok toku kształcenia. Formalnie model jednorocznej EWD 2012 dla danego testu, lub części, egzaminu gimnazjalnego opisuje równanie:

gdzie: Yi - wynik i-tego ucznia z danego testu lub części egzaminu gimnazjalnego; Xi - wynik i-tego ucznia ze sprawdzianu; toki- tok kształcenia i-tego ucznia (0-normalny, 1-wydłużony); w(Xi, toki) - wielomian opisujący zależność pomiędzy wynikami sprawdzianu a wynikami danego testu lub części egzaminu gimnazjalnego; płeći - płeć i-tego ucznia (0-mężczyzna, 1-kobieta); dysl_gi - posiadanie przez i-tego ucznia zaświadczenia o dysleksji na egzaminie gimnazjalnym (0-nie, 1 -tak); dysl_si - posiadanie przez i-tego ucznia zaświadczenia o dysleksji na sprawdzianie (0-nie, 1 -tak); ri - reszta regresji dla i-tego ucznia. Funkcja w(Xi, toki) jest z kolei postaci:

a więc linia regresji dla uczniów o standardowym toku kształcenia opisywana jest wzorem:

a dla uczniów o toku kształcenia wydłużonym o rok wzorem:

Problemem, jaki należy rozstrzygnąć jest wybór odpowiedniego wartości parametru k, czyli stopnia wielomianu. Przyjęto tu zasadę, że jest to najmniejsza liczba naturalna, dla której model z linią regresji opisywaną wielomianem tego stopnia spełnia dwa warunki:

1. 1. Linia regresji jest monotoniczna (rosnąca) w przedziale możliwych wyników sprawdzianu, zarówno dla uczniów o standardowym, jak i wydłużonym o rok toku kształcenia.
2. 2. Wyniki testu „linktest”, w odmianie resztowej (por. Cameron i Trivedi 2010), zarówno dla uczniów o standardowym, jak i wydłużonym o rok toku kształcenia wskazują, że dalsze podnoszenie stopnia wielomianu nie przyniesie istotnej statystycznie poprawy dopasowania modelu do danych.

Kryterium drugie wymaga tu nieco szerszego omówienia. „Linktest” jest testem diagnostycznym, pozwalającym na ocenę, czy model może zostać udoskonalony poprzez włączenie do niego jako dodatkowego predyktora nieliniowego przekształcenia którejś z już wykorzystywanych zmiennych niezależnych, lub ich kombinacji liniowej. W klasycznej postaci przeprowadza się go rozpatrując istotność współczynnika bl2 regresji postaci:

gdzie:

to wartość zmiennej zależnej przewidywana dla i-tego ucznia w ramach modelu poddawanego testowi. Równanie (9) i (10) muszą być przy tym rozpatrywane oddzielnie dla uczniów o standardowym i wydłużonym toku kształcenia. Istotność statystyczna współczynnika bl2 sugeruje potrzebę wprowadzenia do modelu dodatkowej zmiennej, będącej nieliniowym przekształceniem którejś ze zmiennych już obecnych w modelu. Nieistotność wskazuje, że takie działanie nie doprowadzi do istotnej poprawy jakości dopasowania modelu do danych. Pewną komplikację w przypadku modeli EWD gimnazjów stanowi, że jedyną zmienną, co do której zakładamy możliwość wprowadzania do modelu jej przekształconej nieliniowo postaci jest wynik ucznia ze sprawdzianu. W związku z tym rozsądne wydaje się zastosowanie takiej modyfikacji „linktestu”, która pozwalałaby ocenić zasadność tego działania, nie biorąc jednocześnie pod uwagę skutków ewentualnego nieliniowego przekształcenia innych zmiennych niezależnych obecnych w modelu. Postulat ten spełnia odmiana „linktestu” postaci:

Po lewej stronie równania mamy więc wyniki testu lub części egzaminu gimnazjalnego, które skorygowano o wpływ przypisywany płci i dysleksji. Po prawej stronie znalazły się z kolei przewidywanie związane bezpośrednio z wynikami sprawdzianu, w(Xi, tok=t) oraz jego kwadrat (a poza tym stała bl0 i reszta rli, które jednak same w sobie nie są obiektem naszego zainteresowania). Wyniki testu interpretujemy tak samo jak w standardowej odmianie „linktestu”, sprawdzając istotność współczynnika bl2. Również w tym przypadku test musi zostać przeprowadzony oddzielnie dla uczniów o standardowym i wydłużonym toku kształcenia. W przypadku modeli jednorocznych dla zdających egzamin gimnazjalny w 2012 r. zastosowanie omówionych kryteriów doprowadziło do wyboru wielomianu stopnia trzeciego dla modelu opisującego część humanistyczną i wielomianów piątego stopnia w przypadku pozostałych modeli. Wyestymowane wartości współczynników modeli zostały zestawione w tabeli 4.

Tabela 4. Współczynniki jednorocznych modeli EWD gimnazjów 2012

GH – część humanistyczna łącznie; GH-H – historia i WOS; GH-P – język polski; GMP – część matematyczno-przyrodnicza łącznie; GM-P – przedmioty przyrodnicze; GM-M – matematyka.

Technicznie rzecz ujmując EWD jednoroczne dla wybranych grup (szkół lub oddziałów szkolnych) liczona jest jako średnia reszt regresji. Reszta regresji jest różnicą między wynikiem prawdziwym a wynikiem przewidywanym przez model: r_i=y_i-y ̂_i. Wartości przewidywane wraz z surowymi wynikami sprawdzianu po szkole podstawowej dla każdego z wyspecyfikowanych w tabeli 4 modeli przedstawiono w aneksie. Przy czym należy zauważyć, iż aneksy zawierają przewidywanie dla chłopców bez dysleksji. Aby uzyskać wyniki dla innych kategorii uczniów należy zastosować korekty ze względu na płeć i dysleksję w postaci parametrów modelu z tabeli 4. Wskaźniki EWD prezentowane są na standardowej skali o średniej 0, odchyleniu standardowym 15 i jednostce równej jednostce skali wyników egzaminacyjnych

Diagnostyka graficzna wyliczonych modeli wskazuje, że dobrze spełniają one założenia regresji MNK. W żadnym z modeli nie odnotowujemy związków pomiędzy wartościami przewidywanymi a średnimi wartościami reszt regresji, ani poziomem ich rozproszenia. Jedynie w przypadku rozkładów reszt odnajdujemy niewielkie odchylenia od założenia o normalności, jednak nie mają one istotnego wpływu na jakość wyliczonych modeli. Niestety należy zanotować, że wyliczone na podstawie modeli jednoroczne wskaźniki EWD gimnazjów pozostają w wyraźnym, a niepożądanym związku ze średnimi wynikami sprawdzianu uczniów szkoły. W zależności od wskaźnika wartość współczynnika korelacji liniowej osiąga tu wartość od 0,243 do 0,318. O ile w przypadku części matematyczno-przyrodniczej są to wartości porównywalne z tymi, jakie notowano w przypadku jednorocznych wskaźników EWD gimnazjów wyliczanych w latach wcześniejszych, o tyle w przypadku wskaźników humanistycznych siła tych związków kształtowała się wcześniej na nieco niższym poziomie (w granicach 0,160-0,190) (Żółtak 2011). Szczegółowe analizy dopasowania modeli przedstawiono w Aneksie. Dla każdego z modeli EWD przedstawiono trzy rysunki diagnostyczne składające się z kilku wykresów. Rysunki z numerem 1 przedstawiają dopasowanie linii regresji do danych. Na rysunkach wyrysowano linie regresji uzyskane za pomocą modeli regresji (opisywanych wcześniej) oraz średnie warunkowe znormalizowanych wyników egzaminacyjnych względem wyników sprawdzianu po szkole podstawowej, przy czym na jednym rysunku wyrysowano dwie linie i dwa zestawy kropek definiujących średnie warunkowe: dla uczniów z normalnego cyklu kształcenia oraz uczniów z wydłużonego cyklu kształcenia, czyli zdających egzamin gimnazjalny w roku 2008, oraz w roku 2009. Na rysunkach z numerem 2. przedstawiono cztery wykresy służące do diagnostyki reszt. Pierwszy z nich to klasyczny histogram. Na drugim wykresie znajdują się dwie linie: jedna charakteryzująca teoretyczny rozkład normalny, druga estymacje rozkładu za pomocą danych empirycznych uzyskaną przy pomocy estymatora jądrowego (kernel density). Trzeci wykres to wykres prawdopodobieństwo-prawdopodobieństwo dzięki niemu ocenia się wizualnie dopasowanie rozkładu teoretycznego do rozkładu empirycznego. Wartości standaryzowanych reszt porządkowane są w kolejności rosnącej. Każda wartość i-tej reszty mapowana jest na osi pionowej jako i/n (gdzie i to ranga reszty, a n to całkowita liczba reszt) tworząc w ten sposób empiryczną dystrybuantę rozkładu. Natomiast pionowa oś przedstawia wartości Φ(ri), gdzie Φ oznacza dystrybuantę standardowego rozkładu normalnego. Jeżeli wyznaczone wartości przebiegają po przekątnej wykresu oznacza to, iż rozkład empiryczny jest zgodny z teoretycznym rozkładem normalnym. Analogiczny do wykresu prawdopodobieństwo-prawdopodobieństwo jest ostatni wykres kwantyl-kwantyl, z tym że tutaj porównuje się empiryczny rozkład centylowy do teoretycznego rozkładu centylowego. Wykresy prawdopodobieństwo-prawdopodobieństwo i kwantyl-kwantyl uzupełniają się nawzajem. Pierwszy z nich jest szczególnie wrażliwy na odstępstwa od rozkładu normalnego w środku rozkładu, drugi charakteryzuje się wrażliwością dla brzegów rozkładu. Na rysunkach oznaczonych numerem 3 przedstawione są histogramy EWD i średniego wyniku egzaminu gimnazjalnego dla szkół oraz w graficzny sposób korelacje między średnim wynikiem egzaminu gimnazjalnego dla szkoły oraz średnim wynikiem sprawdzianu po szkole podstawowej uczniów uczących się w danej szkole; wynikiem EWD a średnim wynikiem sprawdzianu po szkole podstawowej uczniów uczących się w danej szkole oraz wynikiem EWD a średnim wynikiem egzaminu gimnazjalnego dla danej szkoły.

• Barnett, V. 1975. “Probability Plotting Methods and Order Statistics”. Journal of the Royal Statistical Society: Series C (Applied Statistics): 24(1), s. 95-108.
• Cameron, T. C. i P. K. Trivedi 2010, Microeconometrics using Stata, Gichigan: StataPress
• Lord F. M., Novick M. R., Birnbaum A., 1968, Statistical theories of mental test scores, Reading: Addison-Wesley.
• Pokropek A. 2009. “Metody statystyczne wykorzystywane w szacowaniu trzyletnich wskaźników egzaminacyjnych” w: Bolesław Niemierko, Maria Krystyna Szmigiel (red.) Badania międzynarodowe i wzory zagraniczne w diagnostyce edukacyjnej s. 137-153 , Kraków: PTDE.
• Scheerens J., Glas C. A. W., Thomas S. M., 2003, Educational evaluation, assessment, and monitoring: a systemic approach, Lisse: Swets and Zeitlinger.
• Żółtak T. 2011. „Znaczenie informacji o średnim wyniku uczniów na wejściu dla własności jednorocznych wskaźników EWD gimnazjów” w: Bolesław Niemierko, Maria Krystyna Szmigiel (red.) Ewaluacja w edukacji: koncepcje, metody, perspektywy, s. 505-523, Kraków: PTDE.