Co kryje się pod nazwą EWD?
Jakie są główne cele wprowadzania EWD?
Jak liczona jest EWD w polskim modelu?
Jakie są specyficzne cechy polskiego modelu EWD?
Co jest potrzebne do obliczenia EWD dla gimnazjum?
Czy EWD pomaga ocenić jakość pracy (szkoły) czy jakość nauczania?
Dlaczego w polskim modelu uwzględniono korektę związaną z płcią uczniów i ich ewentualną dysleksją?
Dlaczego w analizach wewnątrzszkolnych EWD warto śledzić różnice w efektywności nauczania w grupie dziewcząt i chłopców?
Co to jest i do czego służy "kalkulator EWD"?
Dlaczego dla EWD liczone są "przedziały ufności"?
Czy możliwe jest szacowanie indywidualnej wartości dodanej uczniów?
Jakie mogą być najważniejsze korzyści stosowania EWD?
Jakie są zagrożenia stosowania EWD do oceny pracy szkoły?
Jakie są korzyści i zagrożenia stosowania EWD do oceny jakości pracy nauczycieli?
Czym jest EWD trzyrocznikowe?
Dlaczego metoda EWD jest nazywana narzędziem polityki oświatowej?
Czy EWD jest lepszą miarą  efektywności nauczania w danej szkole niż średnia arytmetyczna wyniku egzaminu?
Co należy zrobić, by EWD było bardziej użyteczną metodą oceny jakości pracy szkoły?
Czy można policzyć EWD dla szkoły specjalnej?

Co kryje się pod nazwą EWD?

Edukacyjna wartość dodana definiowana jest jako przyrost wiedzy uczniów w wyniku danego procesu edukacyjnego. W sensie technicznym - EWD dla szkoły to średnia z  różnic między wynikami przewidywanymi a wynikami uzyskanymi na egzaminie zewnętrznym przez jej uczniów. Tak wyznaczana wartość dodana szkoły to przeciętna wzrostu umiejętności i wiedzy uczniów do niej uczęszczających w danym okresie.
Mówi się, że EWD to  narzędzie polityki oświatowej państwa, bo jest jedną z wielu miar oceny jakości pracy szkoły, a konkretnie miarą wpływu szkoły na wzrost wiedzy uczniów.
Metoda EWD pozwala (w znacznym stopniu) "oczyścić" surowy wynik egzaminacyjny z wpływu czynników indywidualnych i środowiskowych, na które szkoła nie ma skutecznego wpływu.

Jakie są główne cele wprowadzania EWD?

• Diagnozowanie efektów nauczania w celu poprawy jego jakości;
• Zmniejszenie roli surowych wyników egzaminów zewnętrznych jako jedynej miary jakości nauczania;
• Zachęcanie szkół do konkurencji  opartej o rzeczywisty wkład w jakość nauczania, niezależny od poziomu uczniów przyjmowanych do szkoły;
• Docenienie pracy nauczycieli pracujących w środowiskach o niekorzystnych cechach społeczno-ekonomicznych.
  
  

Jak liczona jest EWD w polskim modelu?

Algorytm tych obliczeń jest następujący:

• Na podstawie wyniku ucznia na sprawdzianie szacujemy wynik przewidywany za pomocą metody regresji na egzaminie gimnazjalnym
• Obliczamy różnicę punktów - tzw. resztę - między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym
• Obliczamy średnią reszt, czyli EWD dla szkoły
• Szacujemy przedział ufności dla EWD  

Krzywa przewidywanego wyniku jest tak konstruowana, aby średnie różnic dla uczniów o tym samym wyniku na sprawdzianie były jak najbliższe zeru. Oznacza to, że edukacyjna wartość dodana dla całej populacji jest bliska zeru, a prawdopodobieństwo uzyskania dodatniego lub ujemnego wskaźnika EWD jest takie samo dla każdej szkoły i nie zależy od wyników uczniów na wejściu. To założenie konstrukcyjne jest bardzo istotne, bo nie preferuje żadnej ze szkół, jednocześnie oznacza, że większość szkół będzie miała EWD niewiele różniącą się od zera, ale o wszystkich tych, które mają wyraźnie dodatnią EWD możemy mówić, że pracują ponadprzeciętnie. Szkoły, których EWD jest wyraźnie ujemna zapewne wymagają wsparcia, bowiem ujemna EWD oznacza, że uczniowie o podobnych wynikach na sprawdzianie w innych szkołach zdołali uzyskać wyższe wyniki.
Warto zauważyć, że szkoła z wysoką średnią z egzaminu gimnazjalnego może mieć zarówno dodatnią, jak i ujemną edukacyjną wartość dodaną, w zależności od tego jak w danej szkole został wykorzystany potencjał uczniów.

EWD można oszacować nie tylko dla szkoły, ale również dla pewnych grup uczniów w szkole, np. klas, grupy uczniów korzystających z dodatkowych zajęć, uczniów uczonych przez danego nauczyciela itp. W wielu przypadkach można w ten sposób znaleźć odpowiedź na pytanie o efektywność podejmowanych przez szkołę działań, np. organizacyjnych.

Jakie są specyficzne cechy polskiego modelu EWD?

1. Polski model EWD uwzględnia dwie dodatkowe informacje o uczniu (zmienne kontrolne): płeć i  dysleksja (na sprawdzianie, na egzaminie gimnazjalnym, na sprawdzianie i egzaminie gimnazjalnym).
2. EWD obliczana jest za pomocą liniowych modeli wielopoziomowych.
3. Uśrednianie reszt (czyli miara tendencji centralnej dla reszt) to średnia.
4. W modelu ważne jest określenie wiarygodności statystycznej przez wyznaczenie przedziału ufności dla średniej (przedziału, w którym z prawdopodobieństwem 95% znajduje się EWD).
5. Wyniki EWD podawane są w punktach danego egzaminu gimnazjalnego.

 

Co jest potrzebne do obliczenia EWD dla gimnazjum?

Konieczna jest znajomość następujących danych dla każdego ucznia:

• wynik na sprawdzianie (na podstawie zaświadczenia składanego w szkole wraz ze świadectwem ukończenia szkoły podstawowej);
• płeć;
• czy na sprawdzianie korzystał z dostosowań dla dyslektyków (na postawie wywiadu z uczniem);
• wynik na egzaminie gimnazjalnym - humanistycznym (GH)  i matematyczno-przyrodniczym (GMP);
• czy na egzaminie gimnazjalnym korzystał z dostosowań dla dyslektyków (na podstawie szkolnej dokumentacji egzaminu);
• kalkulator EWD dla danego rocznika (na stronie www.ewd2013.ibe.edu.pl,  zakładka Kalkulatory).
  
  
  

Czy EWD pomaga ocenić jakość pracy (szkoły) czy jakość nauczania?

Jakość pracy szkoły  to pojęcie szersze niż jakość kształcenia w szkole, a ta z kolei - szersza
niż jakość kształcenia w zakresie wiedzy i umiejętności sprawdzanych egzaminami (testami).
EWD pozwala ocenić jakość nauczania wiedzy i tych umiejętności, które są  sprawdzane podczas egzaminów zewnętrznych.  Liczona jest na podstawie wyników egzaminów zewnętrznych, które sprawdzają tylko przyrost wybranej wiedzy i niektórych umiejętności. EWD wprost nie przenosi informacji o realizacji innych celów szkoły niż cele kształcenia (i to ograniczone do tego, co sprawdza egzamin).

Dlaczego w polskim modelu uwzględniono korektę związaną z płcią uczniów i ich ewentualną dysleksją?

Konieczność użycia zmiennych kontrolnych (płeć, dysleksja) w szacowaniu wskaźników rozważmy na następującym przykładzie. W części humanistycznej w skali kraju lepiej wypadają dziewczęta. Gdyby nie wziąć tego pod uwagę w modelu szacowania EWD, to szkoła z większą liczbą chłopców byłaby tak samo traktowana w obliczeniach, jak szkoła z przewagą ilościową dziewcząt, a to zniekształcałoby wynik EWD. Wprowadzenie do modelu szacowania EWD zmiennej płci pozwala porównywać szkoły niezależnie od proporcji uczniów i uczennic. Z kolei dyslektycy z psychometrycznego punktu widzenia rozwiązują na egzaminie inny test. Choć treść zadań jest ta sama, to test rozwiązują w wydłużonym o 50% czasie, a wykonanie kilku zadań sprawdzane jest według dostosowanych kryteriów.
Mówiąc w skrócie, zmienne kontrolne pozwalają bardziej adekwatnie wyznaczać EWD.

Dlaczego w analizach wewnątrzszkolnych EWD warto śledzić różnice w efektywności nauczania w grupie dziewcząt i chłopców?

Model szacowania EWD jako zmienną kontrolną uwzględnia informację o płci ucznia. Sprawia to, że w skali kraju EWD dla grupy dziewcząt i chłopców EWD jest takie samo. Jednak w poszczególnych szkołach, oddziałach klasowych, czy inaczej wyodrębnionych grupach uczniów mogą występować znaczące różnice w efektywności nauczania dziewcząt i chłopców. Warto za pomocą Kalkulatora EWD sprawdzić, jak to jest w danej szkole i jeżeli znajdziemy znaczące różnice, szczególnie gdy powtarzają się one w kolejnych latach, poszukać przyczyn tego stanu rzeczy. Pamiętać trzeba, że niższej wartości EWD np. w grupie chłopców w zakresie przedmiotów humanistycznych, nie można tłumaczyć niższymi w skali kraj, wynikami egzaminacyjnymi tej grupy. Różnice dla całej populacji zostały już wytrącone poprzez obecność w modelu szacowania EWD zmiennej płci. Trzeba szukać wewnątrzszkolnych przyczyn obserwowanej różnicy. Uwzględnianie różnic międzypłciowych jest bardzo ważne w ocenie efektów nauczania, a tym samym w polityce oświatowej zarówno na poziomie krajowym jak i lokalnym, w tym szkolnym. We wszystkich międzynarodowych badaniach osiągnięć szkolnych (np. PISA, PIRLS, TIMSS) różnica w wynikach pomiędzy dziewczętami i chłopcami to jeden z ważniejszych wskaźników raportowanych w sprawozdaniach. Dla analizy procesów edukacyjnych w Polsce jest to wskaźnik szczególne ważny, ponieważ wyniki badania PISA pokazują, że niski poziom osiągnięć szkolnych chłopców, szczególnie słabszych uczniów, to niechlubna specjalność polskiej szkoły.

Co to jest i do czego służy "kalkulator EWD"?

Kalkulator EWD to arkusz kalkulacyjny pozwalający obliczyć EWD (dla szkoły, dla grupy uczniów, dla grupy szkół itp.). Kalkulatory udostępniane w kolejnych latach w Internecie (na stronie www.ewd2013.ibe.edu.pl, także na stronie CKE) służą do przeprowadzania wyliczeń i analiz jednorocznych.
Warto podkreślić, że  krzywa przewidywanego wyniku, wykorzystywana w kalkulatorach EWD, wyliczana jest na podstawie danych empirycznych i co roku jest inna. Nie można zatem wykorzystywać kalkulatorów z poprzednich lat do obliczania EWD dla aktualnych danych, nie należy też danych z poprzednich lat wprowadzać do aktualnego kalkulatora.

 

Dlaczego dla EWD liczone są "przedziały ufności"?

Przedziały ufności pozwalają uwzględnić niepewność związaną z wnioskowaniem na podstawie wyniku EWD. Niepewność ta związana jest z błędem pomiaru i próbkowania, typowym dla większości pomiarów.

 

Czy możliwe jest szacowanie indywidualnej wartości dodanej uczniów?

W przypadku polskich egzaminów szacowanie indywidualnej wartości dodanej uczniów nie jest możliwe. Co prawda w trakcie obliczania wartości dodanej dla szkoły wykorzystywane są różnice  między wynikami przewidywanymi a uzyskanymi przez poszczególnych uczniów, to jednak wykorzystanie ich dla oceny przyrostu wiedzy i umiejętności pojedynczego ucznia jest nieuprawnione ze względu na zbyt duże znaczenie błędu pomiaru.

Jakie mogą być najważniejsze korzyści stosowania EWD?

EWD pozwala na ocenę jakości nauczania przy kontroli zasobów szkoły na wejściu. EWD ma szansę wyprzeć z przestrzeni publicznej surowe wyniki egzaminów zewnętrznych jako jedyną, czy najważniejszą  miarę jakości nauczania.
Rozliczanie szkół wg EWD ma szansę złagodzić negatywne skutki konkurencji między szkołami. Nie pozwala "spijać śmietanki" w tych szkołach, do których uczęszczają uczniowie najlepsi (uzyskujący siłą rzeczy najwyższe wyniki na egzaminach). Przeciwdziała segregacji społecznej  w szkołach.
Wprowadzenie EWD może zmniejszyć poczucie ciągłej frustracji dobrych nauczycieli pracujących w trudnych środowiskach oraz odcięcie złych nauczycieli od obronnej atrybucji niepowodzeń typu "ale z kim ja muszę pracować."

Jakie są zagrożenia stosowania EWD do oceny pracy szkoły?

Można przesadzić z nadinterpretacją niewielkich różnic EWD między szkołami. Wydaje się, że EWD (przez błędy losowe i błędy pomiaru) nie nadaje się do szeregowania/rangowania  wszystkich szkół, choć z pewnością jest dobrym narzędziem do wskazania przypadków skrajnych: szkół  o najwyższej dodatniej EWD (stanowiących przykłady dobrej praktyki) oraz szkół kwalifikujących się do interwencji, pomocy, programu naprawczego (ujemne EWD).
EWD może nasilić rywalizację między nauczycielami, podczas gdy programy naprawcze wymagają współpracy całego grona nauczycielskiego.

Jakie są korzyści i zagrożenia stosowania EWD do oceny jakości pracy nauczycieli?

EWD stwarza możliwość docenienia pracy nauczycieli pracujących w środowiskach o niekorzystnych cechach społeczno-ekonomicznych.

• EWD daje szansę oceny wkładu pracy szkoły (nauczyciela) w wyniki  nauczania niezależnie od potencjału uczniów.

Zagrożeniem dla wykorzystania EWD jest nadinterpretacja, wyciąganie wniosków i podejmowanie decyzji w warunkach niepewności statystycznej.

Czym jest EWD trzyrocznikowe?

Okres 3-letni wydaje się właściwszy dla dokonania podsumowującej oceny szkoły, zwłaszcza dla szkół w których niewielu uczniów przystępuje do egzaminu w jednym roku. Możliwość policzenia trzyrocznikowegp EWD po raz pierwszy pojawiła się w 2007 roku. Idea polega na zrównaniu wyników uczniów z 3 kolejnych lat do jednego roku (np. sprawdzianu do 2004 i egzaminu gimnazjalnego do 2007), a następnie policzenia EWD dla wszystkich uczniów z tych lat. Tak policzona EWD jest miarą bardziej precyzyjną, mnie podatną na zmiany w szkole między latami.

 

Dlaczego metoda EWD jest nazywana narzędziem polityki oświatowej?

EWD można wykorzystać do oceny pracy szkoły, jak również do analiz wewnątrzszkolnych.
Właściwie zanalizowana i zinterpretowana EWD może służyć poprawie jakości nauczania w polskich szkołach poprzez udostępnienie wielu interesujących informacji o pracy nauczycieli, zespołów nauczycielskich, szkół.

Czy EWD jest lepszą miarą  efektywności nauczania w danej szkole niż średnia arytmetyczna wyniku egzaminu?

Wynik  egzaminu mierzy poziom wiedzy uczniów, a nie efektywność nauczania. Oczywiście efektywność nauczania przenosi się na poziom wiedzy uczniów, ale surowy wynik (średni wynik) informuje o tym tylko częściowo. EWD jest przetworzonym wynikiem egzaminu (z uwzględnieniem potencjału ucznia na wejściu), mierzy przyrost wiedzy (w zakresie sprawdzanym egzaminami zewnętrznymi), a więc przede wszystkim informuje o efektywności nauczania. 

Co należy zrobić, by EWD było bardziej użyteczną metodą oceny jakości pracy szkoły?

Jakość EWD zależy przede wszystkim od jakości egzaminów zewnętrznych, których wyniki wykorzystuje. Warunki użyteczności wyników egzaminacyjnych (w tym EWD) dla ewaluacji nauczania to m.in.:

• spójna koncepcja egzaminów na różnych poziomach: funkcje, struktura, trafność
• większa dydaktyczna czytelność wyników egzaminów
• większa precyzja/liczba pomiarów osiągnięć szkolnych
• dostępność wartościowych danych o czynnikach pozaszkolnych wpływających na wyniki egzaminów
• umiejętności interpretacyjne użytkowników EWD
  
  
  

Czy można policzyć EWD dla szkoły specjalnej?

Metoda obliczania EWD jest metodą statystyczną, a jej wiarygodność jest tym większa im większą liczbą wyników dysponujemy (w przypadku arkusza standardowego jest to prawie pół miliona wyników w skali kraju). Wyników uczniów piszących arkusze dostosowane jest zdecydowanie mniej (w skali kraju zadania z arkuszy A8 rozwiązywało około 9 tys. uczniów), do tego są oni rozproszeni po kilka osób w bardzo wielu szkołach (ogólnodostępnych, integracyjnych; większe "skupiska" są w nielicznych szkołach specjalnych). Zespół EWD nie zajmował się obliczaniem EWD dla szkół specjalnych. Kalkulator EWD dotyczy wyłącznie uczniów rozwiązujących arkusze standardowe.