Önkényes és nem önkényes szignifikanciaszintek
A tetszőleges szignifikancia szinteket a kontrasztstatisztika kiszámítása előtt határozzák meg, a nem önkényes szignifikancia szintek pedig a kontrasztstatisztika által vett értéktől függenek, mindkettő az adatok által követett eloszlástól függ.
Más szóval, az önkényes szignifikancia szintek mindig azonosak lesznek a tesztstatisztika különböző értékeinél, és a nem önkényes szignifikancia szintek eltérőek lesznek a tesztstatisztika különböző értékeinél.
Nem önkényes
Amikor egy fogalomra rámutatunk, az önkényes jelleg azt jelenti, hogy az adott fogalom értékét a kutató választja ki. eleve (mielőtt) a kísérlet elvégzése anélkül, hogy bármilyen kapcsolódó információra támaszkodna.
P-érték és elefántok
Tegyük fel például, hogy tesztelni akarjuk az elefántok számát egy réten.
Mielőtt meglátnánk a rétet és a ténylegesen létező elefántokat, feltételezzük eleve az elefántok száma. Azt mondjuk, hogy 10 elefánt lehet. Tehát kimegyünk a rétre, és megszámoljuk a látott elefántok számát: 1, 2, 3, 4, 5, 6 és 7.
A nullhipotézisünk az volt, hogy a réten az elefántok száma 10, az alternatív hipotézisünk pedig az volt, hogy kevesebb, mint 10. Tehát, tekintettel az elefántokra, elvetjük a nullhipotézist. De… Mi van, ha van még 3 elefánt a réten, de el vannak rejtve a fák mögött? Elutasítanánk nullhipotézisünket, ha igaz lenne, ha az elefántok számolása helyett kiszámoltuk volna, hogy a legelőn hány elefánt tud elférni.
Elemzés
A kezdetben kiválasztott 10 elefánt teljesen önkényes volt, mert nem láttuk a rét méretét, és ezért nem tudjuk, hogy 10 elefánt sok vagy kevés.
Másrészt, ha a rét méretét figyelembe véve kiszámítjuk a maximálisan befogadható elefántok számát, tudni fogjuk, hogy mekkora a maximális érték, hogy ne utasítsuk el a nullhipotézist. Így sokkal könnyebb lesz megtalálni a valós számot.
Összehasonlítás
Ugyanez igaz a p-értékhez viszonyított 1%-os, 5%-os és 10%-os szignifikanciaszintekre is. Sok ellentétben úgy választjuk meg a szignifikancia szintet, hogy az eloszláson kívül más információt nem veszünk figyelembe. Általában 5%-ot használnak szignifikanciaszintként (alfa), így a minta 95%-a a konfidencia intervallumon belül marad.
A szignifikanciaszint önkényes hozzárendelésének problémája ugyanaz, mint az elefánt példával. Ha úgy gondoljuk, hogy helyes az 5% (szignifikancia szint) alkalmazása, akkor elvethetjük a nullhipotézist, amikor az elutasítandó minimum 2% (p-érték). Hibás eredményeket kapnánk, ha a minimális elutasítandó érték (2%) helyett 5%-ot állítanánk be.
Más szóval, arra a következtetésre jutunk, hogy 10-nél kevesebb elefánt van a réten, de a valóságban még 3 elefánt van, de ők el vannak rejtve. Így sokkal gyorsabb kiszámolni, hogy mi az a maximális vagy minimális szignifikanciaszint, amelynél nem utasítanánk el, vagy utasítanánk el a nullhipotézist.
Elutasítási szabály
Ha érték - p <szignifikancia szint => Elutasítás H0.
Ha érték - p> szignifikancia szint => H0 nincs elutasítva.
