Statistische significantie bij A/B tests
complete
J
Jasper Boa
Haha dit is wel heel kort door de bocht.
Stel je hebt bij 1 situatie 5 views en 2 conversies, en bij de andere 5 views en 1 conversie, dan converteert de ene 40% en de ander 20%. Maar de kans dat dat significant is is heel erg klein. Want of je nu 1 sale meer of minder maakt kan puur toeval zijn.
Bij andere splittest en a/b test tools heb ik bijv gezien dat ze zetten:
"Er is een kans van 80% dat A beter presteert dan B".
Dan laat je het aan de gebruiker om te bepalen of 80% zeker genoeg is of niet.
Dit lijkt me een hele verstandige optie.
Nu mist de splittest software het belangrijkste: De conclusie. En trekken mensen misschien zelf een conclusie die niet correct is.
Plug&Pay
marked this post as
complete
Het standaardsignificatieniveau binnen de sociale wetenschappen en economie is 5%.
α < 0,05 biedt een goede balans tussen het risico op het onterecht aantonen van een effect (Type I-fout) en het missen van een werkelijk effect.
Kort gezegd: bij een verschil van >5% kun je er van uitgaan dat het verschil in de A/B test statistisch significant is.