A/B-Test auswerten
Signifikanz, Effektgröße und Konfidenzintervall — mit den Verteilungskurven dahinter. Für Conversion-Rates (z-Test) und kontinuierliche Metriken (Welch t-Test).
Ergebnis
Stichprobenverteilungen
Wo liegt der wahre Wert jeder Variante vermutlich? Schmale Kurve = viel Daten = wenig Unsicherheit. Je stärker A und B überlappen, desto eher kann der Unterschied Zufall sein.
Wie überraschend ist der Unterschied? (p-Wert)
Verteilung der Differenz B − A, wenn es keinen echten Unterschied gäbe (H0). Die rote Fläche ist der p-Wert: ein Ergebnis so extrem oder extremer, rein durch Zufall.
Interpretation
SRM-Check · Sample Ratio Mismatch
Kam der Traffic wirklich im geplanten Verhältnis an? Weicht die Aufteilung zu stark ab, ist das Setup kaputt (Redirect, Bot-Filter, Tracking-Lücke) — dann ist das Ergebnis wertlos, egal wie schön der p-Wert aussieht.