A/B-Test auswerten
Signifikanz, Effektgröße und Konfidenzintervall — mit den Verteilungskurven dahinter. Für Conversion-Rates (z-Test) und kontinuierliche Metriken (Welch t-Test).
Ergebnis
Stichprobenverteilungen
Wo liegt der wahre Wert jeder Variante vermutlich? Schmale Kurve = viel Daten = wenig Unsicherheit. Je stärker A und B überlappen, desto eher kann der Unterschied Zufall sein.
Wie überraschend ist der Unterschied? (p-Wert)
Verteilung der Differenz B − A, wenn es keinen echten Unterschied gäbe (H0). Die rote Fläche ist der p-Wert: ein Ergebnis so extrem oder extremer, rein durch Zufall.
Interpretation
SRM-Check · Sample Ratio Mismatch
Kam der Traffic wirklich im geplanten Verhältnis an? Weicht die Aufteilung zu stark ab, ist das Setup kaputt (Redirect, Bot-Filter, Tracking-Lücke) — dann ist das Ergebnis wertlos, egal wie schön der p-Wert aussieht.
Mehrvarianten-Vergleich (A/B/C/…)
Mehrere Varianten gegen dieselbe Kontrolle. Jeder zusätzliche Vergleich erhöht die Fehlalarm-Chance — deshalb wird α korrigiert. Der Forest-Plot zeigt alle relativen Uplifts mit Konfidenzintervall; grün = nach Korrektur signifikant, KI rechts von 0.
Guardrail-Metriken
Primary-Metrik allein reicht nicht — Guardrails überwachen Nebenwirkungen (z. B. Bounce-Rate, AOV, Page-Load). Bonferroni-Korrektur über alle Metriken: wenn der Primary-p < α_korrigiert UND keine Guardrail signifikant verletzt → Rollout. Sonst stoppen.