Fallstudie: „Größerer Checkout-Button"
Ein konkreter A/B-Test, Schritt für Schritt. Von der Idee bis zur Rollout-Entscheidung. Jeder Schritt erklärt, was du tust und warum — und verlinkt das passende Tool im Lab.
- Hypothese formulieren
- Stichprobe planen
- Test läuft — täglich beobachten
- Auswerten
- Entscheiden
- Holdback & Langzeit
Schritt 1 · Hypothese formulieren
Ein E-Commerce-Shop hat aktuell eine Checkout-Conversion-Rate von 4,2 % (Besucher, die ein Produkt in den Warenkorb gelegt haben → abgeschlossene Bestellung). Der „Jetzt kaufen"-Button ist klein und in einer dezenten Grautöne-Farbe. Das Team vermutet: ein größerer, signal- farbener Button erhöht die Aufmerksamkeit und damit die Abschlussrate.
- Wenn wir Was ändern (Größe + Farbe des Buttons),
- dann erwarten wir welchen messbaren Effekt (Checkout-CR steigt),
- weil welche Annahme über User-Verhalten gilt (visuelle Salienz reduziert Abbrüche im letzten Schritt).
Daraus formulieren wir messbar: „Wenn wir den Checkout-Button vergrößern und einfärben, steigt die Bestell-Conversion-Rate messbar (von 4,2 % auf mindestens 4,6 %), weil der Button im Sichtfeld stärker hervortritt."
Schritt 2 · Stichprobe planen
Bevor irgendein User die neue Variante sieht: wie viele Besucher brauchen wir, um den Effekt zuverlässig zu erkennen? Zu wenig → wir verpassen echte Gewinner. Zu viel → wir verbrennen Wochen Traffic für nichts.
→ Im echten Tool: Planung mit denselben Reglern, plus Mehrvarianten-Korrektur und Power-Kurve.
Schritt 3 · Test läuft — täglich beobachten (gefährlich!)
Test ist live. Jeden Tag rollen Zahlen rein. Verlockend, schon nach 3 Tagen zu sagen „B gewinnt!" — aber wir wissen aus Simulation 4 · Peeking: wer mehrmals reinschaut und beim ersten p < 0,05 stoppt, hat keine 5 % Fehlalarmrate mehr, sondern 20–30 %.
Lass uns 14 Tage Test live simulieren (jeder Tag erzeugt aus dem wahren Effekt frische Zufalls-Daten):
Schritt 4 · Auswerten am geplanten Ende
14 Tage rum, geplante Stichprobe erreicht. Jetzt sauber auswerten: Signifikanz, Effektgröße, Konfidenzintervall, plus Sanity-Check ob der Traffic-Split sauber war (SRM).
- p-Wert = Wahrscheinlichkeit, einen so großen Unterschied zufällig zu sehen, wenn es keinen echten gäbe. Klein = passt schlecht zu „kein Effekt".
- Konfidenzintervall = Bereich, in dem der wahre Effekt plausibel liegt. Wenn 0 außerhalb → echter Effekt wahrscheinlich.
- Effektgröße = wie GROSS ist der Effekt? Signifikant aber winzig (+0,1 pp) ist statistisch echt, geschäftlich irrelevant.
→ Im echten Tool: Auswertung mit allen KIs (Wilson, Fieller), SRM-Check, Welch-t für kontinuierliche Metriken, Mehrvarianten-Forest.
Schritt 5 · Rollout-Entscheidung
Signifikant + KI rechts von Null + Effekt geschäftlich relevant = Rollout. Klingt einfach, hat aber drei Stolperfallen:
- Winner's Curse: bei unterpowerten Tests sind „Gewinner" oft Zufalls-Glücksgriffe — der echte Effekt ist kleiner als gemessen. Erwarte 50–70 % Schrumpfung im Live-Betrieb. Siehe Sim 6 · Winner's Curse.
- PPV-Falle: wenn 20 % deiner Hypothesen echt sind und du 5 % Fehlalarmrate hast: nur ~80 % der signifikanten Wins sind echt. Sim 5 · PPV.
- Multiple Metriken: wenn du 10 Metriken gleichzeitig testest, sieht ohne Korrektur in ~40 % mindestens eine zufällig signifikant aus. Korrektur (Bonferroni/Šidák) anwenden! Sim 11 · FWER.
Schritt 6 · Holdback & Langzeit
Test gewonnen, ausgerollt — fertig? Nein. Profis halten 5–10 % der User dauerhaft im Original-Setup (Holdback). Erst Wochen später sieht man, ob der Lift hält, schrumpft (Novelty-Effekt) oder sich umdreht (Selection-Drift, neuer User-Mix).
→ Spielwiese: Sim 20 · Holdback / Langzeit. Dreh am Halbwertszeit-Slider — bei Novelty-Tests (UI-Änderungen, Banner) ist 50 % Schrumpfung in 4 Wochen normal.
- Eine A/B-Hypothese in drei Teile zerlegen.
- Stichprobe + Laufzeit ehrlich planen, statt zu raten.
- Peeking erkennen und vermeiden (oder sequenziell handhaben).
- p-Wert, KI und Effektgröße ZUSAMMEN lesen.
- Rollout-Entscheidungen mit Winner's-Curse-Bewusstsein treffen.
- Long-term-Tracking mit Holdback einrichten.