Frequentist Toolkit
Wann ist ein Effekt echt — und wann Zufall?
Werkzeuge für Planung, Auswertung und Verständnis frequentistischer A/B-Tests. Jedes Tool zeigt nicht nur die Zahl, sondern die Verteilung dahinter.
Grundlagen
Streuung, Varianz, Standardfehler, Normalverteilung, p-Wert lesen — interaktiv erklärt, ohne Vorwissen.
Planung
Stichprobengröße, MDE, Laufzeit und Power — bevor Traffic verbrannt wird.
Auswertung
Signifikanz, KI, SRM, Mehrvarianten-Forest — binär & kontinuierlich.
CUPED
Vorperioden-Kovariate herausrechnen — weniger Rauschen, gleiche Power, weniger Traffic.
Sequenziell
Richtig „peeken" mit α-Spending-Grenzen — im Stil von Georgievs AGILE.
Simulation
Peeking, Winner's Curse, CLT, Frequentist vs. Bayes — interaktiv.
Fallstudie
Ein konkreter A/B-Test von Hypothese bis Rollout-Entscheidung — Schritt für Schritt durch alle Tools.
Warum dieses Toolkit?
Die meisten Online-Rechner geben dir einen p-Wert und sonst nichts. Hier geht es um die Intuition: Wie sieht die Stichprobenverteilung aus? Warum produziert „Peeking" falsche Gewinner? Warum schrumpft der Effekt nach dem Launch? Alles frequentistisch, alles im Browser — kein Server, keine Daten verlassen die Seite.