In der Wissenschaft sprechen Forscher häufig von „statistisch signifikanten“ Ergebnissen. Viele – auch Wissenschaftler selbst – verstehen darunter, dass der beobachtete Effekt real ist, etwa eine echte Senkung der Sterblichkeitsrate durch ein neues Medikament und kein reiner Zufall. Tatsächlich besagt es lediglich, dass die Wahrscheinlichkeit, einen derart großen Effekt zufällig zu erzielen, weniger als 1 zu 20 beträgt.
Statistiker warnen seit Langem davor, dies mit der Wahrscheinlichkeit zu verwechseln, dass der Effekt tatsächlich zufällig ist. Eine solche Einschätzung erfordert eine fundierte Plausibilitätsprüfung, die selten vorgenommen wird. Die statistische Signifikanz ist somit – trotz ihrer weiten Verbreitung – kein verlässliches Maß für die Authentizität eines Effekts.