现代频率派统计怎么做：用假数据模拟理解研究中可能发生了什么

在著名的（致本博客读者）：一个统计错误的实例——有研究者报告称，容貌出众的父母生女孩的概率高出36%。Freakonomics网站的编辑们对此深信不疑，但我却心存疑虑。

我略知相关文献，其中指出，在不同亚群体中（如白人与黑人、年轻母亲与年长母亲等），女婴出生比例一直相当稳定，约为48.5%至49%。

该研究将“非常有吸引力”的父母所生子女的性别比与其他所有父母进行比较，结果显示两者相差8个百分点——并非期刊文章误报的“36%”，也非Freakonomics照搬的数字，但这一差异仍约为任何合理效应的100倍。

以下是数据，看起来颇具说服力：

这些数据来自一项针对3000人的调查。正如您所见，“最具吸引力”这一类别中的比例确实最高；而且，该比较的p值小于0.05，因此结果得以发表。

然而，鉴于该领域的大量文献，这一结果在科学上难以成立——此类显著效应通常仅见于小样本研究。此外，其统计显著性完全可归因于多重检验偏差：研究者选择了将第5类与第1至第4类进行比较，而非将第4和第5类与第1至第3类比较，或直接进行回归分析。

所得斜率估计并不具有统计显著性；无论如何，考虑到实际可能的效应大小范围，该估计过于不稳定，难以作为依据。这就是袋鼠问题所要说明的问题。

不过，暂且搁置上述讨论。让我们暂时忘却所有的专业知识与统计学经验。

我的问题是：一位不具备相关专业知识的研究者，是否能够发现这项研究存在的问题？

我认为答案是肯定的。方法就是使用虚假数据进行模拟——也可称为模拟数据实验，或者自助法。两者的区别在于，传统上，自助法主要用于对区间进行偏差校正或不确定性估计，而此处我们则用它来培养对统计数据收集过程的直观理解。

我们希望通过模拟假设性的重复实验，来了解“美貌与性别比”研究的统计特性。在本例中，数据来源于美国青少年至成人健康纵向研究第三波次中至少育有一名亲生子女的2792名参与者。

整个样本包含4877名受访者，其中2%被评定为“非常不吸引人”，5%为“不吸引人”，45%为“一般”，37%为“有吸引力”，11%为“非常吸引人”。

我们在零假设模型下模拟重复实验。假设女婴出生概率为0.488，且与父母吸引力无关，我们据此模拟2792次生育，并按前述五类吸引力分布生成结果。

以下是20组模拟数据，为便于观察，每组均附有拟合的最小二乘直线：

我们可以看到，这些模拟数据呈现出与先前观测数据同样显著的模式，这表明原始数据并不能被视为否定零假设的证据。

关键在于：这类模拟实验的妙处在于，即使事前未预见到任何问题，也能揭示出设计上的缺陷。若该论文的原作者在数据分析前后，通过计算机对调查数据进行1000次模拟，就能为我们省去诸多麻烦。

整个过程无需数学推导，也无需专业知识。

对他而言已为时过晚，但您仍可在下一个建模与分析项目中采用这种方法，以避免类似的尴尬局面。

从某种意义上说，这正是频率主义的体现。在我看来，“频率主义”并非关乎无偏估计量或长期覆盖率之类，而是将所见数据视为数据可能实现的一个样本。

通过考察这一分布，既可以预测未来数据及推断的波动，也可以更好地解读当前数据。

为何人们不经常这样做呢？

我认为原因之一是，他们对统计理论的理解较为肤浅，以为只要把统计显著性等同于真理，便能在95%的情况下不出错。他们不去核查，是因为认为无需核查，或者更准确地说，他们以为专家已经替他们完成了核查。

他们对待统计分析的态度，就像我每次进电梯时不会检查电缆一样：我以为电梯安全的基本问题早已得到解决。

另一个原因是，模拟需要投入精力。模拟实验要求建立一个完整的生成模型——即定义“真相”并根据指定随机过程生成数据的规则——随后对模拟数据进行分析，整个过程需嵌套在一个循环中，并最终将推断结果与“真相”进行比较。

与常规实验相比，这一过程增加了额外的工作量：一是需要一套自动化的数据分析流程，二是必须构建一个生成模型。我们发现，构建生成模型并自动化数据分析流程本身，也有助于深入思考实验的设计与实施。

事实上，这一过程与预先注册的步骤颇为相似。

本例及相关讨论载于我们的贝叶斯工作流程手册第10.5节“模拟数据实验作为虚拟重复”。但我此前从未将其单独作为文章或博文发表过，而其传达的信息如此清晰，故特在此与诸位分享。

当人们（包括我自己！）犯下错误时，不仅要弄清错在哪里、如何出错，还应退一步审视是否存在某种更为通用的方法，能够在早期就发现问题。

而在这里，我们完全可以做到这一点。