---
title: "读懂 DINGO 论文里的 P–P 图、散度和采样效率"
description: "按图表顺序读 2021 年 DINGO 快报和 2023 年重要性采样快报，看每项检验证明了什么，域外数据怎样被标出。"
canonical_url: "https://sandboxphysics.com/zh/stories/simulation-based-inference/reading-dingo-calibration-evidence/"
language: "zh-CN"
page_type: "story"
alternate_languages:
  en: "https://sandboxphysics.com/stories/simulation-based-inference/reading-dingo-calibration-evidence/"
last_modified: "2026-11-12"
---

[从模拟里学到的后验能不能信](https://sandboxphysics.com/zh/stories/simulation-based-inference/)

# 读懂 DINGO 论文里的 P–P 图、散度和采样效率

Sandbox Physics · 2026-11-12

说 DINGO 网络给出的引力波后验可信，主要靠两篇快报。2021 年那篇用图 2 证明它在模拟信号上是校准的，用图 4 证明它在八个真实事件上和标准抽样器给出几乎相同的后验。2023 年那篇加上重要性权重，用采样效率逐个事件检验网络的答案，并标出网络没训练过的数据。这些检验都不回答一个问题：假定的波形和噪声模型，到底描述不描述数据。本文读的是两篇快报 arXiv 第 2 版的正文，没有读补充材料，文中的结果也一个都没有在这里复现。

阅读前最好先看课程里的 [秩检验](https://sandboxphysics.com/zh/stories/simulation-based-inference/rank-tests-for-posterior-calibration/) 和 [重要性权重](https://sandboxphysics.com/zh/stories/simulation-based-inference/model-mismatch-and-importance-weights/) 两章。下面的数字，凡是没有注明来自本站玩具模型的，都出自所引的论文。

## 读了什么，各是什么性质的文献

**表 6.1** 文献、版本和阅读范围。

| 文献 | 性质 | 本文读到哪里 |
| --- | --- | --- |
| Dax 等，arXiv 2106.12594 第 2 版 | 已发表快报，2021 | 正文，图 2 和图 4 |
| Dax 等，arXiv 2210.05686 第 2 版 | 已发表快报，2023 | 正文，表 I 和表 II |
| Talts 等，arXiv 1804.06788 第 2 版 | 预印本，arXiv 上没有列出期刊版本 | 第 1 到 6 节 |
| Cannon、Ward 与 Schmon，arXiv 2209.01845 第 1 版 | 预印本，arXiv 上没有列出期刊版本 | 摘要、引言、第 2.1 节、结论 |
| Cranmer、Brehmer 与 Louppe，arXiv 1911.01429 第 3 版 | 已发表综述 | 摘要和引言 |

按 arXiv 记录，第一篇发表在《物理评论快报》第 127 卷 241103，第二篇在第 130 卷 171403。[Dax 等，2021](https://arxiv.org/abs/2106.12594v2) [Dax 等，2023](https://arxiv.org/abs/2210.05686v2) Cranmer 等人的综述交代了大背景：模拟推断处理的是能造出数据、却很难甚至没法写出似然的模拟器。[Cranmer、Brehmer 与 Louppe，2020](https://arxiv.org/abs/1911.01429v3) DINGO 在这一领域里有点特殊，因为引力波的似然是算得出来的。2023 年的检验正是建立在这一点上。

## 第一篇快报的图 2：P–P 图

检验用了 1000 个模拟信号，噪声是平稳高斯噪声，抽法和训练数据一样。对每个参数，作者算出真值在一维后验里所处的百分位，再画这些百分位的累积分布。后验校准时百分位是均匀分布，每条曲线都该贴着对角线。各参数的 Kolmogorov–Smirnov 检验 p 值合并成一个，等于 $0.46$。

这就是 Talts 等人的秩检验，只是画成累积曲线而不是直方图。记第 $j$ 次模拟里真值的百分位为 $u_j$，图上画的是

$$
\hat F(x)=\frac{1}{N}\sum_{j=1}^{N}\mathbf 1\{u_j\le x\},\qquad N=1000,
$$

校准要求 $\hat F(x)\approx x$。[Talts 等，2018，第 4.1 节](https://arxiv.org/abs/1804.06788v2) 看这张图，要注意三点。

1. 它只检验边缘分布。两个参数之间的相关性错了，每条曲线照样贴着对角线。本站的玩具模型就踩过这个坑：抽样程序有错，一维秩检验却以 $0.462$ 和 $0.781$ 的尾部概率通过了。
2. 它是对整个先验求平均。后验在一片区域偏宽、在另一片偏窄，曲线仍可能落在对角线上。
3. 它用的噪声就是训练时的噪声。快报自己说得很清楚：真实数据里的噪声既不严格平稳，也不是高斯的，因此落在训练分布之外。

## 第一篇快报的图 4：真实事件上的散度

主要结果是让 DINGO 和 LALInference 的 MCMC 抽样器分析第一份星表里符合网络先验的八个双黑洞事件，两个黑洞的质量都在 $10$ 到 $80$ 倍太阳质量之间。DINGO 用 30 轮时间对齐迭代抽 50,000 个样本，约需 20 秒。训练用了 $5\times10^{6}$ 个波形，在一块 A100 GPU 上跑了约 10 天。

图 4 给出两种抽样器一维后验之间的 Jensen–Shannon 散度，取值范围从 $0$ 到 $\ln 2\approx0.69$ 奈特。对所有事件和参数平均是 $0.0009$ 奈特；LALInference 只换随机种子再跑一次，两次之间是 $0.0007$ 奈特。按此前一项研究，最大值不超过 $0.002$ 奈特就算分不出来。两个事件所有参数都满足，其余事件有一到三个参数超出。作为对照，快报指出，换一种噪声谱估计或换一个波形模型，散度会变化约 $0.02$ 奈特。

两种抽样器用的是同一个波形模型、同一套噪声假设。图 4 说明网络在真实数据上复现了这个模型的后验。模型合不合数据，不在这张图回答的范围里；而换波形模型带来的 $0.02$ 奈特，是网络误差的二十倍。

## 第二篇快报：用重要性权重逐个事件核对

第二篇快报把网络输出 $q(\theta\mid d)$ 当作提议分布，给 $n$ 个样本中的每一个配一个权重：

$$
w_i=\frac{p(d\mid\theta_i)\,p(\theta_i)}{q(\theta_i\mid d)},\qquad
n_{\mathrm{eff}}=\frac{\bigl(\sum_i w_i\bigr)^2}{\sum_i w_i^2},\qquad
\epsilon=\frac{n_{\mathrm{eff}}}{n}.
$$

网络完美时权重全相等，$\epsilon=1$。作者论证说，网络训练用的损失是正向 Kullback–Leibler 散度，它让提议分布盖住整个后验：宽出来的尾巴会被降权，而不是漏掉一块却没人发现。

**表 6.2** 2023 年快报里印出的采样效率。

| 情形 | 波形模型 | 效率 |
| --- | --- | --- |
| GW150914 | IMRPhenomXPHM | 28.8% |
| GW151012 | IMRPhenomXPHM | 12.5% |
| 42 个事件的中位数 | IMRPhenomXPHM | 10.9% |
| 42 个事件的中位数 | SEOBNRv4PHM | 4.4% |
| 37 个事件的中位数，质量先验更窄 | IMRPhenomPv2 | 36.8% |
| 无信号、只有一个 blip 毛刺的数据 | 这段正文没有交代 | 约 0.001% |
| 对抗样本 | 这段正文没有交代 | 约 0.01% |

表 I 针对这两个事件，把 Dingo-IS 和 LALInference、Bilby 作比较，给出以 $10^{-3}$ 奈特为单位的散度和证据估计。表 II 按效率给 42 个事件上色，并说明效率中等和偏高时结果可信。颜色的分界写在补充材料里，那部分未读。

效率偏低的事件各有交代：啁啾质量靠近先验下限；数据里有毛刺；进动很强，两种波形模型可能都描述不好；还有一个事件可能只是噪声涨落。在完全没有信号、只有毛刺的数据上，效率跌到大约十万个样本里只剩一个有用。作者的结论是，效率偏低可能有多种原因，但常常可以当作识别训练分布外数据的实用经验法则。

## 效率看不见什么

权重用的是假定的似然。效率低，说明在这条记录上网络和假定模型的精确后验对不上；效率高，说明两者对得上，至于模型对不对，它什么也没说。

本站的玩具模型（不是 DINGO）里，一个强度 $0.6$ 的隐藏第二模式能说明这道缝有多宽。效率中位数仍是 $0.983$，残差检验只标出 $6.3\%$ 的记录；可在名义 90% 的水平上，网络和精确后验都只在 $0.743$ 的记录里罩住了源。这是合成振铃上的模型结果，它提示该去找哪类失败，但没有在真实数据里量出任何失败。

Cannon 等人拿故意写错的模拟器去考神经模拟推断方法，发现模型写错会严重损害结果，他们试过的补救办法没有一种能在所有情况下防止失败。[Cannon、Ward 与 Schmon，2022](https://arxiv.org/abs/2209.01845v1) 这篇论文是预印本，这个一般性问题也仍未解决。

**表 6.3** 各项结论出自哪类文献，本站有没有复算过。

| 结论 | 性质 | 本站是否核对 |
| --- | --- | --- |
| DINGO 在 1000 次模拟上的 P–P 曲线贴着对角线 | 已发表结果 | 否，读自图 2 |
| 与 LALInference 的平均散度是 $0.0009$ 奈特 | 已发表结果 | 否，读自图 4 |
| 效率偏低能标出毛刺和对抗输入 | 已发表结果 | 否，读自正文 |
| 一维秩检验看不出错误的相关性 | 玩具模型结果 | 是，见教程的失败记录 |
| 被拟合吸收的失配让效率保持在高位 | 玩具模型结果 | 是，见 Lab 预设和验证文件 |
| 模型写错时神经方法可能严重失败 | 预印本结果 | 否，只读了摘要和结论 |
| 检验模拟器是否写错的通用办法 | 开放问题 | 否 |

玩具模型上的这些对照检验，可以照着 [方法教程](https://sandboxphysics.com/zh/stories/simulation-based-inference/recompute-the-ringdown-calibration/) 重跑。

## 读下一篇论文时可以问的问题

- 校准用的模拟从哪个分布里抽？是不是就是训练分布？
- 覆盖率只按单个参数检验，还是也检验了联合分布、分了参数空间的区域？
- 参照后验是不是在同一个模型下算的？如果是，这个比较检验的是网络，不是模型。
- 报告了效率或别的逐事件诊断量吗？分界线是不是在看事件之前就定好的？
- 故意试过哪些失败情形，比如毛刺、偏移的噪声、错误的波形族？
- 哪些部分没有读？主文依赖的阈值，常常写在补充材料里。

想拿真实探测器数据试这些问题，可以从引力波开放科学中心的公开教程入手。这些教程一步步带着做常见的数据分析任务，大多用 Python。[引力波开放科学中心教程](https://gwosc.org/tutorials/)

## Lab 任务

打开 [神经后验 Lab](https://sandboxphysics.com/zh/labs/neural-posterior-calibration/)。

1. 选“记录里的毛刺”，把重要性采样效率和残差检验 p 值放在一起读。Dingo-IS 那样的检查会用哪一个？在这里哪一个把记录标得更清楚？
2. 选“藏着的第二模式”，先记下效率，再记下覆盖率。这对应表 6.3 的哪一行？

## 思考题

1. 图 2 合并后的 p 值是 $0.46$，为什么它说明不了真实事件上的后验？
2. 某个事件用 $n=10^{5}$ 个提议样本，$\epsilon=0.1\%$，还剩多少有效样本？
3. 图 4 是在同一个波形模型下比较 DINGO 和 LALInference。要检验波形模型本身，该怎么比？

答案

1. 那 1000 次注入用的是模拟的平稳高斯噪声，抽法和训练数据相同。得分好，说明网络学会了训练分布；真实噪声在这个分布之外，快报自己也这么说。
2. $n_{\mathrm{eff}}=\epsilon n=10^{-3}\times10^{5}=100$。粗略估计也许还够用，但后验靠的是少数几个权重很大的样本，应当换一种抽样器再算一遍。
3. 用另一个波形模型分析同样的事件，比较后验或证据。2023 年快报就拿 IMRPhenomXPHM 和 SEOBNRv4PHM 做了这件事。两个模型彼此一致时，哪一个完整描述了信号，仍是没有回答的问题。

## 来源

1. [Dax 等，2021](https://arxiv.org/abs/2106.12594v2)
2. [Dax 等，2023](https://arxiv.org/abs/2210.05686v2)
3. [Cranmer、Brehmer 与 Louppe，2020](https://arxiv.org/abs/1911.01429v3)
4. [Talts 等，2018，第 4.1 节](https://arxiv.org/abs/1804.06788v2)
5. [Cannon、Ward 与 Schmon，2022](https://arxiv.org/abs/2209.01845v1)
6. [引力波开放科学中心教程](https://gwosc.org/tutorials/)

## 继续阅读

从模拟里学到的后验能不能信 · 阅读路径

### 从后验到校准，再到模型失配

1. [文章 **神经网络给出的漂亮后验，怎样证明可以相信**](https://sandboxphysics.com/zh/stories/simulation-based-inference/trusting-a-neural-posterior/)
2. [文章 **后验分布与 90% 可信区域到底保证什么**](https://sandboxphysics.com/zh/stories/simulation-based-inference/posterior-and-credible-regions/)
3. [文章 **用秩统计和覆盖率检查后验是否校准**](https://sandboxphysics.com/zh/stories/simulation-based-inference/rank-tests-for-posterior-calibration/)
4. [文章 **用重要性权重和残差检验找出错误的模拟器**](https://sandboxphysics.com/zh/stories/simulation-based-inference/model-mismatch-and-importance-weights/)
5. [文章 **动手复算振铃后验的校准检验**](https://sandboxphysics.com/zh/stories/simulation-based-inference/recompute-the-ringdown-calibration/)
6. [当前页面 **读懂 DINGO 论文里的 P–P 图、散度和采样效率**](https://sandboxphysics.com/zh/stories/simulation-based-inference/reading-dingo-calibration-evidence/)