读懂 DINGO 论文里的 P–P 图、散度和采样效率

阅读前最好先看课程里的秩检验和重要性权重两章。下面的数字，凡是没有注明来自本站玩具模型的，都出自所引的论文。

读了什么，各是什么性质的文献

**表 6.1** 文献、版本和阅读范围。
文献	性质	本文读到哪里
Dax 等，arXiv 2106.12594 第 2 版	已发表快报，2021	正文，图 2 和图 4
Dax 等，arXiv 2210.05686 第 2 版	已发表快报，2023	正文，表 I 和表 II
Talts 等，arXiv 1804.06788 第 2 版	预印本，arXiv 上没有列出期刊版本	第 1 到 6 节
Cannon、Ward 与 Schmon，arXiv 2209.01845 第 1 版	预印本，arXiv 上没有列出期刊版本	摘要、引言、第 2.1 节、结论
Cranmer、Brehmer 与 Louppe，arXiv 1911.01429 第 3 版	已发表综述	摘要和引言

按 arXiv 记录，第一篇发表在《物理评论快报》第 127 卷 241103，第二篇在第 130 卷 171403。Dax 等，2021 Dax 等，2023 Cranmer 等人的综述交代了大背景：模拟推断处理的是能造出数据、却很难甚至没法写出似然的模拟器。Cranmer、Brehmer 与 Louppe，2020 DINGO 在这一领域里有点特殊，因为引力波的似然是算得出来的。2023 年的检验正是建立在这一点上。

第一篇快报的图 2：P–P 图

检验用了 1000 个模拟信号，噪声是平稳高斯噪声，抽法和训练数据一样。对每个参数，作者算出真值在一维后验里所处的百分位，再画这些百分位的累积分布。后验校准时百分位是均匀分布，每条曲线都该贴着对角线。各参数的 Kolmogorov–Smirnov 检验 p 值合并成一个，等于 $0.46$ 。

这就是 Talts 等人的秩检验，只是画成累积曲线而不是直方图。记第 $j$ 次模拟里真值的百分位为 $u_j$ ，图上画的是

\hat F(x)=\frac{1}{N}\sum_{j=1}^{N}\mathbf 1\{u_j\le x\},\qquad N=1000,

校准要求 $\hat F(x)\approx x$ 。Talts 等，2018，第 4.1 节看这张图，要注意三点。

它只检验边缘分布。两个参数之间的相关性错了，每条曲线照样贴着对角线。本站的玩具模型就踩过这个坑：抽样程序有错，一维秩检验却以 $0.462$ 和 $0.781$ 的尾部概率通过了。
它是对整个先验求平均。后验在一片区域偏宽、在另一片偏窄，曲线仍可能落在对角线上。
它用的噪声就是训练时的噪声。快报自己说得很清楚：真实数据里的噪声既不严格平稳，也不是高斯的，因此落在训练分布之外。

第一篇快报的图 4：真实事件上的散度

主要结果是让 DINGO 和 LALInference 的 MCMC 抽样器分析第一份星表里符合网络先验的八个双黑洞事件，两个黑洞的质量都在 $10$ 到 $80$ 倍太阳质量之间。DINGO 用 30 轮时间对齐迭代抽 50,000 个样本，约需 20 秒。训练用了 $5\times10^{6}$ 个波形，在一块 A100 GPU 上跑了约 10 天。

图 4 给出两种抽样器一维后验之间的 Jensen–Shannon 散度，取值范围从 $0$ 到 $\ln 2\approx0.69$ 奈特。对所有事件和参数平均是 $0.0009$ 奈特；LALInference 只换随机种子再跑一次，两次之间是 $0.0007$ 奈特。按此前一项研究，最大值不超过 $0.002$ 奈特就算分不出来。两个事件所有参数都满足，其余事件有一到三个参数超出。作为对照，快报指出，换一种噪声谱估计或换一个波形模型，散度会变化约 $0.02$ 奈特。

两种抽样器用的是同一个波形模型、同一套噪声假设。图 4 说明网络在真实数据上复现了这个模型的后验。模型合不合数据，不在这张图回答的范围里；而换波形模型带来的 $0.02$ 奈特，是网络误差的二十倍。

第二篇快报：用重要性权重逐个事件核对

第二篇快报把网络输出 $q(\theta\mid d)$ 当作提议分布，给 $n$ 个样本中的每一个配一个权重：

w_i=\frac{p(d\mid\theta_i)\,p(\theta_i)}{q(\theta_i\mid d)},\qquad n_{\mathrm{eff}}=\frac{\bigl(\sum_i w_i\bigr)^2}{\sum_i w_i^2},\qquad \epsilon=\frac{n_{\mathrm{eff}}}{n}.

网络完美时权重全相等， $\epsilon=1$ 。作者论证说，网络训练用的损失是正向 Kullback–Leibler 散度，它让提议分布盖住整个后验：宽出来的尾巴会被降权，而不是漏掉一块却没人发现。

**表 6.2** 2023 年快报里印出的采样效率。
情形	波形模型	效率
GW150914	IMRPhenomXPHM	28.8%
GW151012	IMRPhenomXPHM	12.5%
42 个事件的中位数	IMRPhenomXPHM	10.9%
42 个事件的中位数	SEOBNRv4PHM	4.4%
37 个事件的中位数，质量先验更窄	IMRPhenomPv2	36.8%
无信号、只有一个 blip 毛刺的数据	这段正文没有交代	约 0.001%
对抗样本	这段正文没有交代	约 0.01%

表 I 针对这两个事件，把 Dingo-IS 和 LALInference、Bilby 作比较，给出以 $10^{-3}$ 奈特为单位的散度和证据估计。表 II 按效率给 42 个事件上色，并说明效率中等和偏高时结果可信。颜色的分界写在补充材料里，那部分未读。

效率偏低的事件各有交代：啁啾质量靠近先验下限；数据里有毛刺；进动很强，两种波形模型可能都描述不好；还有一个事件可能只是噪声涨落。在完全没有信号、只有毛刺的数据上，效率跌到大约十万个样本里只剩一个有用。作者的结论是，效率偏低可能有多种原因，但常常可以当作识别训练分布外数据的实用经验法则。

效率看不见什么

权重用的是假定的似然。效率低，说明在这条记录上网络和假定模型的精确后验对不上；效率高，说明两者对得上，至于模型对不对，它什么也没说。

本站的玩具模型（不是 DINGO）里，一个强度 $0.6$ 的隐藏第二模式能说明这道缝有多宽。效率中位数仍是 $0.983$ ，残差检验只标出 $6.3\%$ 的记录；可在名义 90% 的水平上，网络和精确后验都只在 $0.743$ 的记录里罩住了源。这是合成振铃上的模型结果，它提示该去找哪类失败，但没有在真实数据里量出任何失败。

Cannon 等人拿故意写错的模拟器去考神经模拟推断方法，发现模型写错会严重损害结果，他们试过的补救办法没有一种能在所有情况下防止失败。Cannon、Ward 与 Schmon，2022 这篇论文是预印本，这个一般性问题也仍未解决。

**表 6.3** 各项结论出自哪类文献，本站有没有复算过。
结论	性质	本站是否核对
DINGO 在 1000 次模拟上的 P–P 曲线贴着对角线	已发表结果	否，读自图 2
与 LALInference 的平均散度是 $0.0009$ 奈特	已发表结果	否，读自图 4
效率偏低能标出毛刺和对抗输入	已发表结果	否，读自正文
一维秩检验看不出错误的相关性	玩具模型结果	是，见教程的失败记录
被拟合吸收的失配让效率保持在高位	玩具模型结果	是，见 Lab 预设和验证文件
模型写错时神经方法可能严重失败	预印本结果	否，只读了摘要和结论
检验模拟器是否写错的通用办法	开放问题	否

玩具模型上的这些对照检验，可以照着方法教程重跑。

读下一篇论文时可以问的问题

校准用的模拟从哪个分布里抽？是不是就是训练分布？
覆盖率只按单个参数检验，还是也检验了联合分布、分了参数空间的区域？
参照后验是不是在同一个模型下算的？如果是，这个比较检验的是网络，不是模型。
报告了效率或别的逐事件诊断量吗？分界线是不是在看事件之前就定好的？
故意试过哪些失败情形，比如毛刺、偏移的噪声、错误的波形族？
哪些部分没有读？主文依赖的阈值，常常写在补充材料里。

想拿真实探测器数据试这些问题，可以从引力波开放科学中心的公开教程入手。这些教程一步步带着做常见的数据分析任务，大多用 Python。引力波开放科学中心教程

Lab 任务

打开神经后验 Lab。

选“记录里的毛刺”，把重要性采样效率和残差检验 p 值放在一起读。Dingo-IS 那样的检查会用哪一个？在这里哪一个把记录标得更清楚？
选“藏着的第二模式”，先记下效率，再记下覆盖率。这对应表 6.3 的哪一行？

思考题

图 2 合并后的 p 值是 $0.46$ ，为什么它说明不了真实事件上的后验？
某个事件用 $n=10^{5}$ 个提议样本， $\epsilon=0.1\%$ ，还剩多少有效样本？
图 4 是在同一个波形模型下比较 DINGO 和 LALInference。要检验波形模型本身，该怎么比？

答案

那 1000 次注入用的是模拟的平稳高斯噪声，抽法和训练数据相同。得分好，说明网络学会了训练分布；真实噪声在这个分布之外，快报自己也这么说。
$n_{\mathrm{eff}}=\epsilon n=10^{-3}\times10^{5}=100$ 。粗略估计也许还够用，但后验靠的是少数几个权重很大的样本，应当换一种抽样器再算一遍。
用另一个波形模型分析同样的事件，比较后验或证据。2023 年快报就拿 IMRPhenomXPHM 和 SEOBNRv4PHM 做了这件事。两个模型彼此一致时，哪一个完整描述了信号，仍是没有回答的问题。