多出的事件，需要一个新信号来解释吗

多出一些事件还不够。要看加入信号以后，模型能否比所有允许的背景解释明显更好地描述数据。比较时，背景和探测器中不确定的参数要在辅助测量允许的范围内变化。随后还要反复生成模拟实验，检验这套判断在背景稍有失配时是否可靠。

给每个箱写下概率模型

对没有事件权重的直方图，先假设第 $i$ 箱的计数 $n_i$ 服从泊松分布。均值写成 $\nu_i=\mu s_i+b_i(\theta)$：$s_i$ 是固定信号模板，$\mu$ 是无量纲信号强度，$\theta$ 包含一组干扰参数。干扰参数描述校准、背景斜率等不确定因素；它们会影响预言，但不是我们最想测的量。

辅助测量提供概率因子 $C(\theta)$。若用高斯约束，应当说明它怎样代表这项测量。这个因子规定了参数能动多少，不是给背景随意变形的许可。

把数据固定，让未知参数在这个概率表达式里变化，就得到似然。取对数能把连乘变为相加，数值优化也更方便。在允许参数范围里，似然最高的位置就是最佳拟合。

每试一个信号强度，都重新找最佳背景

固定一个候选信号强度，再找最合适的干扰参数。剖面似然比把这个条件最佳值，与所有参数自由拟合的最佳值比较。双帽符号表示固定信号强度时的拟合，单帽表示整体最佳拟合。

若背景斜率能模仿一部分信号，条件拟合就会利用这份自由度，剖面会变宽。若把不确定的斜率固定住，可能得到很窄的结果，却漏掉了一种数据本来允许的解释。

检验非负信号的发现统计量 $q_0$ 时，若无约束最佳信号为负，就把统计量设为零。在适当的大样本与正则条件下，局部显著性近似为 $\sqrt{q_0}$。计数极少、约束很弱或参数边界特殊时，需要另外校准这个近似。

用计数例子亲自检查

背景均值已知为 40，观测到 50 个事件，最佳非负信号数就是十。把零信号的泊松似然除以最佳拟合的泊松似然，再取负二倍对数，得到

渐近局部显著性约为 1.52。若要精确求背景假设下的上尾概率，就从 50 起把所有泊松概率相加。这个精确概率与渐近换算是两种不同计算，低计数时未必一致。它们都不是“信号假设为真的概率”。

若搜索者看遍许多质量以后才挑出最突出的峰，全局误报概率会大于该质量处的局部值。相邻质量之间有相关性，通常也不能简单乘上箱数。校准时应重复整套搜索，包括挑峰的步骤。

覆盖率问的是反复实验后的区间

把真实参数固定住，反复做实验、每次按同一方法给出区间。如果这些区间有九成五包含真值，该方法在这个真值处就有九成五的覆盖率。变化的是数据与区间，真值在这组检验中不变。

每轮都生成计数和辅助测量，再拟合、构造区间，最后数有多少次包含输入真值。若 1000 次独立实验有 950 次包含，估计覆盖率为 0.95，二项抽样标准误差约 0.0069。小规模研究应同时报告这份有限次数误差。

再有意改变背景形状或探测器响应，重复同样流程。若此时覆盖率下降，就发现了方法对被省略效应的敏感性。收集更多数据以后，统计误差可能越缩越小，却围着一个偏掉的答案；被省略的效应需要明确的模型或误差处理。

先看看模型会不会造出假信号

在信号、背景与系统误差 Lab 中，先拟合名义背景样本，再选一个背景形状改变的预设。固定信号模板，比较最佳强度、剖面宽度和残差形状。问清楚哪些背景变化由辅助信息允许，哪些变化根本不在拟合模型里。默认合成样本种子为 330057，共有 1155 个事件，最佳强度约 0.896，名义九成五剖面区间约为 0.596 到 1.22。该背景模型下的局部渐近显著性约 6.46；这是教学样本的结果，不是实测发现。

迁移任务可以这样做：设计一段跨箱平滑变化的留出背景。先用固定背景拟合，再允许一个有依据的形状干扰参数。记录假信号怎样变、灵敏度又损失多少。模型增加自由度，只能处理它实际包含的那些变化。

练习与解释性答案

练习一：背景均值为 40，却只看到 35 个事件。针对非负额外信号，单边发现统计量是多少？

答案：为零。向下起伏不能支持添加正信号。数据仍能通过区间或排除程序限制信号模型。

练习二：100 次伪实验中，区间有 90 次包含输入真值。覆盖率估计有多精确？

答案：估计值为 0.90，二项标准误差约为 0.03。若检验声称的 0.95 覆盖率，应按该零假设计算二项分布：出现不超过 90 次包含的概率约为 0.0282。在百分之五单边检验下，这已提供覆盖不足的证据；覆盖率估计本身仍有相当的不确定度。

练习三：做频率学覆盖率检验时，辅助测量为什么也应随机变化？

答案：它也是这套程序用到的随机数据。若固定辅助测量，得到的是条件检验；这种检验可以有用，但回答的是另一种覆盖率问题，需要标明。