使用间断时间序列分析估计卫生政策干预措施的效果:一项模拟研究

背景

用于评估卫生政策干预措施影响的经典方法是中断时间序列(ITS)分析，采用一种准实验设计，既使用政策前数据，又使用政策后数据，没有随机化。在本文中，我们采用了一种基于模拟的方法来估计不同假设下的干预效果。

方法

每个模拟的死亡率都包含线性时间趋势、季节性、自回归和移动平均项。对政策效应的模拟涉及3种情景:1)仅发生直接水平变化、2)直接水平和坡度变化、3)滞后水平和坡度变化。通过三个匹配的广义可加混合模型来检验这些效应的估计效应和偏差，每个模型使用两种不同的方法:1)基于估计系数(估计方法)，以及2)基于模型(预测方法)。假设模型存在错误描述，进一步研究了两种方法的稳健性。

结果

当用匹配的模型分析一个模拟数据集时，两种分析方法产生了相似的估计。然而，当模型被错误地指定时，使用预测vs。估计方法，是非常不同的，与预测产生更接近实际效果的估计方法。当政策在时间序列的早期应用时，差异更大。

结论

即使样本量看起来足够大，在进行ITS分析时仍应谨慎，因为功率也取决于干预发生的时间。此外，在研究设计阶段(即模型开发阶段)，需要充分考虑干预滞后效应。

考虑到监管和公共政策干预的影响通常不能通过传统的随机对照试验设计来评估，精心挑选、设计和分析的自然实验是检验此类法规对各种结果的影响的首选方法[1，2，3.］．这种评估的经典方法是中断时间序列(ITS)分析，它被认为是一种准实验设计，既使用政策前数据，也使用政策后数据，而没有随机和控制序列[4］．ITS特别适合于在明确规定的时间段内对人口水平进行干预[4，5]，并已用于评估各种公共卫生干预措施的结果，如发病率和死亡率(例如[6])。

ITS需要考虑数据点的顺序和这些点在时间上的潜在相关性。例如，许多研究报告了世界不同地区各种原因造成的发病率和死亡率的季节性变化。以死亡率为例，据观察，北半球许多高收入国家的全因死亡率在冬季月份最高，在夏季月份最低[7］．因此，在评估干预效果时，有必要采用一种考虑季节性、趋势和其他混杂因素影响的统计方法。

在估计政策干预是否产生了超越长期趋势和机会的影响之后[3.]，以具体单位(如预防病例/死亡人数)对效应量进行量化，往往引起各利益攸关方以及广大公众的极大兴趣。由于这些信息对于未来旨在最大限度地促进公共卫生和减轻危害的决策至关重要，因此潜在的估计方法需要尽可能可靠。当使用模型来估计策略的效果时，考虑模型准确反映现实的程度也是很重要的。模型可用作政策效果的指标;然而，总是存在这样一种风险，即所模拟的效应不能准确描述对利益结果的真实影响。因此，为了准确地量化一个实际效果，研究模型错误描述的可能性可能是重要的。

到目前为止，我们在谈论干预及其影响时有些抽象。因此，让我们考虑以酒精控制干预措施为例，例如增加消费税，使人们负担不起酒精或禁止销售(关于此类政策的分类，见[8)以及它们对死亡率的影响。政策干预可以对死亡率产生立竿见影的效果，也可以产生滞后效应，或者两者兼而有之，具体取决于政策的类型和相关死亡的原因。此类政策可立即产生影响的结果的一个例子是交通伤害造成的死亡[9］．然而，征税对肝硬化死亡率以及其他慢性病的死亡率既可产生直接影响，也可产生滞后影响(见[10)。至于禁止酒类营销，预计大多数影响将涉及一段时间。，via young people receiving less exposure to alcohol advertisements, and thus the effect may take years to be fully realized. Therefore, for any public health intervention, assumptions about lag periods need to be made.

在ITS分析中，描述政策影响的效应主要有两类:一是水平变化，对应的是关注时间点和干预前预测趋势的差异;其次，有一个斜率变化，这是时间趋势在某一点上的变化[5］．为了深入了解统计方法在不同影响下的表现，我们采用了一种基于模拟的方法来估计模拟政策干预对ITS研究的原始尺度(如死亡率)的潜在影响，以及其在以下情况下的不确定性:1)仅影响即时水平的变化，2)即时水平和坡度变化，或3)滞后水平和坡度变化。使用两种不同的方法方法对干预效果估计及其准确性进行了检查，这里称为“估计”和“预测”方法(描述见下文)。假设ITS模型存在错误描述，进一步研究了这两种方法的稳健性。

为了建立模拟的基础，我们通过之前对2000年1月至2019年12月立陶宛月度年龄标准化和性别特异性全因死亡率(每10万成年人死亡)的时间序列分析，研究了效应量的范围和变异性[11，12］．模拟中采用的模型参数以每月男性死亡率为因变量进行估计。模拟数据的季节性假设遵循由三次样条函数表示的模式，从拟合的广义加性混合模型(GAMM)提取，使用每月男性死亡率。如上所述，模拟数据包括三种不同的场景:

• 情景1:政策干预后，死亡率立即下降或水平变化;

• 情景2:干预后，除直接水平变化外，死亡率的斜率，即死亡率的时间趋势也发生了变化;而且

• 情景3:我们假设政策的全部影响需要2年时间才能观察到。在这种情况下，根据后来的定义，干预后的2年里，水平变化缓慢，在两年的滞后期后观察到斜率变化。

模拟数据

我们将效应量定义为预期水平变化与单位趋势变化(如月度变化)之和。使用了三种效应量:每10万人中有5、10和15例死亡，代表了干预前后每月死亡率的小、中和大降低。除了效果大小的差异外，研究期间的干预措施的实施年限也不同。具体而言，干预措施分别在研究期间的开始、中期和后期，即18年研究期间的第5年、第9年和第13年应用，其中时间的选择反映了不同的研究设计。

每个被观察对象的条件分布y_t，对于t = 1，…，n，给定过去观测的先前信息y₁…,y_t−1和协变量向量x₁、……x_t，x_t= {x_t1、……x_tm}均假定遵循相同的高斯分布。模拟的结果y_t为随机抽取的高斯分布，均值等于模型期望值和方差。每个预期结果由时间、季节性、自回归(AR)和移动平均(MA)项的线性趋势决定。

在哪里\ (\ sum_ {\ boldsymbol{我}= \ mathbf {1}} ^ {\ boldsymbol {k}} \ boldsymbol{年代}\离开({\ mathbf {t}} _ {\ boldsymbol{我}}\)\)是平滑的三次样条函数的月季节成分，k = 12为节数，\ (\ sum_ {\ boldsymbol {j} = \ mathbf {1}} ^ {\ boldsymbol {p}} {\ boldsymbol{一}}_ {\ boldsymbol {j}} \离开({\ boldsymbol {y}} _ {\ boldsymbol {t} - \ boldsymbol {j}} - \ sum_ {\ boldsymbol{我}= \ mathbf {1}} ^ {\ boldsymbol {m}} {\ mathbf {X}} _ {\ boldsymbol {t} - \ boldsymbol j} {\ boldsymbol{我}}{\ boldsymbol{\β}}_ {\ boldsymbol{我}}\)\)自回归项是p阶和吗\ (\ sum_ {\ boldsymbol {j} = \ mathbf {1}} ^ {\ boldsymbol {q}} {\ boldsymbol {m}} _ {\ boldsymbol {j}} \离开({\ boldsymbol {y}} _ {\ boldsymbol {t} - \ boldsymbol {j}} - {\ boldsymbol{\μ}}_ {\ boldsymbol {t} - \ boldsymbol {j}} \) \)是q阶的移动平均项，任意，p=问=1根据立陶宛的月度死亡率数据，我们选择了[11，12］．

数字1说明了模拟的三个场景。关于变量的值或分布的详细描述可以在附加文件中找到1．对于前两种情况，政策干预被编码为突然的永久性影响——即。，assigning a value of 0 for all months preceding policy implementation and a value of 1 for all months following. For the third scenario where the policy implemented at time (T) needs 24 months to reach its full effect, the policy variable was represented by a step function (2)：

利用广义可加混合模型(GAMMs [4，13];)。三个场景的每个模拟数据集都使用三种GAMMs中的一种进行分析。第一种GAMM(模型1)只假设水平发生直接变化，即干预后斜率没有变化。β₁反映整个时间趋势和β₂是干预后的水平变化。“趋势”变量指的是线性时间序列，“水平”变量指的是政策干预。

使用的第二个GAMM如下:

在这种情况下,β₁代表干预前的趋势，β₂干预后水平是否发生变化β_3.显示了干预后的斜率变化。

使用的第三种GAMM如下:

\({水平}_t ^ {\ '} \)这里根据公式编码(2)，考虑到干预措施完全生效所需的时间(在我们的例子中是24个月)。模拟数据集采用各自匹配的模型进行分析，即描述场景1的数据集采用模型1进行分析，描述场景2的数据集采用模型2进行分析等。

估计政策的影响

对于每个模拟队列，通过匹配的GAMM模型，使用两种不同的方法，即1)“估计”和2)“预测”方法，对政策干预效果进行了调查，如下所示:

1. 1.

   在估计方法时，干预效果等于ITS模型(即经典ITS方法)的beta权重。当我们在这个例子中研究死亡率时，干预后12个月内避免的死亡人数是通过对年龄标准化死亡率影响的β -体重乘以干预后12个月的平均人口规模得出的;而且

2. 2.

   在预测方法有三个步骤:

• 第一步:使用干预前的数据来确定该系列的最佳GAM。

• 第二步:GAM用于预测干预后12个月的死亡率。假设预测误差为正态分布，计算每个月的预测死亡率和95%预测区间(pi)。

• 第三步:将干预后的观察值和预测值之间的死亡率差值乘以相应的人口，从而估计每个月避免死亡的绝对数量。该估计值被认为是干预后12个月内避免死亡人数的估计值，并通过对预测值组合方差的平方根计算标准差，假设每月数据点之间独立。假设预测误差为正态分布，进一步计算95% PI。

此外，对模型错误描述的影响进行了敏感性分析，其中场景3下的模拟数据(滞后效应)使用两个更简单的模型进行分析:首先，数据使用模型1进行分析，模型1包含一个时间变量和政策，编码为一个虚拟变量:干预前0，干预后1;其次，使用模型2，加入斜率变化。对于这三种场景和每一种敏感性分析，共模拟和分析了1000个数据集。对于每一次模拟，都记录了从数据集避免的估计死亡人数。在中心极限定理下，这些估计的分布近似正态分布，在1000个估计的样本上提取了95%的置信区间(CI)。然后计算覆盖概率，定义为真实效应大小在估计周围95% CI范围内的迭代的比例。

场景1:立即更改级别

当使用匹配的模型分析一个模拟数据集时，使用的两种分析方法产生了类似的估计。例如，在场景1中，当策略在研究期间的第5年应用时，仅产生直接水平效应，当效应量分别为−5、−10和−15时，使用估计方法，这大致对应于(月)效应量乘以12个月，而预测方法分别避免了55人、118人和176人死亡(表)1)，结果差异小于5%。然而，估计与预测三步法有更广泛的顺式——对于前面的例子，95%的顺式是(1,112)、(71,173)和(126,233)估计方法，与(43,153)，(24,213)和(77,275)相比，使用预测的方法。这是意料之中的，因为预测方法仅利用干预前的数据点，减小数据量，增加ci宽度。当该策略在研究中期(即第9年)应用时，当效应量分别为−5、−10和−15时，预防死亡的平均估计值估计为61、121和181估计方法，这几乎和预测的方法。然而，正如预期的那样，鉴于基础数据量较高，95% ci的范围要大得多预测方法与估计的方法。当该政策在研究期间的后期——也就是第13年——实施时，两种方法避免的死亡人数估计也是相同的，除了95%的ci再次略微扩大了预测的方法。当效应量为−5、−10和−15时，分别为(1117)、(62,176)和(120,238)估计和(15,133)，(44,192)，和(102,256)，分别与预测的方法。

场景2:水平和坡度立即发生变化

对于第二种同时存在直接水平变化和斜率变化的情景，当在研究期间的第5年应用该政策时，当效应量分别为−5、−10和−15时，使用估计方法，相比之下，50,111和171使用预测的方法。与第一种情况类似，95% ci使用的是更广泛的预测的方法。例如，当效应量分别为−5、−10和−15时，使用估计在第9年采用该策略时，对比(−26,131)、(30,191)和(94,251)，使用预测的方法。

情景3:滞后水平和坡度变化

在第三种情况中也可以观察到类似的模式，即模拟滞后的政策效应。当该政策在研究期间的第5年应用时，当效应量分别为−5、−10和−15时，使用估计方法，与0、16和32相比，分别使用预测的方法。的预测方法的95% ci也更大。与前两种情况相比，滞后的政策效应导致干预后12个月的相关干预避免的死亡人数要低得多。这一现象被匹配的模型正确地捕捉到了。

模型misspecification

当分析模型指定错误时，即使用模型1和模型2分析场景3模拟的数据集时，预防的死亡人数估计差异很大，这取决于预测或估计方法是使用。在几乎所有的情况下估计方法高估了真实效果。当这项政策在研究初期实施时，这种差异最为显著。例如，对于情景3(滞后水平和斜率变化)，假设在第5年应用了该政策(每10万人减少5例死亡)，我们运行模型I，得到45例(95% CI:−12,101)死亡使用估计方法与−1 (95% CI:−93,91)相比，使用预测方法(表2)．当政策在研究后期实施时，两种方法之间的差异会变小。例如，当该政策在研究的第13年被应用时估计方法发现:−7例(95% CI:−63,50)死亡得到了预防预测该方法发现0例(95% CI: 68,67)死亡被预防——真实的预防死亡人数为1例。自从ITS的预测该方法只使用了干预前的数据点，之后的干预意味着两种方法的建模步骤使用了相似的数据点;因此，两种方法之间的差异可能会减少。当使用模型2对相同的模拟数据进行分析时，考虑水平和坡度变化，但不考虑两年的滞后时间，两种方法之间的差异不太明显。例如，当在研究的第5年实施该政策时，效应量为−5，防止的真实死亡人数仍然为1，而估计方法避免了13例(95% CI: 67,94)死亡，而预测方法避免了−1例(95% CI:−93,91)死亡。假设模型2也有坡度变化，则参数更接近于情景3中看到的影响(滞后效应和坡度变化)。因此，当错误地指定为场景3时，模型2产生了更准确的效果。

当使用模型2分析场景1模拟的数据集时，估计避免的死亡人数非常相似，这取决于是否预测或者是估计方法是使用。然而，当使用模型3进行分析时，预测方法提供的估计值更接近真实值估计方法。在其他情况下，例如，当使用模型1和模型3分析场景2时预测方法还生成了更接近真实值的估计，并且性能更好(结果在附加文件中显示)1)．看来预测在错误说明下，方法更加健壮。

当模拟的政策效果(即时水平变化、即时水平和坡度变化，或滞后水平和坡度变化)与用于分析模拟数据的模型类型适当匹配时，就可以非常准确地确定政策干预的实际效果(即防止的死亡人数)。事实上，覆盖概率在85.6-90.7%之间3.)．即使当模型被错误指定，即ITS模型没有考虑政策滞后效应时，覆盖概率仍然相当稳定。然而，在政策存在滞后效应的假设下，尤其是当政策在研究后期实施时，错误指定的模型估计反映真实效应大小的可能性显著下降。当模型1应用于场景3，且保单在第13年应用时，当效应规模为−5、−10和−15时，覆盖概率分别为30.7、11.2和4.0%。另一方面，当不考虑滞后效应的模型2应用于场景3时，当效应规模分别为- 5、- 10和- 15时，覆盖率概率分别为61.5、25.2和6.8%。，略高于模型1。三种分析不匹配的情景的覆盖概率很大程度上取决于实施的年份。例如，当使用模型1分析Scenario 3时，保单在第5年应用的覆盖概率为0.858，而保单在第13年应用的覆盖概率为0.307。

该模拟研究首先将匹配的模型与模拟的数据集进行拟合，并应用各种环境，例如:，的point in time when the intervention happened within the series and different effect sizes of intervention, etc.—in order to gain a better understanding of how to best estimate the number of outcomes prevented following an effective population-level intervention. We found that when the model is correctly specified, both the估计而且预测方法产生类似的估计，很有可能捕捉到干预效果，尽管估计方法产生的95% ci通常比方法窄得多预测的方法。然而，当模型被错误地指定时，的预测研究发现，这种方法产生的估计数字更接近实际避免的死亡人数。因此，当无法确定哪种模型最适合数据时，就需要使用预测方法应该使用，而不是估计的方法。

此外，当模型指定错误时，可能无法检测到干预效果，特别是当政策发生在研究后期时，其完全效果需要时间观察。即使实现后的时间点数目显得足够大(标准见[4])时，覆盖概率明显降低。这表明，与干预前后相同时间点的研究相比，设计不平衡的研究(干预前后的时间点)和干预后数据点较少的研究发现真正效果的可能性较小。在这种情况下，即使按照惯例，样本量看起来足够大，也应谨慎进行ITS分析[4，因为权力也取决于干预在系列内发生的时间[14］．此外，在研究设计阶段(即在开发模型时)，需要仔细考虑干预对特定结果的滞后效应。然而，滞后规范目前在文献中没有得到很好的解决[10］．

目前的研究有一些局限性。首先，我们假设滞后效应呈线性发展(即随着时间的推移，以等量递增的方式逐渐增加)。但是，根据利益结果的不同，它可能采取不同形式的进展，并受边际价值递减规律的影响(即，有一个点，当有一个影响减少)。其次，模拟研究中使用的参数是基于对立陶宛死亡率数据的分析得出的估计[12]，并且根据我们处理这些或类似数据集的经验[15，16］．因此，所使用的参数可能不能反映所有的可能性。例如，季节性可能有不同的特征，GAMM模型的自回归分量可能对不同的研究有不同的信号。

总之，除了这些参数方面的考虑外，人们在估计以下情况下避免的死亡人数时需要谨慎:1)干预措施发生的时间较晚，而不是在时间序列的中间;2)卫生政策的实施时间与利益结果的变化之间可能存在时滞;3)当存在模型错误描述的机会时。不幸的是，这些条件描述了大多数应用ITS的实际例子[17］．通过汇集关于类似干预措施的其他研究的知识来改进模型规范技术，更好地了解干预措施的时间影响形状，以及更多的模拟研究来更好地理解在哪里可能产生大多数偏差，这是改进这一重要的公共政策应用领域的关键。

在当前的研究中生成和/或分析的数据集不是公开的，但可以从通信作者在合理的要求。

华宇电脑:

自回归综合移动平均线

GAMM:

一般加性混合模型

PI:

预测区间

置信区间:

置信区间

其:

中断时间序列

人:

世界卫生组织

作者想感谢阿斯特丽德·奥托对早期版本手稿的编辑工作的帮助。该出版物中报道的研究是由美国国立卫生研究院(NIAAA)的国家酒精滥用和酒精中毒研究所(National Institute on Alcohol Abuse and Alcohol)支持的。

NIAAA资助(奖励编号1R01AA028224)支持本文的研究，但它在设计、数据收集、分析、解释、撰写或提交本文的决定中不起作用。

作者和联系

1. 心理健康政策研究所，成瘾和心理健康中心，加拿大安大略省多伦多乌苏拉富兰克林街33号，M5S 2S1

   江环，冯信阳，Shannon Lange, Alexander Tran & Jürgen Rehm

2. Dalla Lana公共卫生学院，多伦多大学，155学院街，6楼，安大略省多伦多，M5T 3M7，加拿大

   江环，冯信阳& Jürgen Rehm

3. 坎贝尔家庭心理健康研究所，CAMH, 250学院街，多伦多，安大略省，M5T 1R8，加拿大

   Shannon Lange & Jürgen Rehm

4. 多伦多大学精神学系，250学院街，8楼，多伦多，安大略省，M5T 1R8，加拿大

   Shannon Lange & Jürgen Rehm

5. 精神病学和心理治疗系，跨学科成瘾研究中心(ZIS)，大学医学中心汉堡- eppendorf (UKE)，马蒂尼斯塔ße 52, 20246，汉堡，德国

   Jakob Manthey & Jürgen Rehm

6. Technische临床心理学和心理治疗研究所&临床流行病学和纵向研究中心Universität德累斯顿，Chemnitzer Str. 46,01187，德累斯顿，德国

   Jakob Manthey & Jürgen Rehm

7. 莱比锡大学医学院精神病学系，Semmelweisstraße 10,04103，莱比锡，德国

   Jakob Manthey

8. 多伦多大学医学科学研究所，加拿大安大略省多伦多市M5S 1A8国王学院圆环1号医学大楼2374室

   尤尔根•雷姆曾为此写过

9. 国际卫生项目部，领导能力和卫生管理研究所，I.M.谢切诺夫第一莫斯科国立医科大学，特鲁别茨卡娅街8号，b. 2号，俄罗斯联邦莫斯科，119992年

   尤尔根•雷姆曾为此写过

贡献

HJ参与了研究的构思和设计，准备了数据集，进行了统计分析，并对手稿的撰写做出了贡献。XF协助对稿件进行统计分析，修改知识内容。AT、SL、JM、JR对数据进行了解读，并对稿件的知识内容进行了修改。JM提供了原始数据集，并对手稿的知识内容进行了修改。AT、SL、JM、JR对稿件的知识内容进行了修改。所有作者都同意本手稿的最终版本。

相应的作者

对应到欢江．

伦理认可和同意参与

不适用。该手稿没有报告涉及人体参与者、人体数据或人体组织的研究。

同意出版

不适用。

相互竞争的利益

所有作者均声明不存在利益冲突。

出版商的注意

188博金宝app网施普林格《自然》对出版的地图和机构附属关系中的管辖权要求保持中立。

开放获取本文根据知识共享署名4.0国际许可协议授权，该协议允许以任何媒介或格式使用、共享、改编、分发和复制，只要您适当地注明原作者和源代码，提供知识共享许可协议的链接，并说明是否进行了修改。本文中的图像或其他第三方材料均包含在本文的知识共享许可中，除非在材料的信用额度中另有说明。如果材料不包含在文章的知识共享许可中，并且您的预期使用不被法定法规允许或超过允许的使用，您将需要直接从版权所有者获得许可。如欲查阅本牌照副本，请浏览http://creativecommons.org/licenses/by/4.0/．知识共享公共领域转让豁免书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本文提供的数据，除非在对数据的信用额度中另有说明。

再版和权限