评估安全性证据的质量:grade -标准的应用规范和在准备可能不适合老年人的药物清单时的调整建议

背景

综合安全结果的系统审查带来了挑战(例如，罕见事件)，这就提出了对证据体强度进行分级的问题。这可能是为什么在许多潜在不适当药物(PIM)清单中，建议不是基于评估证据体质量的形式化系统(如GRADE)的原因之一。

在这篇文章中，我们描述了GRADE系统的规范，并建议对安全结果证据的质量进行分级，这是在编制pim清单(即PRISCUS)的背景下制定的。

方法

我们系统地评估了GRADE的五个降级领域(研究局限性、不精确、不一致、间接性、发表偏倚)和降级标准，考虑是否需要特别考虑或对原始方法进行修订。结果以书面形式记录下来，并在5名不同背景的成员的小组会议上进行讨论，直到达成一致意见。随后，我们使用系统综述的便利样本进行了概念验证应用，并将该方法应用于19个不同的临床问题的系统综述。

结果

我们描述了规范，并建议对“研究局限性”、“不精确”、“发表偏倚”和“大效应评级上升”的标准进行调整。此外，我们提出了一个新的标准来解释来自亚组分析的数据。概念验证应用程序并不表明需要进一步修订，因此我们使用为priscuss清单准备的系统审查方法。

我们评估了51项结果。提出的每一种调整都得到了应用。既没有过多的低评级和极低评级，也没有过多的高评级，但安全结果的不同方法质量似乎得到了很好的反映。

结论

这些建议似乎有可能克服在对危害的方法学质量进行分级时的一些挑战，因此可能有助于考虑安全性的证据合成的生产者。

基于最佳现有证据的临床实践建议(例如指南)可提高护理质量[1，2］．潜在不适当的药物(PIM)命名药物清单，这些药物在老年患者中可能具有负的风险收益比，特别是在有更安全的替代药物时[3.，4］．已根据不同国家的当地药品市场编制或改编了各种药品管理标准清单。建立专家评级pim -list的一个原因是，在临床试验中，老年患者，特别是体弱的老年人经常被排除或纳入率低，这是药物批准的基础，也是临床实践指南中的证据。然而，现有的pim -list经常被讨论的一个局限性是，它们不是基于对证据的系统回顾，而只是基于专家意见、非系统的文献综述或以前发表的pim -list [3.］．这可能是为什么pimi名单之间的重叠度通常很低的原因之一。3.］．为了克服这一限制，为了更新德国的pim清单，即PRISCUS清单，向与会专家提供了来自专门为提供建议而进行的系统审查的数据。

为对实践建议证据的质量/级别进行分级，已制定分级制度[5，6］．推荐评估、开发和评价分级(简称GRADE)系统是临床实践指南中对推荐的证据质量进行分级的最常用工具之一[6］．GRADE对纳入研究的PICO(参与者、干预、比较、结果)问题中特定结果的证据质量进行评分。为此目的，使用显式标准。这些因素包括研究设计、研究局限性、不精确、不一致、间接性、剂量-反应相关性和效应大小。根据这些标准，证据质量被分为四个级别(高、中、低或极低)。值得注意的是，与大多数根据研究水平对证据强度进行分类的其他方法(例如，随机对照试验[rct]是高证据水平，病例报告是低证据水平)不同，GRADE对纳入研究的每个结果的证据进行评级。

通常，由于测量不一致、不精确(研究没有为安全结果提供动力、罕见事件)和危害报告不力，安全性结果的证据要弱于有效性结果的证据[7，8］．其他挑战包括，安全结果通常很少，不可预测，或需要很长时间的跟踪才能检测到。此外，危害往往是特定于子群体的，但相关群体，如体弱老年人在随机对照试验中的代表性不足[9，10］．由于这些原因，在随机对照试验(rct)中可能没有充分评估安全性。因此，仅将rct纳入考虑安全性的系统评审可能是不够的。为获得充分的安全性证据，建议纳入非随机研究(NRS)并考虑亚组分析[11］．因此，考虑到证据质量的其他方面，除了偏见的风险，特别是考虑到随机错误似乎对危害比有效性更重要。

有人可能会说，关于安全的证据质量就是这样，没有必要对证据质量进行具体的评级标准。然而，如果按照标准的方式进行评级，可能会出现一些问题。首先，它承担了收益和伤害之间的证据确定性本身是不平衡的风险，因为收益往往获得更高的方法质量评级(例如，因为对于非常罕见的伤害，只有NRS可用)。其次，可能存在方法论问题，即由于底效应，无法区分不同安全结果的证据质量差异，即所有研究都被归类为证据质量低或极低的研究。这是因为在GRADE系统中，来自NRS的证据总是从低质量开始，因此只有一个附加的评级标准(例如不精确)会导致证据评级的质量非常低[6］．

一些较老的证据级别分类方案，如牛津证据级别使用不同的危害和效益标准，但没有具体的GRADE指南来评估安全结果的证据质量[5］．

在这篇文章中，我们描述了GRADE系统的规范和适应性，用于对安全结果证据体的质量进行分级，并报告了我们首次将这些应用于pim清单开发的经验。

该项目是德国老年人pim清单更新的一部分，即PRISCUS清单[12］．GRADE是评估证据质量最成熟的工具。出于以下原因，我们决定指定它的应用并提出潜在的适应建议，而不是制定我们自己的标准。首先，可以假设，一般而言，与评估危害证据质量相关的标准(几乎)与评估益处的标准相同。其次，它有助于在一个证据合成产品(如临床实践指南)中整合关于益处和危害的证据。安全结局多为二元结局或以这种方式表达(例如，患者患有贫血而不是血红蛋白低于正常g/L)。此外，对于二元结果(如罕见事件)，总结危害时的挑战更为突出。因此，在本研究中我们只考虑二元变量。

规范和适应的开发

研究小组由五名成员组成;两名经验丰富的方法学家，一名高级临床药理学家，一名高级全科医生和一名药剂师。成员评估了评分下调的五个GRADE领域(研究局限性、不精确、不一致、间接性、发表偏倚)和评分上调的标准，考虑是否有特别的考虑或对原始GRADE方法的修订。如果可以预期，引言中引用的挑战之一会影响原始的GRADE标准(例如，更高的不精确性，包括NRS)，我们就根据指示判断规范或适应。只有当原始GRADE标准在方法学上得到证明时，才会对其进行修订，这意味着它得到了统计/流行病学推理的支持，并可以得到方法学文章的支持。结果被收集成书面文件(TM, DP)，并在整个项目团队的小组会议上讨论。为了便于讨论，我们使用示例案例说明了不同的挑战。如果有必要，我们会改进标准，直到达成共识。注意，没有应用形式化的共识过程。

规范和适应的应用

随后，我们使用一个方便的示例执行了一个概念验证应用程序，其中包括6个系统审查，重点关注我们已知的安全性，我们假设所有规范和适应性都将生效。这些系统的审查不是PRISCUS的一部分。在这一阶段，我们检查了我们的方法是否存在任何问题，重点是不一致和高估证据强度的倾向。在概念证明申请中，没有发现需要修订标准的理由。

在这个开发阶段之后，我们使用我们的方法进行证据综合，准备作为priscuss名单上专家评级建议的基础。GRADE评价由TM进行。该团队的所有成员都检查了最终评分的不一致性。在初步研究中，我们评估了19个临床问题的51个结果补充)。

表格1显示了原始的GRADE标准和我们建议的改编。我们在下面的文本中解释和证明这些改编。表中未引用的所有域/标准1均按GRADE工作小组建议的标准方式使用。

建议规范/改编“与方法质量相关的研究类型”

由于混杂偏倚的风险，NRS通常一开始是低质量的证据[13］．该方法也可以这样解释:由于混淆的风险，NRS在开始时直接被下调两个级别。因此，所有关于NRS危害的证据都将从“低质量”的证据开始。

最近，GRADE工作组在使用ROBINS-I工具评估NRS的偏倚风险时，提出了一种新的方法[14］．研究表明，NRS开始时较高，但通常会降低一到两个等级，因为在NRS中存在混淆和选择偏差的风险。从这个意义上说，我们调整了原来的标准。确切地说，我们建议NRS也启动高，而不是各自的关键评估工具应用。所有研究都必须评估混杂或参与者选择偏倚的风险。可以使用或指导这种评估的适当的关键评估工具。正如罗宾斯- i所建议的，在脑海中有一个精心设计的目标试验作为评估参考可能是有用的。此外，在混杂和选择偏倚之外还存在其他偏倚的情况下，使用该方法时可以将研究限制(偏倚风险)降低三个级别[15］．显然，在使用robbins - i时不需要这种适应，因此它是执行此任务的首选工具。然而，建议的适应性有一个优点，即当用于评估偏倚风险/方法学质量的另一种工具(例如，由于资源有限)或已存在的应用其他工具的系统审查用于评估NRS时，它可以被应用。这种方法之所以合理，有两个原因。首先，与评估疗效相比，指征混淆通常是评估危害的次要问题。特别是，罕见的伤害和与干预措施没有明显关联的伤害将意味着效果偏向于零[16］．其次，大多数评估NRS的工具都考虑了共同成立和选择偏差[17，18］．因此，对于大多数工具来说，没有必要在证据质量较低的情况下开始评估。这种方法的一个优点是避免了混淆和选择偏差的重复计数，当NRS开始较低，而应用的质量评估工具涵盖了混淆或选择偏差时，就会出现混淆和选择偏差的重复计数。

应用示例“研究类型与方法质量的关系”

在我们关于老年人使用曲马多的安全性的综述中，所有关于跌倒风险的证据都是观察性的，因此，当以标准方式评估时，一开始的证据质量很低。基于方法学质量评估，结果因混杂偏倚和不精确分别被下调一级和一级，这将导致由于重复计数混杂和选择偏倚，证据质量评级非常低。值得注意的是，在这种情况下，即使只有一个下调评级的标准也会导致非常低的评级。相比之下，如果以适应的方式评估，证据开始高和评级下降两个水平导致低质量的证据评级。

建议规范/适应“不精确”

效果的精确度通常基于95% CI [19］．然而，在罕见事件的情况下，这可能是误导。GRADE工作组建议对极低的事件率使用绝对效应，因此不定义“极低”。伤害，尤其是严重的伤害通常是罕见的。此外，不存在相对效应的95%CI优于绝对效应的95%CI的固定阈值。我们的初步建议是使用绝对效应来评估一般的危害。值得注意的是，绝对效应的95%CI通常没有报告，必须重新计算。此外，在造成伤害的情况下，使用适用于目标人群(如老年人)的患病率或发病率数据尤其重要，因为绝对影响往往在子群体之间不同(如老年人摔倒)。因此，为了达到这个目的，使用外部数据计算对照组风险的外部数据(不来自纳入的研究)可能是更可取的。

应用实例“不精确”

在一项系统综述中，作者发现了34个严重不良事件(SAEs)，并计算出风险比(RR)为1.08 (95%-KI 0.56 - 2.08)。在>2.700名参与者中观察到SAEs，其绝对风险差为1%(95%可信区间少0.6%至多1.4%)[19］．该例子表明，尽管RR的95% ci建议评级下降两个级别，但绝对效应的较低的95CI(可能避免SAEs)建议评级最多下降一个级别。

建议的规范/适应“发布偏倚”

当发现发表偏倚时，证据的质量通常会降低一级[20.］．考虑因发表偏倚而降低评级的标准主要是小型行业赞助的研究，或非对称漏斗图。值得注意的是，一项元流行病学研究发现了许多临床问题，这些问题对安全结果的选择性传播是可疑的[21］．与益处结果相反，发表偏倚会导致对益处的高估，因为无法获得小的(或不同方向的)治疗效果，而遗漏的安全结果会导致对危害的低估，因为无法获得对危害的大影响[22］．因此，我们建议，当有强烈的发表偏倚怀疑时，作者可以考虑提高证据的质量。

应用程序示例“publication bias”

在我们的一篇综述中，所有的研究都是由行业赞助的，所有的研究都没有报告预期的危害(例如所有的出血事件)，或者危害被不寻常地分组(例如临床相关的非大出血)，漏斗图略有不对称。因此，我们将出血证据的质量从低到中等提高了一个等级。

建议的规范/适应“大量级影响”

如果影响的幅度很大，证据通常可以提高一个等级，因此，大定义为RR为>2(<0.5)。这一阈值是基于这样一个假设:单靠混淆不太可能造成如此大的影响[23］．该阈值的确定基于一项建模研究，该研究是根据较早的观察性研究确定的，该研究没有采用任何方法来调整混杂因素[24］．较新的研究表明，在观察性研究的分析中对相关混杂因素进行了调整的情况下，仅靠未测量的和残留的混杂因素不太可能导致较大或非常大的影响[25，26］．此外，如前所述，危害结果受指征偏差的影响通常小于有效性结果[16］．基于这些原因，我们建议，如果基于无偏和足够精确的NRS的证据，RR为>1.67(<0.60)，则考虑将伤害结果评级提高一级[25］．此外，我们建议，如果受混杂影响的NRS的RR大于10(<0.1)，则考虑将评级上调两个级别，因为先前的研究表明，如此大的影响不太可能仅由混杂引起[27］．

应用示例“大量级效应”

在我们对质子泵抑制剂与无质子泵抑制剂的比较中，我们发现痴呆症的RR为1.97 (95%CI为1.44 ~ 2.70)。这一估计的偏差风险很低。因此，我们将证据的质量从低到中等提高了一个等级，如果以原来的方式应用，就不会这样做。

建议规范/适应“subgroup-effects”

遭受伤害的风险在不同的子群体之间往往不同[28］．因此，在评估危害时，探索异质性尤为重要。GRADE指南只考虑亚组分析，以探索研究之间的不一致性[29］．然而，统计上显著的异质性检验不仅表明不同组之间的影响是不同的，因此应该分开考虑，而且还包括影响的确定性的信息。如果在统计上有显著的子组效应，人们可以更有信心在这个子组中也有影响。与剂量-反应关系类似，如果子组效应随着子组变量水平的增加/减少而增加/减少(例如，经历伤害的风险随着年龄的增加而增加)，这一点尤其正确。我们建议，当一个执行良好的子组分析(可靠子组分析的标准见例如[30.])表示在子组中有更大的影响，该子组中的证据质量可能会被提升一个级别，特别是在子组效应是水平依赖的情况下[30.］．

应用实例“subgroup-effects”

在我们对老年人口服抗凝药物的综述中，我们从大出血研究亚组分析中表现良好(如预先指定的，基于相互作用测试)的数据中提取。大多数研究结果表明，大出血的风险随着年龄的增长而增加，在非常年长的人中大出血的风险尤其高。出于这个原因，我们将高龄患者出血风险的证据质量从低到中等提高了一级。

我们发现随机对照试验(仅针对老年人或老年人亚组分析)仅针对19个临床问题中的9个。提出的每一种调整都得到了应用。尽管如此，评分还是很平衡。我们将14个结果评为高质量，7个为中等质量，17个为低质量，13个为极低质量。正如预期的那样，大多数“高方法学质量”评级是针对可进行随机对照试验的临床问题。

对pim -list的回顾发现，应用的方法非常不同，对这些pim -list的查看显示，几乎没有一个似乎应用形式化的方法来评估建议的基础证据体的质量，使用形式化的系统，如GRADE，因为它是编写临床实践指南的标准[3.］．只有比尔斯榜单的最后一次更新使用了一种联合评估，该评估结合了GRADE的特点和美国医师学会临床指南委员会以前制定的建议[31］．尽管有趣，但这项工作缺乏详细的方法描述，无法在另一个上下文中应用此方法。缺乏的原因可能是，到目前为止，还没有专门的系统来评估证据综合的证据体的质量，聚焦于危害，如pim -list，而且由于考虑安全性时常见的挑战(如NRS、罕见事件)，为临床实践指南开发的工具有一些局限性。据我们所知，到目前为止，既没有一种方法来克服这些挑战，也没有在方法论文献中讨论这个问题。在这项工作中，我们建议在系统评审中评估安全结果时对GRADE标准进行一些调整或指定应用，以通知pim清单。

编制pimi名单的申请的初步结果表明，评级相当平衡。既没有下限效应(低评级和极低评级的数量过多)，也没有上限效应(高评级的数量过多)，但安全结果的不同方法质量似乎得到了很好的反映。在对危害的方法学质量进行分级时，这些改编可能有潜力克服一些挑战，因此可能有助于考虑安全性的证据合成的生产者(例如创建pim -list的文献，批准后对药物安全性的系统审查)。尽管这些改编是针对专注于药物安全性的证据合成而开发的，但我们认为这些改编可能也适用于一般的证据合成(即所有考虑利弊的证据合成)，因为基本上所有考虑危害的系统审查在对证据质量进行分级时都面临相同的挑战。未来的研究需要为危害证据合成制定完善的GRADE指南。

由于项目的时间表要求证据合成立即开始，因此这些改编不是在GRADE工作组中开发的。因此，建议的调整只应被视为促进进一步讨论和制定专门为安全证据的质量分级的准则的第一步。对于所有NRS开始时都很高，而不管应用的关键评估工具是什么这一建议，尤其如此。在这里，需要进一步的研究评估使用不同的关键评估工具对GRADE评分的影响。同样，(非常)大影响的分界点仍然存在争议，需要进一步评估[32］．

不适用。

AE:

不良事件

评分:

没有随机研究

PIM:

可能不恰当的药物治疗

个随机对照试验:

随机对照试验

SAE:

严重不良事件

一个也没有。

由Projekt DEAL支持和组织的开放获取资金。这项工作是德国联邦教育和研究部(批准号:01KX1812)资助的“更新老年人潜在不适当药物PRISCUS清单”项目的一部分。资助者没有参与这项研究。

作者和联系

1. 德国威腾/赫德克大学卫生学院医学院临床药理学系

   Tim Mathes, Nina-Kristin Mann, Petra Thürmann & Dawid Pieper

2. 德国大学医学中心医学统计学系Göttingen, Göttingen

   蒂姆数学

3. 德国科隆威腾/赫德克大学卫生学院医学院手术医学研究所

   蒂姆数学

4. Philipp klee临床药理学研究所，赫利俄斯大学伍珀塔尔医院，德国伍珀塔尔

   佩特拉Thurmann

5. 萨尔茨堡梅津科学管理学院für Österreich

   Andreas Sonnichsen

6. 勃兰登堡卫生科学学院，勃兰登堡医学院Theodor Fontane，卫生服务和卫生系统研究所，德国neuuppin

   Dawid皮珀尔

7. 卫生服务研究中心，勃兰登堡医学院Theodor Fontane, Neuruppin，德国

   Dawid皮珀尔

贡献

TM:最初概念的发展，概念的证明，方法的应用，稿件的撰写。NKM:改进方法的输入和讨论，方法的应用，手稿的修改。PT:输入和讨论以完善方法，修改稿件。AS:输入和讨论以细化方法，修改稿件。DP:最初概念的发展，稿件的撰写。作者(们)阅读并批准了最终稿。

相应的作者

对应到蒂姆数学．

伦理批准和同意参与

不适用。

同意出版

不适用。

相互竞争的利益

作者声明他们没有竞争利益。

出版商的注意

188博金宝app网施普林格自然对出版的地图和机构附属的管辖权要求保持中立。

开放获取本文遵循创作共用署名4.0国际许可协议(Creative Commons Attribution 4.0 International License)，该协议允许在任何媒体或格式中使用、分享、改编、分发和复制，只要您给予原作者和来源适当的署名，提供创作共用许可协议的链接，并说明是否有更改。本文中的图片或其他第三方材料包含在文章的创作共用许可中，除非在材料的信用额度中另有说明。如果材料不包含在文章的创作共用许可中，并且您的预期用途不被法律法规允许或超出了允许的用途，您将需要直接从版权所有者那里获得许可。欲查看此许可证的副本，请访问http://creativecommons.org/licenses/by/4.0/．创作共用公共领域奉献放弃书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本文提供的数据，除非在数据的信用额度中另有说明。

再版和权限