有效性系统评价中的限制及其报告:一项观察性研究

背景

系统评价(SRs)中的限制可能导致偏差并可能影响结论。因此，报告是否使用了限制以及使用了哪些限制是很重要的。本研究旨在研究语言、出版期限、研究类型等方面的限制，以及有效性研究报告的透明度。

方法

一项回顾性观察性研究采用了PubMed在2000年至2019年期间索引的535个有效性sr的随机样本。使用描述性统计分析了限制的使用及其报告。

结果

在总共纳入的535位sr中，每10位sr中就有4位(41.3%)缺乏考虑的三个限制(语言、出版期或研究类型)中至少一个的信息。总体而言，14.6%的sr没有提供关于出版期限的限制信息，19.1%的sr没有提供关于研究类型的限制信息，18.3%的sr没有提供关于语言的限制信息。在所有纳入的sr中，语言受限的占46.4%，在半数以上语言受限的sr(130/248)中，尚不清楚这种限制是在搜索过程中还是在筛选过程中应用，或两者同时应用。22.2%的sr(33/149)， 6.5%的研究类型(28/433)和3.2%的语言(8/248)的发表期限制是合理的。不同国家之间以及Cochrane和非Cochrane综述之间的报告存在差异。

结论

这项研究表明，在报告sr的限制方面缺乏透明度。应鼓励作者以及编辑和审稿人改进报告和限制的理由，以增加sr的透明度。

系统评价在卫生部门越来越受欢迎[1，2]，并被认为是总结临床研究中现有证据的金标准[3.］．传统上，sr检查干预或治疗的有效性[4］．尽管近年来检讨方法已逐步发展，以解决更广泛的问题，但有关效能的检讨仍是最常见的检讨类型[1，4］．近年的另一项发展是特别代表的数目迅速增加[1，2，5]，这可能会导致研究浪费[5，6］．为了避免这种情况，已发表的sr具有高方法学质量是很重要的。

由于sr的目的是总结关于一个主题的所有可用证据，因此建议他们这样做，无论出版年份、研究类型、语言或其他限制[7，8，9，10］．然而，由于缺乏时间或财政资源，这并不总是可能的。语言限制尤其频繁[1，2，11]，因而具有重要的相关性，并经常被讨论[12，13］．此外，数据库中的语言规范不足，以及某些数据库中语言限制功能的技术限制，会导致在SRs搜索过程中限制语言时出现问题[7］．此外，对发表日期和研究类型的限制可能会增加系统偏倚的可能性[7］．

清晰的报告是评估sr方法学质量的先决条件，并可降低偏倚风险[14］．因此，高质量的报告是识别高质量sr的必要条件。为了支持专注于随机对照试验的sr作者，QUOROM声明于1999年发表[15］．2009年，对PRISMA进行了更新和扩展，产生了PRISMA声明[16］．近年来的进展导致PRISMA声明于2020年进一步更新[17］．原始QUOROM和PRISMA声明都明确描述了报告sr是否适用任何限制及其原因的重要性。对于语言限制，更重要的是了解它们是如何以及在哪里被使用的，因为这可能会对搜索结果以及可重复性产生影响[7，12］．因此，Pieper和Puljak [12]建议，应始终报告应用语言限制的检索步骤，并优先考虑在全文筛选层面实施的限制。虽然一些文献论述了sr报告的透明度[1，2，5]，到目前为止，很少有研究考虑到sr的限制。

因此，本研究的目的是考察在有效性研究报告中对语言、出版期限、研究类型以及报告透明度的限制。

这项回顾性观察研究基于之前的一项研究[1]，并可从开放科学框架(https://osf.io/pxjrv/)．

简而言之，先前研究的目的是检查过去20年发表的sr的流行病学和报告趋势。包括2000年至2019年的sr指数。sr根据PRISMA-P指南定义[18］．要被纳入，sr必须提供一套明确陈述的目标，试图确定所有符合资格标准的研究的系统检索，说明检索策略(或使用的关键字)和研究选择的方法(例如，资格标准和选择过程)，以及对纳入研究的特征和发现的系统展示和综合。由于资源有限，以英文以外的语言出版的论文被排除在外。使用Montori等人的搜索策略。19]，根据Moher等人的改编。[20.， PubMed于2020年1月1日被搜索。搜索返回了572,871个结果，从中随机抽取了4,000篇文章作为样本。经过两名独立审稿人(JH, KA, TR, AH)对标题和摘要进行筛选后，1687篇文章被纳入全文筛选，其中有一篇文章是不可用的。这导致555篇未被归类为sr的文章被排除在外。最终，1132名sr被纳入原始研究[1]，其中535份为有效的最高评价。

数据提取

为了当前分析的目的，这535个关于有效性的sr被包括在内。除了先前研究中已提取的数据外[1](期刊、出版年份、通讯作者国家、作者数量、检索数据库数量、纳入SR的文章数量、进行的元分析、纳入元分析的研究数量、命名为SR的文章、检索日期、有效性评估和语言限制)、三个额外的报告特征(参考PRISMA，完整的检索策略可用，以及可用的流程图)和所使用的限制的六个项目(报告的出版期，合理的出版期，报告的研究类型，合理的研究类型，合理的语言限制，以及语言限制的点)被考虑。关于限制的理由，记录了发件人提供的理由，如果有的话;在这种情况下，合理性没有被评估。有关项目的详细信息可在表格中找到1．

由于本研究的目的是检查sr中的透明报告，因此没有联系作者以获取额外信息。只有在文本中明确提到附录时，才会检查它们的搜索策略或流程图。

数据提取由一位审稿人(JH)完成。进行了可信性检查，并由共同作者之一(DP、TM、TR、KA和FH)从所有记录中随机抽取20%的样本进行验证。

数据分析

使用描述性统计分析和呈现报告特征，重点关注适用于sr的限制，包括出版期、研究类型和语言。分类数据计算频率和比例，连续数据计算标准定义均值(SDs)和四分位范围中位数(IQR)。根据先前研究的结果[1]，表明SRs的流行病学和报告因5年期间(2000-2004年、2005-2009年、2010-2014年和2015-2019年)、通讯作者的国家以及SR是否为Cochrane综述(定义为在Cochrane系统综述数据库中发表的文章)而不同，数据采用相同的分层分析。由于所考虑的大多数项目都在PRISMA清单中明确提及[16]，首次发表于2009年，对2010-2019年进行了敏感性分析。所有统计分析均使用SAS for Windows 9.4版本(SAS Institute INC, Cary, North Carolina)进行。

基线和报告特征

共纳入来自43个不同国家的535位sr，其中美国(16.6%)、中国(16.5%)和英国(13.5%)的通讯作者比例最高。平均涉及5.2位作者，78.9%的入选sr至少搜索了3个数据库。纳入研究的平均数量为20.9项。大多数sr(65.8%)进行了荟萃分析，其中95.7%报告了纳入研究的数量，平均值为9.02)．

在所有纳入的SR中，68.8%在标题、摘要或方法中将自己描述为SR, 31.1%参考了PRISMA指南，一半的SR(55.0%)报告了完整的搜索策略(表2)3.)．89.4%的sr提供了搜索日期。77.1%报告了有效性评估。77.3%的sr提供了流程图。

sr中使用的限制

就使用的限制而言，14.6%的sr未指定出版期，57.6%包括所有研究而不考虑出版日期，27.9%应用了限制(表3.)．在限制出版期限的sr(149/535)中，有22.2%(33/149)给出了理由。限制检索期最常见的原因是试图只包括最近的证据(27.3%，9/33)，更新综述(21.2%，7/33)，或反映科学相关性的开始(21.2%，7/33)。

19.1%的sr未报告是否对所纳入的研究类型施加限制。在40.0%的SRs中，只包括随机对照试验(rct)，在40.9%的SRs中，包括rct和非随机干预研究(NRSIs)。研究类型的选择在6.5%的sr(28/433)中是合理的(433/535)。限制的主要原因是试图只纳入最高级别的证据(32.1%，9/28)或缺乏证据(32.1%，9/28)。

关于纳入的语言，18.3%的人没有报告是否使用了语言限制，35.3%的人包括所有研究，而不考虑语言，46.4%的人使用了语言限制。在所有限制语言的sr(248/535)中，3.2%提供了理由。除一名SR(87.5%， 7/8)外，所有SR都认为有限的资源或语言能力是语言限制的理由。在一个SR(12.5%， 1/8)中，该领域的主要期刊都是用英文出版的事实证明了这一限制是合理的。在所有有语言限制的sr(130/248)中，52.4%的sr不清楚何时应用这一步骤，20.6%的sr限制了搜索策略，27.0%的sr在筛选过程中限制了搜索策略。在筛选过程中限制语言的所有sr(67/248)中，43.3%(29/67)报告了由于语言而被排除的研究数量，平均4.6 (SD 5.7，中位数2，平均25.8篇纳入文章，SD 32.3，中位数15)。

当考虑到所有三个限制(出版期限、研究类型或语言)时，41.3%的sr至少缺乏其中一个的信息(表2)3.)．

cochrane和非cochrane综述的比较

当比较Cochrane (n= 81)和非cochrane文献(n= 454)，发现报告和使用限制的差异(表3.)．Cochrane综述较少将自己描述为SR (23.5% vs. 76.9%)，从不参考PRISMA指南(0% vs. 36.6%)，但更有可能报告完整的检索策略(76.5% vs. 51.0%)和检索日期(97.5% vs. 87.9%)。Cochrane综述不太可能提供流程图(43.2% vs. 83.4%)，但更经常提供有效性评估(97.4% vs. 73.4%)。

考虑到使用的限制，22.2%的Cochrane综述和13.2%的非Cochrane综述没有提供任何关于出版期的信息。总体而言，9.9%的Cochrane综述和31.1%的非Cochrane综述限制了出版期限。虽然大多数Cochrane综述(62.5%，5/8)证明了这一限制，但只有19.9%(28/141)的非Cochrane综述证明了这一限制。所有Cochrane综述中都报道了纳入的研究类型，而非Cochrane综述中有77.5%报道了纳入的研究类型。大多数Cochrane文献(56.8%)仅纳入rct(37.2%的非Cochrane文献)。

约有五分之一的Cochrane文献(21.0%)和非Cochrane文献(17.8%)没有提供是否使用语言限制的信息。虽然有4.9%的Cochrane综述受到语言限制，但这一比例在非Cochrane综述中要高得多(53.7%)。在受限的sr中(4/81次Cochrane综述;244/454篇非Cochrane文献)，25.0%的Cochrane文献和2.9%的非Cochrane文献证明所选语言是正确的。更多的Cochrane综述比非Cochrane综述报告了在研究过程中使用限制的步骤。

考虑到所有三种限制，35.8%(29/81)的Cochrane文献和42.3%(192/454)的非Cochrane文献至少缺乏其中一种限制的信息(出版期、研究类型或语言)。

通讯作者国别差异

当按通讯作者的国家进行分层时，在报告限制方面的一些差异变得明显(见附加文件)1)．来自中国的通讯作者的文章限制出版期的比例为15.9%(14/88)，而来自其他国家的通讯作者限制出版期的比例更高，从荷兰的26.5%(9/34)到美国的38.2%(34/89)。来自美国和澳大利亚的sr通常没有具体说明所包括的研究类型(分别为30.3%，27/89和27.8%，15/54)，来自中国的sr缺乏研究类型的信息(12/88)。语言限制的患病率最高的是美国的sr(67.4%， 60/89)，最低的是英国的sr(30.6%， 22/72)。总体而言，未报告所考虑的至少一项限制的文章比例介于来自澳大利亚的sr的35.2%(19/54)和来自美国的48.3%(43/89)之间。共有37.5%(33/88)来自中国的通讯作者未报告至少一项限制(出版期限、研究类型或语言)。

不同时间的比较

随着时间的推移，观察结果，可以确定报告中的一些趋势(表4)．越来越多的SR参考PRISMA清单，将文章命名为SR，并提供了流程图。在有关限制的报道中，一些趋势也很明显。在2000年至2004年期间，四分之一的sr(28.0%， 7/25)缺乏出版期间的信息，在2015年至2019年期间，只有12.0%(39/324)缺乏出版期间的信息。仅包括rct的sr比例从2000 - 2004年的60%(15/25)下降到2015 - 2019年的35.5%(115/324)。在语言限制方面，一方面，报告无信息的sr的数量随着时间的推移而减少，而报告有语言限制的sr的数量从2000 - 2004年的24.0%(6/25)增加到2015 - 2019年的52.8%(171/324)。总体而言，未报告至少一项所考虑的限制(出版期、研究类型或语言)的sr数量逐年下降，从2000-2004年的60%(15/25)下降到2015-2019年的40.4%(131/324)。在这三个特征中，有正当理由的特别代表所占的比例多年来没有变化。

2010年至2019年的敏感性分析支持报告改进的趋势。总的来说，25.0%(13/52)的Cochrane综述和41.7%(170/408)的非Cochrane综述缺乏至少一项限制的信息(见附加文件)2)．

在本研究中，我们分析了535个有效性的随机样本，发现41.3%的sr未报告至少一项考虑的限制(发表期、研究类型或语言)。具体而言，14.6%未报告出版时期，19.1%未报告所包括的研究类型，18.3%未报告所包括的研究语言。几乎一半的sr限制了研究的语言，其中52.4%的sr不清楚在研究过程的哪个步骤应用了限制。只有极少数的sr为所使用的限制提供了理由。Cochrane综述更经常报告是否按照出版期和研究类型进行了限制，但在Cochrane综述和非Cochrane综述中，都有20%的综述缺乏关于语言限制的信息。此外，Cochrane评论很少提供流程图，并将他们的文章描述为SR。

在所有被考虑的sr中，几乎有一半限制了研究的语言。这一比例略高于一系列较早的研究所显示的比例[2，5，但按年份划分时却非常相似。乍一看，与过去相比，如今越来越多的sr限制自己的语言。然而，与此同时，多年来报告情况有所改善，不提供语言限制信息的特别代表的比例有所下降。据推测，所观察到的变化反映的不是应用语言限制的频率的变化，而是报告的改进。关于语言限制是否会增加语言偏见的风险，有相互矛盾的证据[12，13，21，22从而可能妨碍结论。然而，研究表明，被发表、阅读或引用的可能性与发表的语言有关[23，24，25]并且在不同的医疗保健研究领域，语言限制对汇总效果估计的影响可能有所不同[26，27］．这种复杂的关系突出了明确报告的必要性。皮柏及普里亚克[12]同意一般建议[8，9，10，16]不使用任何语言限制，同时强调如果有充分的理由(例如时间或财力)有必要，限制应适用于筛选过程，而不是例如在搜索过程中。这样做不仅增加了透明度，而且还给人一种非英语语言研究在研究领域的相关性的印象。此外，它使其他研究人员能够接受并扩展研究结果[7，12］．然而，半数限制语言的sr没有明确报告在研究过程的哪个步骤实施了限制，只有27.0%明确表示他们在筛选过程中限制了语言。在报告中，由于语言原因，约有5篇全文文章被排除，这表明非英语语言研究可能很重要。为了透明度，重要的是不仅要证明语言限制的合理性，而且要提供被排除的研究的数量。

正如我们的研究结果所表明的，语言限制的报道需要进一步改进。而一九九九年法定人数委员会的声明[15以及2009年的PRISMA指南[16]两者均建议报告语言限制[28]，在PRISMA 2020中[17]，限制只能在扩展清单中找到。本文档使用频率可能较低，因为只有PRISMA 2020核心清单已翻译成其他语言，可作为可填写的word文档提供，并且可能是期刊提交的要求。作者还应说明在研究过程的哪个步骤限制了语言，以及基于语言排除了多少文章，因为这还没有包括在PRISMA中。

而PRISMA 2009 [16]另外建议同时提供流程图和完整的搜索策略，我们发现77.1%的被收录的sr提供了流程图，只有55.0%的sr提供了至少一个数据库的完整搜索策略。值得注意的是，PRISMA于2009年推出[16]，但在一九九九年的法定人数委员会声明中，已建议显示流程图[15］．一方面，我们评估的大部分报告相关方面都是在整个研究期间推荐的。另一方面，我们发现了一些随着时间的推移的趋势，特别是在引入PRISMA之后流程图的呈现。有趣的是，2010年至2019年纳入的sr中有36.1%参考了PRISMA声明，而仔细观察2000年至2009年纳入的sr，就会发现几乎没有人参考了QUOROM声明。之前的研究也支持这一观点，表明期刊更频繁地将PRISMA指南包含在对作者的说明中[29，30.]并且作者的依从性有所提高[31，32］．

此外，法定人数[15]以及PRISMA 2009 [16]要求还必须报告有关出版期限和研究类型的限制，并说明其合理性。然而，近15%的sr没有报告出版期限，其中很少有人证明使用限制是合理的。由于我们研究中纳入的sr在发表时间的地点和方式方面显示出高度的异质性，因此并不总是能够确定是否应用了限制。此外，一个数据库的拦截日期在不同的sr之间有所不同。从研究报告中纳入的研究类型来看，值得注意的是，大多数研究报告只纳入了随机对照试验，而随机对照试验通常被认为具有更高的内部效度[33，34］．然而，我们发现多年来，sr中包含的研究类型的多样性有所增加，即较少sr仅包含rct。一些研究表明，nrsi对某些研究领域可能越来越重要[35，36］．

根据其他研究[2，37，38，39]，我们发现，Cochrane综述比非Cochrane综述更经常地满足被认为是方法学质量决定因素的方面。虽然几乎每一篇Cochrane综述都报告了检索日期(97.5%)，并提供了有效性评估(97.4%)，但非Cochrane综述分别只有87.9%和73.4%这样做。此外，与一半的非Cochrane评论相比，在所有Cochrane评论中，有四分之三的评论提供了完整的搜索策略。这符合Cochrane手册的严格要求[10]和Cochrane干预评价(MECIR)的方法学预期[40］．然而，MECIR强烈地倾向于PRISMA指南[16并在许多方面与之一致。而Cochrane手册[10]鼓励作者根据PRISMA的选择过程来说明研究的流程[16]，只有不到一半的Cochrane综述(83.4%)提供了流程图。然而，2010年之后，Cochrane综述的这一比例有所增加(见附加文件)2)．此外，令人惊讶的是，在一些Cochrane综述(12.3%)中，没有说明检索策略，而是引用了Cochrane检索组或Cochrane登记册。这种方法使重现性复杂化，并且与Cochrane手册不一致，后者要求提供至少一个数据库的完整搜索策略。其他一些研究表明，在Cochrane综述中，作者的方法偏离了Cochrane手册的建议[41，42］．然而，总体而言，很少有研究对Cochrane综述与非Cochrane综述的方法方法和报告进行比较。这很重要，因为Cochrane综述的特殊性可能导致检索缺陷[38，43］．

优势和局限性

据我们所知，很少有研究关注SRs的限制。以前的研究已经描述了方法学方法的一般优势和局限性[1］．只包括有效性的sr一方面增加了样本的同质性。另一方面，有时很难清楚地将这些sr与其他类型的评审区分开来，这可能导致了错误分类。此外，由于资源有限，只包括英语文章，这可能对限制的使用产生了影响，特别是在语言方面。数据仅由一位审稿人提取。然而，20%的提取数据由第二名独立审稿人进行检查，以确保方法学质量并降低偏倚风险。此外，还进行了可信度检查。尽管进行了各种努力，但对一些sr来说，明确分配所使用的限制是困难的。在提取sr中包含的研究类型时，发现临床试验的操作化缺乏一致性。此外，由于某些文章无法获得补充材料(例如搜索策略或流程图)，因此并不总是能够清楚地确定是否使用了语言限制。 In most cases, this was due to a missing or incorrect link, inconsistency between journals (some offer only a free full text, others offer only a free appendix, and some always have both available for free), or the problem that the appendix was not available on interlibrary loan. Although most of the recommendations we assessed were already mentioned in the QUOROM statement from 1999, some were first introduced in 2009 with PRISMA. However, more than 85% of included SRs were published between 2010 and 2019, and we also presented analyses stratified by years (see Table4及附加文件2)．

我们发现，在报告有效性sr的限制方面缺乏透明度。十分之四的sr缺乏所考虑的三个限制(出版期限、研究类型和语言)中至少一个的信息。总体而言，20%的研究人员没有提供有关语言限制的信息，而在其余的研究人员中，许多人没有报告应用限制的研究过程的步骤。只有少数sr证明了所使用的限制是合理的。此外，我们还发现了Cochrane综述报告中的弱点。应鼓励所有sr的作者以及编辑和审稿人改进对限制的报告。未来在PRISMA主检查表中明确处理限制报告可能有助于作者这样做。

本研究中使用和/或分析的数据集可根据合理要求从通讯作者处获得。

我们要感谢Amrei Hoffmann (AH)在筛选和数据提取方面的帮助。

由Projekt DEAL启动和组织的开放获取资金。这项研究没有从公共、商业或非营利部门的资助机构获得任何特定的资助。

作者及隶属关系

1. 德国奥尔登堡卡尔·冯·奥西茨基大学医学与健康科学学院卫生服务研究部

   Jasmin Helbach, Katharina Allers和Falk Hoffmann

2. 德国科隆威腾/赫尔德克大学医学院卫生学院手术医学研究所

   Dawid Pieper, Tim Mathes和Tanja Rombey

3. 勃兰登堡卫生科学学院，勃兰登堡医学院Theodor Fontane卫生服务和卫生系统研究所，Rüdersdorf，德国

   Dawid皮珀尔

4. 德国勃兰登堡医学院卫生服务研究中心Theodor Fontane, Rüdersdorf

   Dawid皮珀尔

5. 医学统计研究所，大学医学中心Göttingen, Göttingen，德国

   蒂姆数学

6. 卫生保健管理系，Technische Universität柏林，德国柏林

   挚友Rombey

7. 莱布尼茨预防研究和流行病学研究所- BIPS，不莱梅，德国

   Hajo西伊伯

8. 健康科学不来梅，不来梅大学，德国不来梅

   Hajo西伊伯

贡献

JH, FH, KA和DP设计了这项研究。JH筛选并提取数据。DP、TM、TR、KA、FH对数据进行了验证。JH和FH分析和解释了数据。JH写了手稿的第一个版本。所有作者都对文章进行了严格的修改，并阅读并批准了即将提交的文章的最终版本。

相应的作者

对应到茉莉花Helbach．

伦理批准并同意参与

不适用。

发表同意书

不适用。

相互竞争的利益

作者声明没有潜在的利益冲突。

出版商的注意

188博金宝app网施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。

开放获取本文遵循知识共享署名4.0国际许可协议，允许以任何媒介或格式使用、分享、改编、分发和复制，只要您对原作者和来源给予适当的署名，提供知识共享许可协议的链接，并注明是否有更改。本文中的图像或其他第三方材料包含在文章的创作共用许可协议中，除非在材料的信用额度中另有说明。如果材料未包含在文章的创作共用许可协议中，并且您的预期使用不被法定法规所允许或超出了允许的使用范围，您将需要直接获得版权所有者的许可。如欲查看本牌照的副本，请浏览http://creativecommons.org/licenses/by/4.0/．创作共用公共领域奉献弃权书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本条所提供的资料，除非在资料的信用额度中另有说明。

转载及权限