干预评论Cochrane平实语言摘要的结论性、语言特征和可读性:一项横断面研究

背景

向不同人群传播健康证据的最重要格式之一是Cochrane Plain Language summary (PLSs)。pls应该用简化的语言编写，易于理解，并为消费者提供清晰的信息。这项研究的目的是检查PLSs为外行人定制的程度，特别是通过提供结结性的、可理解的和可读的信息。

方法

该研究分析了介入研究的Cochrane PLSs (N= 4360)的英文版本，出版于1995年至2019年。我们将结论分为以下几类:“肯定的”、“肯定的不确定的”、“没有证据”、“没有意见”、“否定的”、“否定的不确定的”、“不清楚的”、“相等的”、“相等的不确定的”。使用语言查询和单词计数(LIWC)软件分析语言特征。可读性水平是通过SMOG(简单的Gobbledygook度量)指数来衡量的，该指数表示阅读文本所需的教育年数。对于每一篇PLS，我们还收集了以下数据:Cochrane评论网络、出版年份和作者数量。

结果

大多数PLSs(80%)没有结论性的信息。53%的PLSs对研究干预没有结论性意见或结论不明确。最常见的结论性类别是“没有意见”(30%)，它的频率随着时间的推移而增加。结论性分类同样分散在Cochrane网络中。pls是用客观的风格写的，分析的语气和影响力高于中性，但真实性和语气的关系较低。阅读PLSs所需的非特定教育年数中位数为14.9 (IQR为13.8至16.1)，表明该人需要近15年的普通教育才能轻松阅读内容。

结论

大多数Cochrane pls对所分析的干预效果没有提供结论性意见或不明确的结论。可读性分析表明，对于没有接受过医学教育的普通人群来说，这些文件可能很难阅读。我们的结果表明PLSs可能不是那么简单，科克伦PLSs的写作需要更多的努力。本研究中使用的工具可以改进PLSs，使其更适合非专业观众。

重要的是要确保公众和患者从可靠来源阅读关于健康的信息，并确保这些信息对目标受众是足够的，提供来自研究的最佳证据，以帮助对健康作出知情的选择[1，2］．一些医学期刊、出版商和网络认识到与非专业读者交流的目的，提供作者或编辑用通俗语言撰写的摘要、摘要或摘要的免费访问[3.］．

其中一个网络是Cochrane，这是一个促进循证健康决策的全球独立网络。它是消费者感兴趣的高质量和可靠信息的极好来源。所有的Cochrane系统评论包括plain language摘要(PLSs)，即用简单语言编写的简短摘要，可在Cochrane图书馆的网页上免费向公众提供[4，5］．Cochrane通过8个Cochrane评论小组的专题网络进行评论，每个小组专门针对不同的健康和医学领域[6］．不同的Cochrane实体可能有不同的方法来编写PLSs。

根据成功沟通的一般指导方针，2012年，Cochrane开始在新的Cochrane干预评论(PLEACS)中制定PLSs报告标准，并提出了编写PLSs的建议，这些建议应该为大多数没有受过大学教育的读者所理解[7］．然而，对2013年3月至2015年1月底发布的1738份Cochrane PLSs的分析表明，这些PLSs对PLEACS标准的符合性较低，且不一定避免复杂语言[8］．

2019年，Cochrane的成员还发布了额外的指南，以补充PLEACS，并帮助研究人员撰写PLSs [9]，科克伦继续其改善pls的项目[10，11］．这可能是有用的，因为在为消费者准备证据摘要时需要特别小心，而有效的沟通必须考虑到受众阅读和理解所传达信息的能力[12］．

最近的一些研究分析了Cochrane pls的内容及其可读性和语言特征[13，14］．一项评估Cochrane摘要可读性的研究发现，读者必须有较高的教育水平才能阅读PLS;然而，研究结果仅限于小样本PLSs，因为该研究包括454个PLSs [15］．除了可读性水平外，为消费者撰写文章时，语言特征、情感基调和感知的客观性也是需要考虑的重要方面，因为这可能会影响读者对文本的注意水平[16］．

此外，如果有系统的审查能够提供明确的结论和建议，那将是有益的。尽管已有研究调查了来自特定领域的Cochrane评论的结论性[17，18据我们所知，在已发表的文献中，还没有关于Cochrane PLSs结论性的大规模研究。

由于之前的所有研究都使用了小样本，且只关注公众研究报告的结论性、语言特征或可读性这一方面，因此本研究旨在对2019年2月之前发表的所有可用的英文版干预研究的Cochrane公众研究报告的这三个方面进行全面分析。我们还旨在分析这些变量在分析时间框架内的趋势，并探讨这些变量在不同的Cochrane网络之间是否存在差异。

研究设计，设置和合格的总结

在我们的横断面研究中，我们纳入了截至2019年2月发表的所有英文版干预研究系统综述的Cochrane PLSs。对于有多个版本的Cochrane评论，我们分析了PLSs的最新英文版。《公共科学论文》的全文被Cochrane提取并提供给我们。只有对干预措施的系统审查才有资格列入。

结果

结论性

通过评估PLSs是否包含结论性建议(即，关于干预措施是否有效和是否安全的明确结论)来分析PLSs的结论性。尽管之前的一些研究已经提出了结论性类别[19，20.，21，22，我们选择了一个更结构化的分类。我们将总结分为以下9个类别之一[23]:

1. 1）

   积极-有(中等/高质量)有效/安全的证据，即干预被证明有效/安全;

2. 2）

   积极的不确定的-有证据表明其有效性/安全性，但质量低/不确定或作者声明需要更多的研究);

3. 3）

   没有证据——没有来自随机对照试验的证据，因为文献搜索没有导致任何合格的研究，即空评论;

4. 4）

   没有意见——作者没有提供意见;

5. 5）

   阴性-有(中等/高质量)的证据表明没有效果或有伤害(无效/有害)的证据，或作者建议反对干预/比较，或不建议;

6. 6)

   阴性不确定-有无效/伤害的证据(证据表明没有效果或干预不安全)或作者建议反对干预/比较或不推荐;然而，证据质量低/不确定，或者作者声明需要更多的研究;

7. 7)

   不清楚-需要更多的研究(作者声明需要更多的研究);

8. 8）

   同等分析的干预措施具有同等的有效性/安全性;

9. 9)

   同样不确定-干预措施同样有效/安全;然而，证据的质量很低/不确定，或者作者声称需要更多的研究。

每个PLS被分配到一个单一的结论性类别。一些PLS评估了多个结果，而将PLS分类为阳性、阴性或相等的决定是基于与主要结果相关的结论，而不是次要结果。在有多个主要结果的情况下，评估人员之间进行讨论，根据PLS的总体建议将PLS置于结论性类别。

两名独立作者(AB, MF)首先进行了试点研究，对前100份PLSs进行了样本分析。在两位作者之间协调了标准之后，它被发送给其他作者进行审查和同意。该程序使两名独立作者(AB, MF)在评估结论的过程中协调标准，并相应地解决可能的主观性/认知偏差。

语言的特点

我们用语言分析软件(语言查询和字数- LIWC;http://liwc.wpengine.com/)，得出总结变量:分析思维、影响力、真实性、情感基调和字数变量，可从0到100分。分析思维变量与写作风格有关。分数越高，说明文本被认为更正式、更有逻辑、更有层次。影响力得分与自信和确定性有关，而得分越低意味着文本的语气越试探性。一个人的真实性越高，表示使用更多的人称代词、单数形式、现在时动词和相对性词。当文本反映更多积极情绪时，情感语调得分就会更高。24］．

可读性水平

各Cochrane PLS采用定量分析。R编程软件中的textstats包(https://quanteda.io/)，从而得到阅读Cochrane PLSs所需的教育水平，表示为SMOG (Gobbledygook的简单度量)指数。霾指数以数字表示，代表阅读分析文本所需的教育年数[25］．

系统评价信息

对于每个PLS，我们收集了相应的Cochrane评论网络(腹部和内分泌网络、急症和急诊护理、癌症、儿童和家庭、循环和呼吸、精神健康和神经科学、肌肉骨骼、口腔、皮肤和感觉以及公共卫生和卫生系统网络)的数据;一些评论的作者和评论发表的年份。

数据分析

结论性数据以频率和百分比表示，其他变量以中位数表示，具有相应的95%置信区间。霾指数变异性以四分位差(IQR)表示。LIWC变量:分析思维、影响力、真实性和情感基调以分数的形式被转换为从0到100的百分位数，而字数变量被简单地给出为每个PLS中的字数。具有95%置信区间的斯皮尔曼rho相关系数被用于衡量PLS发表年份、评论作者数量、字数、LIWC变量和PLS的SMOG指数之间的关联。为了比较PLEACS实施前后的语言特征，我们应用逻辑回归，其中输入语言变量作为预测变量，并根据PLS出版年份是在PLEACS之前(2013年或更早)还是在PLEACS之后(2014年或更晚)进行二分。所有分析均采用R软件4.0.0版本进行。(R Core Team, 2020)，并使用Microsoft Excel®创建图表(https://office.microsoft.com/excel)．

从数据集中所有可用的pl中(总计N= 4537)，我们排除了177篇综述(综合系统综述的综述)、方法学系统综述、诊断程序系统综述和灵活系统综述。我们纳入了4360个pls，对其进行了分析。大多数公共服务提供者来自儿童和家庭网络(表1)．所分析的长期负债的年际分布载于附录1，表S1．

大多数PLSs(80%)没有给读者一个结论性的信息。最常见的结论性类别是“无意见”类别(N= 1301;30%)，表明PLS没有提供关于治疗有效性的明确答案。其次最常见的类别是不明确的结论(N= 1012;23%)。不同类别在Cochrane网络中的出现频率差异较小(图1)。1)．随着PLSs数量的逐年增加，“模糊”结论(“肯定的不确定”、“没有证据”、“没有意见”、“否定的不确定”、“不确定”、“相等的不确定”)的比例保持稳定(图1)。2)．最短的pls是那些被归类为否定的决定性和“没有证据”的pls1)．

语言的特点

摘要变量的LIWC分析显示，与分析性写作相关的文本比例很高，影响力倾向略高于中性，与真实性和语气相关的文本比例较低(表1,无花果。3.)．

每个摘要的字数中位数为332 (IQR 215-439)，在观察期间，每个PLS的平均字数增加了(附录1，表S2)．平均而言，PLSs的字数最高的是癌症和肌肉骨骼、口腔、皮肤和感觉网络;低,平均数字请请从儿童和家庭网络中被发现(表2)．

可读性水平

针对雾霾指数的公共课程分析显示，阅读公共课程所需的非特定教育年数中位数为14.9 (IQR为13.8至16.1)。不同Cochrane评论网络的SMOG指数值略有不同。来自腹部和内分泌网络的PLSs的烟雾平均得分最高，来自肌肉骨骼、口腔、皮肤和感觉网络的PLSs的烟雾平均得分相对最低(表2)2)．

时间趋势

随着时间流的增加，作者数量、字数、影响力和真实性基调的提高以及SMOG指数的降低是相关的趋势，表明越新的PLSs越容易阅读(附录1，表S2)．实施PLEACS前后PLSs语言特征的差异很小，但可以注意到，PLSs在实施PLEACS后可读性略有提高(附录1，表S3)．

该研究发现，大多数PLSs(80%)没有以研究干预的结论性信息结束。对公众演讲的语言分析发现，这些公众演讲对读者来说不够吸引人，而是大多以正式和“冷淡”的风格书写。就阅读年龄和受教育程度而言，Cochrane pls的平均可读性水平略高于普通读者的推荐可读性，这表明没有医学教育的人可能难以阅读pls。

此外，最近的PLSs与较高的作者数量和字数、较高的影响力和真实性基调、较低的SMOG指数相关，表明它们更容易阅读。我们的结果表明，在过去的几年里，有一些改进提高了pls的可读性。但是，还需要进一步努力，以制作对外行观众来说信息量更大、可读性更强的公众资料表。

多年来，“非结论性”结论的频率保持一致。超过一半的PLSs在其结论中没有提供任何关于所调查的干预措施的意见，或提供不明确的结论，从而剥夺了读者关于干预措施的有效性和安全性的最终信息。Cochrane pls的目的是创造患者能够理解和使用的健康信息[26］．公众科学杂志的读者可能会对他们的医学问题寻求一个简单、明确和结论性的答案。我们承认，系统的审查因为没有提供具体的指导而受到批评，相反，经常得出结论:几乎没有证据来回答这个问题[27］．但是，我们需要将结论为“没有证据”的pls与那些没有提供意见或结论不明确的pls区分开来。需要强调的是，不应将缺乏结论性视为系统综述或其PLS的弱点。如果PLS准确地反映了系统综述的信息，则不应根据结论性来判断PLS的好坏。相反，如果PLS没有包含一个明确的结论信息，或者它根本没有对研究干预的最终意见，这应该被认为是一个写得很差的PLS。

非结论性结果比例较高也可能是由于对研究实践和报告采用了更可靠和批判性的方法。这与Cochrane评论的方法尤其相关，因为它们被认为是更高质量的评论[28］．从一个外行人的角度理解不确定性需要意识到方法论上可靠的系统综述往往是不确定性的，这是一定程度的科学卫生素养所带来的知识。

将非结论性类别的字数测试结果与结论性类别的字数测试结果进行比较，可以看到，结论模糊的PLSs在综述中使用的字数较多。此外，在结论性方面被归类为“不清楚”的PLSs，导致了最高的平均字数得分，这意味着在有冲突和有争议的发现的情况下，摘要可能需要更多的单词来支持更广泛的、不一致的推理的解释，这导致作者的判断不明确。一般而言，如前所述[8，我们发现，平均而言，Cochrane pls比Cochrane推荐的短[9，但我们包含了额外的变量和比较。

研究发现，PLSs中与分析语调和影响力相关的词汇数量相对较高，而与情感语调相关的词汇数量较低，这与之前在较小规模上的研究结果一致[15］．高水平的分析性语气暗示着正式的、逻辑的和有层次的思维[29]，而这些特点符合《公众资料表》的推荐格式及结构[7，9］．此外，PLSs的作者大多是科学家，他们被训练以正式和逻辑的风格思考和写作，当他们为不同的读者写作时，这种风格仍然很明显。在对已经接受过正式写作训练的学生进行的研究中，也发现了这种现象。当他们被要求用不那么正式的科学风格写作时，他们的文本显示出更高的LIWC分析分数[30.］．因此，在PLSs中检测到的较高的分析语气可能是由于作者受过写作正式和逻辑文本结构的训练。

影响力，一种语言特征，暗示着作者的自信和专业知识，相对较高[19，29］．此外，PLSs中较高的影响力符合PLSs作者是他们所写特定主题的专家的考虑。在PLSs中发现的文本真实性较低的数字，可能与一种更谨慎的、距离较远的话语形式有关[24］．比较结论性的类别，我们发现在模糊的、非结论性的摘要中真实性略高。因为较高的真实性意味着文本的诚实、个性和暴露的特征[24]，也许在真实性较高的摘要中，作者不想夸大所描述的干预措施的效果，导致没有明确的结论。此外，“无证据”结论性类别，导致真实性的数字最低，是使用第一人称代词比例最低的类别，因为PLSs的作者明确声明，在这些情况下，他们的搜索没有得到合格的研究或随机对照试验，因此不能给出个人建议。

总体而言，PLSs作为LIWC汇总变量的情绪调水平较低，与焦虑、悲伤、敌意等消极情绪调相关[24］．我们认为消极情绪语调的原因在于与消极情绪相关的词汇的存在，如疼痛或疾病。我们注意到，与其他Cochrane网络相比，来自公共卫生和卫生系统(PH&HS)网络的文本引发了略高的情感色调。与其他网络不同，PH&HS网络的pls与负面情绪基调的关联程度较低，可能是由于其主题范围不同:从职业健康到全球健康，与消费者和沟通相关的干预措施[31]，但仍远未达到中性、中等水平的情绪基调。PH&HS和儿童与家庭网络也拥有最高的影响力和真实性，使这两个网络与其他网络相比是最吸引人的。未来的研究应该检查这种差异存在的原因，也许可以使用文本挖掘的方法。我们发现Cochrane网络在每篇评论的字数上有所不同，癌症和肌肉骨骼、口腔、皮肤和感觉网络在每篇评论的字数上最高。

大部分被分析的Cochrane pls的可读性得分相对较高，这可能不会对记者、专业人士或受过高等教育的观众的理解产生影响。然而，高可读性可能会使没有接受过大学教育或没有接受过特定医学教育或培训的普通民众难以阅读公共科学手册。科克伦评论网络的可读性评分是相似的，在不同的结论类别中也是如此。与之前分析PLSs可读性的研究一致[32]，我们建议PLS作者在编写PLS过程中使用可读性计算器作为工具。承认相当的技能和时间需要写一个高质量的PLS，作者仍然可以尽可能地简化语言。阅读公众谘询书的困难，可能妨碍公众和病人从研究中获得最佳证据，进而妨碍作出知情决定的过程[33］．

我们的发现显示了发表年份和作者数量之间的联系，这与最近的一项研究一致，该研究发现Cochrane评论中的作者数量越来越多[34］．此外，我们对作者数量和PLS字数之间的关联的检测与其他领域的结果一致[35］．此外，字数较高的pl的可读性得分略低。这可能会导致这样一种可能性，即每个作者的贡献可能会导致额外的文本，从而导致更长的文本，而更长的文本允许使用更多简单、常见的日常词汇来解释。

我们还发现，在引入PLEACS标准之前编写的PLSs与在PLEACS标准之后发布的PLSs在几个维度上存在差异，尽管这些差异很小。在此分析中，我们将2014年作为PLEACS于2013年发布以来的截止年[7，8］．引入PLEACS后，PLSs的可读性得分较低，与分析性、真实性和情感语调相关的词汇数量略高。然而，这些差异不能被认为与PLEACS有因果关系，因为我们不知道PLSs的作者是否遵循PLEACS。先前对大样本的分析表明PLSs很少遵循PLEACS [8］．关于编写PLSs的进一步指导，于2019年发布，作为PLEACS的补充[9]在我们的搜索日期之后出版，因此不会影响我们的结果。

未来的pls写作指南应包括建议作者如何写出清晰的结论，并使用工具提高这些摘要的语言特点和可读性。为了解决外行读者遇到非结论性PLSs时可能的怀疑或误解，这些PLSs的作者可以参考我们用于结论性的类别之一。作者可以明确声明，具体的系统综述可能无法提供关于分析干预的明确答案，并建议外行读者进一步参与。如果PLS的消费者是寻求针对特定健康问题的干预措施的患者，则可考虑进行后续研究，或咨询医疗专家以采取个性化方法。

限制

我们的研究结果应该从几个局限性的角度来解释。结论性由两名独立阅读评论的作者进行评估，并对每篇评论的结论性类别做出判断。这些分类可以被认为是主观的;然而，我们尽了最大努力使用与最小化偏差相关的方法。我们使用了试点评估、校准练习和与其他作者的共识。

我们的样本很大(N= 4360)，因为该研究分析了2019年2月之前发表的所有PLSs，在2019年初秋开始分析时，研究团队可以获得这些PLSs。然而，公认的是，2019年2月之后发布的PLSs可能有不同的特征。因此，我们的研究结果不能推广到本研究涵盖的时间框架之外发表的PLSs。

雾霾可读性公式是根据推荐的、最适合于医疗保健应用的可用可读性公式中选择的[36］．虽然较高的可读性分数表明所分析的文本可能难以阅读，从而难以理解，但我们不能自动地将可读性分数较低的文本解释为读者更容易理解。公认的是，教育质量评估没有直接以确定的方式衡量具体的教育需求，也没有考虑到读者的具体特点。尽管如此，我们仍然假设较低的可读性分数是成功理解的先决条件。

我们的研究表明，Cochrane综述的PLSs可以在结论措辞、语言特征、字数和可读性方面得到改进。虽然在分析的年份里，公众信息表的语言特征有所改善，但由于结论不明确的公众信息表的数量不断增加，公众信息表对外行人的可用性可能正在下降。本研究中使用的工具可以被PLS作者用来准备总结，这将更适合于外行人观众。进一步的研究应继续定期评估新的Cochrane pls的特征。

在目前的研究中使用和分析的数据集在开放科学框架网站上公开，链接如下:https://osf.io/qvu3a/．

请:

平实的语言总结

LIWC:

语言查询和字数统计

烟雾:

官样文章可读性公式的简单度量

PLEACS:

对Cochrane摘要作者的朴素语言期望

我们感谢Cochrane图书馆信息专家团队帮助我们提取PLS数据库。

本研究由克罗地亚科学基金会资助，项目为“健康专业:实践和研究中的决策- prodem”(IP-2019-04-4882)。资助者不参与研究设计、数据收集和解释，也不参与决定是否将研究成果提交出版。

作者和联系

1. 生物医学转化研究，斯普利特大学医学院，Šoltanska 2，斯普利特，21000，克罗地亚

   亚历山德拉·巴尼克和雷亚·罗杰

2. 图兹拉大学医学院，Tihomila markoviha博士，图兹拉，75000，波斯尼亚和黑塞哥维那

   马希尔·Fidahić

3. 克罗地亚斯普利特市斯宾西维耶瓦5号斯普利特大学斯普利特大学医院中心医学院肿瘤科

   伊莲娜Šuto

4. 斯普利特大学医学院生物医学和健康研究系，Šoltanska 2，克罗地亚斯普利特，21000

   意图Roje

5. 斯普利特大学科学与创新系技术转让办公室，克罗地亚斯普利特21000路31号

   伊凡娜Vuka

6. 克罗地亚天主教大学循证医学和保健中心，克罗地亚萨格勒布伊利卡242,1万

   利维亚Puljak

7. 克罗地亚科克伦大学斯普利特医学院生物医学和健康研究部，Šoltanska 2，克罗地亚斯普利特，21000

   伊凡Buljan

贡献

阿瑟:概念化;方法;调查;写作——撰写原始草案;可视化;监督;项目管理。MF:方法论;调查。JŠ:调查。 RR: Investigation; Writing – Review & Editing. IV: Investigation. LP: Writing – Review and Editing; Supervision. IB: Conceptualization; Methodology; Software; Formal analysis; Investigation; Resources; Data curation; Writing – Original Draft preparation; Review & Editing; Visualization; Supervision. All authors have approved the submitted version.

相应的作者

对应到Aleksandra巴尼ć．

伦理批准和同意参与

不适用。

同意出版

不适用。

相互竞争的利益

作者声明他们没有竞争利益。

出版商的注意

188博金宝app网施普林格自然对出版的地图和机构附属的管辖权要求保持中立。

开放获取本文遵循创作共用署名4.0国际许可协议(Creative Commons Attribution 4.0 International License)，该协议允许在任何媒体或格式中使用、分享、改编、分发和复制，只要您给予原作者和来源适当的署名，提供创作共用许可协议的链接，并说明是否有更改。本文中的图像或其他第三方材料均包含在本文的知识共享许可中，除非在材料的信用额度中另有说明。如果材料不包含在文章的创作共用许可中，并且您的预期用途不被法律法规允许或超出了允许的用途，您将需要直接从版权所有者那里获得许可。如欲查阅本牌照副本，请浏览http://creativecommons.org/licenses/by/4.0/．知识共享公共领域转让豁免书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本文提供的数据，除非在对数据的信用额度中另有说明。

再版和权限