跳到主要内容

COVID-19招聘方法中的前瞻性抽样偏差:来自一项测试招聘材料的全国随机调查的实验证据

摘要

背景

在COVID-19大流行的背景下,社会科学研究需要招募许多潜在参与者。许多研究人员明确利用了公众对COVID-19的广泛兴趣来宣传他们的研究。然而,利用这种兴趣,可能会因为对主题的不同兴趣而产生不具代表性的样本。在本研究中,我们调查了调查招聘材料的设计,以尊重最终参与者的观点。

方法

在一项泛加拿大的调查中(分层随机邮件抽样,n= 1969年),对潜在应答者的招聘邀请设计在实验上有所不同,一些潜在应答者收到针对covid的招聘信息,另一些收到更一般的招聘信息(描述为关于健康和卫生政策的研究)。然而,所有受访者都参加了同一项调查,以便在这些群体之间进行人口统计和态度特征的比较。

结果

通过COVID-19特定明信片招募的受访者与非COVID-19受访者相比,更有可能同意COVID-19是严重的,并相信他们可能感染COVID-19(比值= 0.71,p= 0.04;= 0.74,p分别为= 0.03;将健康状况与COVID-19相比较)。与非COVID-19调查的受访者相比,特定COVID-19的受访者更可能不同意COVID-19的威胁被夸大了(比= 1.44,p= 0.02)。

结论

2019冠状病毒病招聘框架获得了更高的回复率,与收到中性框架招聘材料的受访者相比,样本对冠状病毒风险和影响更担忧。

同行评审报告

背景

COVID-19危机在世界各地引发了一波基于调查的研究,尽管有时质量令人怀疑[1].设计良好的COVID-19调查研究可以帮助确定社会影响,衡量态度,记录受访者的适应方式[2,这对于理解大流行期间的公众行为至关重要[3.4].此外,精心设计的社会研究有助于为政策和应对设计提供信息[5通过提供有关实地情况和各种干预措施有效性的实时证据。

然而,这种研究的价值可能会受到方法论错误和偏见的严重限制[67].对COVID-19调查研究的调查已经证明了影响,例如,在项目设计层面引入的偏差(例如,问题或提示的制定方式),如社会可取性偏差和研究可取性偏差可以影响受访者提供的回答,从而破坏有关公共行为的数据质量[8910].在参与研究的人员方面,调查也可能受到系统性偏差的影响,例如,在放大某些群体对其他群体的参与方面,选择和非回应偏差的影响[1112或队列研究中的生存偏差[13].例如,如果具有社会人口学身份的特定群体不太可能参与,结果的代表性可能会受到损害,而这种损害在以后很难完全控制。14].

在本文中,我们研究了系统偏差的另一个潜在来源:由在线调查中使用的特定招聘工具引起的抽样偏差。即使是设计良好的概率样本,其代表性也取决于哪些潜在的受访者真正参与了研究,而不是忽视招募工作、减少参与或在研究期间退出。此前来自政治学领域的研究表明,在政治问题调查中,招聘信息会影响调查样本的代表性[15].然而,还没有在公共卫生背景或紧急情况下进行类似的研究,以了解这些影响在2019冠状病毒病等紧迫的卫生危机期间如何发挥作用。在这项研究中,我们的目的是通过使用加拿大的全国性调查来调查招聘邀请是否引入抽样偏差。

在本文中,我们比较了潜在受访者收到的招聘工具(广告调查的明信片)。我们将宣传“COVID”研究的明信片与宣传一般性健康调查的明信片进行了对比(进一步细节见下文,以及补充材料准确的明信片设计)。我们测试了两个假设:

  • H1。针对covid - 19的明信片将收到更高的回复率。

  • H2。来自covid - 19特定明信片的受访者将更关注冠状病毒。

方法

在加拿大关于COVID-19的全国调查期间[16的研究中,研究人员采用了“明信片驱动到网络”的方式招募参与者(即,家庭收到了实体明信片,要求他们完成一项在线调查,上面有URL地址和可扫描的二维码)。抽样框架包括所有有邮寄地址的加拿大家庭。根据加拿大的城市/农村和公寓/房屋居住分类,根据邮件递送路线随机选取了154,758个家庭,同时对较小的省份和地区进行了过采样。脚注1这一抽样框架是通过与加拿大邮政的合作获得的,可以对所有拥有邮寄地址的加拿大人进行全面覆盖。加拿大邮政按照研究团队关于这些参数的说明进行了邮件递送路线的随机选择。

从2020年3月23日开始,潜在的参与者被发送一张明信片,要求参与在线调查,并提供奖金(200美元奖金)。三分之二的样本收到了询问受访者对2019冠状病毒病看法的明信片,而其余的样本则被询问了他们对“加拿大医疗保健”的看法。脚注2明信片治疗组(COVID vs.非COVID)是随机的,同样遵循上面提到的相同分层。两张明信片的设计都是一致的(双语,包括大学和基金的标志),不同的只是措辞和图像使用,并可以作为图审查。SM。1和SM。2在补充材料中。为了本研究的目的,我们只考虑了分娩后最初三周内的回复(少数受访者在随后的几周内完成了调查;由于病例数、政府措施和公众观念在整个危机期间迅速变化,因此将它们排除在分析之外,以尽量减少这些暂时的长尾反应的影响)。使用Qualia Analytics在线调查平台收集了三周(直到2020年4月12日)的数据,然后重复数据删除,以确保每人一个回答(在调查期间保留最完整的回答)。

我们调查了4个李克特类型的项目(选项“非常不同意”、“不同意”、“中立”、“同意”和“非常同意”):(1)“COVID-19可能会很严重”(2)“COVID-19不会影响很多加拿大人”(3)“我可能会感染COVID-19”,以及(4)“加拿大联邦政府夸大了COVID-19构成的威胁”。脚注3.我们使用多项式有序逻辑回归和Kruskal-Wallis卡方检验来比较COVID和非COVID招募类型的反应。COVID-19特异性应答者是明信片类型的多项式有序logistic回归参考组。对顺序回归的比例优势假设进行了检验,并没有找到证据来拒绝基于数据的假设(p< 0.05) (17].所有分析都使用R(4.0.2版本),使用tidyverse、readr、ggpubr、ggplot2、HH、MASS和lsr包(可根据要求提供代码和原始数据;参见数据可用性声明)。

为了控制来自两种明信片类型的受访者之间潜在的人口统计学差异,我们通过t检验或卡方检验(p值的阈值p< 0.05)。显著的协变量(年龄、性别和地区)被确定并纳入所有分析。鉴于数据收集历时三周,我们还包括响应周和地区脚注4作为协变量,以帮助解释不断变化的流行病学、政治和社会格局。脚注5

结果

总共n= 1969名参与者在最初的两周内响应,并通过了数据清理/验证。样本的平均年龄为49岁(SD = 16.73),但不同应答组之间存在差异,一般健康组略大(B = 3.91),p= 0.001)(补充表SM。2).调查对象的地域分布也有差异(χ2= 16.95,克莱默V = 0.09,p= 0.005),来自安大略和魁北克(两个人口最多的省份)的受访者在COVID明信片中所占比例略高(补充表SM。2).也就是说,如果知道明信片的类型,就可以准确预测应答地点(按省份)9%的变化(反之亦然)。性别也有差异(χ2= 4.44,克莱默V = 0.05,p= 0.04),在一般健康调查群体中女性受访者的比例略高(补充表SM。2).也就是说,如果知道明信片的类型,那么就可以准确预测5%的性别差异(反之亦然)。明信片类别之间在种族认同或教育程度上无统计学差异(补充表SM。2).

  • H1。COVID明信片的回复率将高于健康明信片。

证实了这一假设,两张明信片的回复率有显著差异。尽管寄出了500,082张普通健康明信片,但只有243份回复来自这个招聘工具(回复率仅为0.49%)。相比之下,104,676张COVID-19明信片中有1730名受访者,回复率为1.65%。这表明,主题明信片的回复率可远远高于更“中性”的招聘信息,特别是在引起重大公众关注的公共卫生紧急事件的背景下(特别是在2020年初的情况下,在COVID-19调查过度饱和可能导致受访者疲劳之前)。

  • H2。来自COVID明信片的受访者对冠状病毒的担忧程度高于健康样本。

然而,这种提高的回复率是有代价的:即使控制了年龄、性别和地区分布的差异,每张明信片的回答者表达的观点还是有差异的。我们研究了4个COVID风险认知问题(见图。1),发现其中三个有显著的统计学差异。

图1
图1

招聘类型对COVID-19风险认知的差异(covid特异性与一般健康状况)

两组间总体响应分布差异有统计学意义(K-W χ2= 4.09,p= 0.04)当回答“患COVID-19可能是严重的”这一陈述时。在调整了年龄、性别、地区和响应周后,非COVID-19明信片回答者比COVID-19特定明信片回答者更不可能同意这一说法(调整后的优势比(aOR) = 0.714, 95% CI = 0.522-0.976)(补充表SM。3.).同样,对于“我可能会得COVID-19”这一命题,受访群体的看法也存在分歧(K-W χ2= 6.81,p= 0.001),非covid - 19明信片受访者不太可能同意这一说法(aOR = 0.739, 95% CI = 0.561-972)(补充表SM。4).与上述结果一致的是,普通健康明信片应答者比特定应答者更倾向于认为“COVID-19的威胁被夸大了”(aOR = 1.441, 95% CI = 1.073-1.935),再次表明两应答组之间的差异具有统计学意义(K-W χ2= 2.85,p= 0.09)(补充表SM。5).对“COVID-19不会影响许多加拿大人”的回答组间无统计学差异(K-W χ2= 2.60,p= 0.11;aOR = 1.213, 95% CI = 0.918-1.604)(补充表SM。5).

讨论

调查可以成为收集关于COVID-19等新出现危机的民意和经验的宝贵工具。然而,由于研究方法设计的问题,他们很容易受到偏差的影响。我们的研究通过识别和记录COVID-19研究背景下的一种微妙的偏见表现,推进了这一文献;也就是说,招聘材料本身可以决定谁选择回应和/或他们选择如何参与。

虽然这个实验记录了这种偏差的结果,但对于这种偏差产生的机制有多种可能的解释。一种直接的可能性是,COVID-19明信片产生了采样偏差,这一主题的特殊性——以及大规模的公众关注——更强烈地激发了那些持更关心态度的人的参与(而不是说,不感兴趣的人丢弃了明信片)。然而,也可能存在其他的可能性。例如,研究者的需求偏差(即,受访者感知并试图实现他们认为研究者希望听到的内容;在这种情况下,明信片暗示了对COVID-19感到担忧的研究人员)或启动(即,影响后续回应中特定主题优先性的初始刺激;在这种情况下,明信片主题突出了COVID-19)都是可能的替代解释框架。一位评论家还指出了“马姆奎斯特偏见”的可能作用[18],在COVID明信片上使用了更吸引人的图像(病毒的图形表示,而不是单调的手术室)。进一步的研究将有助于在实验条件下区分这些因果机制。

对于公共卫生从业者和研究人员来说,这些发现具有一些实际意义。虽然抽样偏差通常被认为是在“明显的”例子中(例如,在招聘中缺少关键的人口统计数据),但我们的研究结果表明,显著的偏差可以以更微妙的方式发生,比如招聘信息的设计。因此,研究人员仔细思考和测试他们使用的招募工具,并透明地分享他们用于审稿人和读者检查的工具是至关重要的。同样,在依赖调查结果之前,从业者应该批判性地评估调查招募策略,以免抽样偏差导致不具代表性的结果。在COVID-19大流行的背景下,这些教训至关重要,因为很大一部分调查研究明确使用COVID-19招聘信息作为获得更高公众参与率的一种方式,同时可能引入我们在这里发现的偏见。

我们还发现,有针对性的信息可以有助于提高回复率。然而,这些增加的回复率受到了过度抽样的可能性的阻碍。因此,研究人员应该考虑使用使用更通用框架的招聘工具来最小化抽样偏差的风险,或分析策略来校准特定环境的偏差。

当然,这项研究也有局限性。例如,两种招聘方式的回复率都非常低。虽然这在邮件招聘中并不罕见,但在大流行期间使用类似方法的其他研究取得了较高的回复率[1920.].可以进行进一步调查,以分离可能的covid - 19特定影响(例如,早期对邮件表面传播恐惧的担忧)、本研究的细节(例如,明信片的大小、材料或设计等方面是否影响结果)或一般的邮件征求。此外,“健康”框架并不代表一个真正的“中立”选项:虽然它肯定比针对covid - 19的广告更普通,但与其他可能的招聘材料相比,它可能有自己的偏见。正如上文所讨论的,要提出一种理论上合理的方法来控制“局部风险”,这是一个高度主观的变量,也是非常困难的。在这个问题上应该做更多的工作,以发展出解释这些看法的技术。最后,正如一位审稿人指出的那样,还有其他几个相关因素和变量——比如焦虑、抑郁和身体健康——探索它们对反应偏差的潜在影响将是非常有趣的。这些都是重要的主题,尽管它们非常复杂(例如,了解已存在的心理健康状况、covid诱导或加剧的心理健康状况和反应偏差之间的关系),值得在未来的研究中进行更充分的调查。

结论

在这里,我们发现使用明确提及COVID-19的招聘邀请增加了参与,但也增加了受访者对健康危机的关注程度。一个可能的解释途径是抽样偏差的存在,其中招聘工具影响哪些潜在受访者可能实际参与。在2019冠状病毒病等情况下,研究人员和研究消费者应特别小心,因为在这种情况下,人们倾向于明确使用具有重大公众重要性的主题(特别是在便利抽样等方法已经存在问题的情况下)作为提高回复率的一种方式。突出热点问题(如2019冠状病毒病)的招聘信息可能会通过系统性偏见无意中扭曲自己的结果。

数据和材料的可用性

本文使用的数据集和分析文件可根据合理要求从通讯作者处获得。整个调查数据集将在研究结束时开放获取;看到https://www.cemppr.org/research/covid-19-in-canada有关更多细节和更新时发布。

笔记

  1. 过采样的详细情况见表SM。1.,显示每个省抽样的预期住户数目与实际抽样数目的比率,以及预期的百分比(> 1代表过抽样;< 1表示采样不足)。

  2. 这种不均衡的分化反映了这一特殊调查和调查项目的总体目标(追踪对各种各样话题的态度)之间的妥协。在当时和今天,针对新冠肺炎的在线调查默认使用的是针对新冠肺炎的招聘信息。此外,虽然假设1(提高针对covid - 19的明信片的回复率)似乎很有可能(因此值得利用),但进行调查的整个研究联盟的所有成员都被假设2说服了(在2020年3月的背景下,各意识形态光谱对该主题的兴趣增强,这将导致对回应者的系统性偏见)。因此,这种折衷的立场(三分之一/三分之二的划分)让我们有机会调查这种默认的做法,如果这种偏差确实存在,通知校准我们自己的工作,并为那些被第一个假设(而不是第二个假设)说服的人提供更高的回应率。

  3. 对于加拿大医疗保健的观察员来说,这通常是各省的责任(尽管地方卫生机构/官员和联邦对等机构发挥了非常积极的作用,鉴于COVID的全方位性质),我们选择了联邦有两个原因。首先,在2020年初设计这项调查时,联邦政府在管理危机方面发挥了过大的作用(例如,在讨论关闭边境;加拿大公共卫生局在疾病监测和初步应对方面的作用)。第二,因为这个问题是向来自全国各地的受访者提出的,询问他们对联邦修辞有助于消除各省不同的反应/修辞作为一个复杂因素。在Kennedy等人的2020年和其他工作中,我们探索了调查中的其他项目,旨在专门调查联邦、省和地方的差异(例如,对不同级别政府的信任;信息来源;接受政策;等等)。

  4. 使用的地区是不列颠哥伦比亚,安大略省,魁北克省,草原,沿海和领土。

  5. 为“本地”病例计数选择适当的控制是一个令人担忧的问题。尚不清楚参与者如何定义“本地”(例如,在城市、地区、省份内;附近的家、工作、爱人;等等)。虽然我们在本文中使用了反应日期和地区的不完善代理作为检查,但应该进一步开展工作,了解公众对哪些风险的表征最为显著(例如,公众是考虑省级案例量、地方案例量、他们工作或父母居住地区的案例量,等等)。

参考文献

  1. Bramstedt KA。COVID-19大流行期间不合格研究的大屠杀:对质量的呼吁。医学伦理学杂志。2020;46(12):803-7。

    文章谷歌学者

  2. Kennedy EB, Jensen EA, Jensen A.突发事件和公共卫生危机期间基于调查的研究的方法考虑:提高证据和科学传播的质量。前沿科学通讯。2021;在线。

  3. 陈DK,张昌强,Josefsson KW.为什么人们不能坚持新冠肺炎的预防行为?从一个综合的行为改变模型的观点。感染控制流行病学。2020:1-6 pmid:32408917。

  4. O'Connor DB, Aggleton JP, Chakrabarti B, Cooper CL, Creswell C, Dunsmuir S,等。2019冠状病毒病大流行及以后的研究重点:呼吁为心理科学采取行动。中华心理杂志。2020;111:603-29。

    文章谷歌学者

  5. 世界卫生组织。协调一致的全球研究路线图;2020.2019新型冠状病毒在网上,可用:https://www.who.int/publications/m/item/a-coordinated-global-research-roadmap

    谷歌学者

  6. Smith BK, Jensen EA.对英国公众对科学态度的“黄金标准”调查的评论。公众理解科学2016;25:54 - 70。https://doi.org/10.1177/0963662515623248

    文章PubMed谷歌学者

  7. 肯尼迪EB,詹森EA,詹森AM。突发事件和公共卫生危机期间基于调查的研究的方法考虑:提高证据和科学传播的质量。Commun前面。2021;226年。

  8. 李文华,李文华,李文华,等。如何调查公民对新冠肺炎公共卫生措施的遵守情况?三个调查实验的证据。中国政治科学,2020;8(3):310-7。

    文章谷歌学者

  9. Larsen M, Nyrup J, Petersen MB.对公众遵守COVID-19法规的调查估计是否存在社会愿望偏差?J行为出版管理。2020;3(2)。

  10. 杜士杰,Bélanger É,达松内维尔,拉查佩尔,纳多,比歇尔,等。无负罪感的策略增加了自我报告不遵守COVID-19预防措施的情况:来自12个国家的实验证据。《公共科学图书馆•综合》。2021;16 (4):e0249914。

    文章中科院谷歌学者

  11. De Man J, Campbell L, Tabana H, Wouters E. 2019冠状病毒病疫情期间在线研究的大流行。BMJ开放。2021;11 (2):e043866。

    文章谷歌学者

  12. Fernández-Sanlés A, Smith D, Clayton GL, Northstone K, Carter AR, Millard LA,等。COVID-19研究中问卷邀请和回答的偏差:使用ALSPAC的一个例子Wellcome Open Res. 2021;6:184。

    文章谷歌学者

  13. 泽,m E。,Wiley, J. F., Czeisler, C. A., Rajaratnam, S. M., & Howard, M. E. (2021). Uncovering survivorship Bias in longitudinal mental health surveys during the COVID-19 pandemic. medRxiv.

  14. Joyal-Desmarais K, Stojanovic J, Kennedy E, Enticott J, Boucher VG, Vo H,等。在调整COVID-19研究中的抽样偏差时,协变量的表现如何?洞察多元宇宙肛门。2021年。

  15. McGregor M, Pruysers S, Goodman N, Spicer Z.调查招聘信息和报告投票率——一项实验研究。J Elect Publ Opin Part. 2020:1-17。

  16. Kennedy, E. B, Vikse, J., Chaufan, C., O 'Doherty, K., Wu, C., Qian, Y.,和Fafard, P.(2020)。加拿大COVID-19社会影响调查。成果#1:风险认知、信任、影响和应对(约克大学灾害和应急管理技术报告#004)的快速总结。https://doi.org/10.6084/m9.figshare.12121905

  17. 第五章:拟合广义线性模型。在:应用回归的R和S-PLUS伴侣;2002.p . 155 - 89。

    谷歌学者

  18. Butkevich AG, Berdyugin AV, Teerikorpi P.恒星天文学中的统计偏差:马尔姆奎斯特偏差的重新审视。科学通报,2005;362(1):321-30。

    文章谷歌学者

  19. 感受性分析。(2021)。SFI科学在爱尔兰晴雨表2020:研究报告。sfi -科学- - - - - - -爱尔兰- - 2020研究——report.pdf晴雨表

  20. Jensen EA, Pfleger A, Herbig L, Wagoner B, Lorenz L, Watzlawik M.是什么推动了德国疫苗接种阴谋论的信仰?前面Commun》2021。https://doi.org/10.3389/fcomm.2021.678335

下载参考

确认

不适用。

资金

该研究得到了社会科学和人文科学研究委员会的资助,资助号为1006-2019-0001。

作者信息

作者和联系

作者

贡献

EK, JV,和EJ设计了调查和实验设计。MC和MJ进行了初步的统计分析并制作了图表。EK主导了手稿的撰写和整体编辑。所有作者阅读,编辑,并批准最终手稿。

相应的作者

对应到埃里克·b·肯尼迪

道德声明

伦理批准和同意参与

该项目的伦理批准由约克大学研究伦理办公室提供,证书编号2020-065。在选择参与之前,向参与者提供了知情同意过程,包括研究、联系方式和出版信息。研究是按照约克大学的伦理准则进行的。

同意出版

不适用。

相互竞争的利益

作者声明他们没有竞争利益。

额外的信息

出版商的注意

188博金宝app网施普林格自然对出版的地图和机构附属的管辖权要求保持中立。

补充信息

附加文件1:表sm - 1。

预期(基于人口)和实际收到明信片的家庭数量。图SM.1。“针对新冠肺炎”的明信片设计。图SM.2。“一般健康”明信片设计。表SM.2。研究样本的明信片类型的描述性特征。表SM.3。同意以下说法的可能性:“感染COVID-19可能很严重。”表SM.4。同意以下说法的可能性:“我可能会感染COVID-19。”表SM.5。同意以下说法的可能性:“加拿大联邦政府夸大了COVID-19带来的威胁。”表SM.6。同意以下说法的可能性:“COVID-19不会影响很多加拿大人。”

权利和权限

开放获取本文遵循创作共用署名4.0国际许可协议(Creative Commons Attribution 4.0 International License),该协议允许在任何媒体或格式中使用、分享、改编、分发和复制,只要您给予原作者和来源适当的署名,提供创作共用许可协议的链接,并说明是否有更改。本文中的图片或其他第三方材料包含在文章的创作共用许可中,除非在材料的信用额度中另有说明。如果材料不包含在文章的创作共用许可中,并且您的预期用途不被法律法规允许或超出了允许的用途,您将需要直接从版权所有者那里获得许可。欲查看此许可证的副本,请访问http://creativecommons.org/licenses/by/4.0/.创作共用公共领域奉献放弃书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本文提供的数据,除非在数据的信用额度中另有说明。

再版和权限

关于这篇文章

通过CrossMark验证货币和真实性

引用这篇文章

肯尼迪,e。b。查里弗森,M。et al。COVID-19招聘方法中的前瞻性抽样偏差:来自一项测试招聘材料的全国随机调查的实验证据。BMC医学治疗方法22251(2022)。https://doi.org/10.1186/s12874-022-01726-2

下载引用

  • 收到了

  • 接受

  • 发表

  • DOIhttps://doi.org/10.1186/s12874-022-01726-2

关键字

  • 新型冠状病毒肺炎
  • 调查研究
  • 抽样偏差
  • 反应偏差
  • 招聘方法