跳到主要内容

在观察性研究中测量和控制医疗记录抽取(MRA)错误率

摘要

背景

研究表明,在依赖二次使用数据的临床研究研究中,通过病历抽象(MRA)收集数据是一个重要的错误来源。然而,使用MRA收集的数据质量很少得到评估。我们为MRA的数据质量保证和质量控制采用了一个新颖的、基于理论的框架。这项工作的目标是确定形式化MRA培训和持续质量控制(QC)过程随着时间的推移对数据质量的潜在影响。

方法

我们对新生儿阿片类药物戒断综合征母子对的横断面医疗记录审查中收集的QC数据进行了回顾性分析。采用置信区间方法计算随时间变化的粗错误率(Wald方法)和调整(广义估计方程)。我们使用错误数除以总字段(“全字段”错误率)和填充字段(“填充字段”错误率)作为分母来计算错误率,以分别提供一个乐观的和保守的度量。

结果

平均而言,ACT NOW CE研究的错误率维持在1%(乐观)和3%(保守)之间。此外,我们观察到每增加一个QC事件,就会减少0.51个百分点。

结论

形式化的MRA培训和持续的QC导致的错误率比以前的文献中发现的更低,错误率随着时间的推移而下降。本研究在多地点临床研究的背景下,新论证了持续过程控制对MRA的重要性。

同行评审报告

背景

医疗记录抽象(MRA)传统上一直是,并将继续是临床研究研究中最常见的数据获取形式之一[1].然而,互认协议的质量经常受到质疑[23.],因为它很容易出现人为错误[23.456并常常增加临床研究的整体复杂性[789101112].例如,研究表明与MRA相关的错误率比其他数据收集方法高出一个数量级[23.],以及临床研究中最重要的错误来源[1314].此外,电子健康记录(EHR)固有的复杂性往往增加了所提取数据的可变性,进一步造成了与MRA相关的高且高度可变的差异率[3.415].传统上,临床研究中的数据质量评估一直局限于数据库错误率,往往忽略了MRA和从医疗记录转录到研究数据库所产生的错误[4].这是不幸的,因为MRA仍然是回顾性和前瞻性研究的主要数据收集方法。

虽然存在立场文件和实证结果报告,但与MRA相关的高错误率的原因尚未得到系统研究,其机制也不清楚。重要的是,MRA错误不太可能被下游数据处理(如数据输入或编程数据清理)检测到。例如,有效范围检查不会检测到从医疗记录中选择的不正确但可信的值。导致可信值的MRA错误只能通过与医疗记录的比较(即重新抽象)来检测。因此,密切监测和管理通过MRA收集的数据的质量是至关重要的。然而,提高MRA质量的尝试尚未在文献中得到正式评估。因此,MRA数据质量的改善受到了限制。我们的研究旨在通过实施[15]并在临床研究的背景下评估MRA培训和持续质量控制(QC)的标准化过程。

作为一项回顾性图表回顾,《新生儿阿片类药物戒断综合征患儿临床试验进展研究》(ACT NOW CE) [16]是一个依赖于MRA进行数据获取并受数据准确性和质量问题影响的临床研究的例子。因此,对ACT NOW CE研究的MRA过程的质量保证和控制给予了特别考虑[15].为了减少数据质量问题,在激活前向站点提供了特定于研究的MRA培训[15],并在所有参与站点的整个研究过程中进行了正式的QC过程。在整个研究过程中,从所有参与站点收集的数据表明(1)每个MRA培训案例、每个抽象人员、每个站点的差异数量,以及(2)每个QC、每个抽象人员、每个站点的差异数量与真实错误的比值。

本研究的目的是确定规范化MRA培训和持续QC过程随着时间的推移对数据质量的潜在影响,并为传统MRA错误率提供一个基线度量。我们假设,在整个ACT NOW CE研究过程中实施形式化的MRA培训和持续的QC监测将导致(1)与本研究计算的可接受错误率阈值相比,ACT NOW CE研究的错误率有所改善,(2)随着时间的推移,ACT NOW CE研究的错误率有所改善。据我们所知,这是第一次在临床研究的背景下实施和评估正式的MRA培训和持续QC。

方法

ACT NOW CE研究是一项多站点、回顾性图表综述,收集了2016年7月1日至2017年6月30日之间出生的婴儿的数据,“为临床试验的设计提供信息,以改善新生儿阿片类药物戒停综合征(NOWS)婴儿的护理和预后”。16].环境对儿童健康结果影响的30个站点IDeA国家儿童临床试验网络(ECHO ISPCTN)和尤尼斯肯尼迪施莱佛分布在美国各地的国家儿童健康和人类发展研究所(NICHD)新生儿研究网络(NRN)参与了这项研究。所有站点抽取了大约1800名NOWS婴儿的医疗记录,其中一个子集(超过200例)经过了正式的QC过程,以确定数据质量错误并确定MRA和数据质量之间的关联。

为了评估MRA过程,在整个ACT NOW CE研究过程中进行了持续QC监测。这一过程要求每个站点的一定比例的案例由该站点的第二个独立抽象人员重新抽象。在ACT NOW CE研究开始之前,(1)可接受错误率阈值被设置(不大于4.93%或每10,000个字段中不小于500个错误)[15],(2)为研究制定了正式的抽象指南,以确保不同提取人和站点的数据收集的一致性,(3)每个提取人(主提取人和质量保证提取人)都接受了广泛的MRA和QC培训(图2)。1).关于MRA和QC培训过程的其他信息可以在我们之前的稿件中找到[15].

图1
图1

病历抽象(MRA)培训过程流程图

每个站点至少对站点提取的前3个案例(QC1)执行QC。根据站点提取的病例总数,每25个病例后将需要额外的QC“事件”,每25个病例提取并输入电子数据捕获(EDC)系统(QC25、QC50等)随机选择一个病例。因此,每个现场进行的质量控制事件的总数与现场提取的案件总数相对应。例如,一个总共有25个案例的站点将需要QC至少4个案例(QC1 3个,QC25 1个)。一个总共125个案例的站点至少需要QC 8个案例(QC1有3个,QC 25、50、75、100和125各有1个)。在研究过程中观察到7个不同的QC事件(QC1, QC25, QC50, QC75, QC100, QC125, QC150)。

这里描述了质量控制过程的高级概述,如图所示。2.主抽检员将对一组案例执行MRA (QC1最多3个案例,其后每个QC事件额外1个案例)。一旦指定数量的病例输入到EDC,站点将通知数据协调和操作中心(DCOC),并停止所有数据收集和输入,直到QC完成。DCOC使用随机数生成器为QC识别案例,并通知站点的质量控制抽象员,由其独立抽象分配的案例。质量管理抽象程序无法看到主抽象程序如何识别EHR中的数据元素。从本质上说,qc抽象程序执行他们的抽象和数据输入,就好像这是一个全新的情况。完成后,一个自动脚本将被触发运行,该脚本将比较每个QC案例(主抽象和QC抽象)输入的数据,并生成一个包含差异列表的报告。

图2
图2

持续质量控制(QC)过程流程图

系统认为主摘要和质量控制摘要之间的任何不一致都是一种缺陷差异.根据设计,该系统对检测数据输入中的任何不一致都非常敏感。一旦报告生成,来自DCOC的信息专家和站点经理通过视频会议与站点(包括主抽抽员和质量保证抽抽员)会面,并审查差异报告的结果。在审查期间,网站参考了他们的电子病历,以确定所有差异的真实价值。该团队审查了每个差异并确定了真正的错误。差异被认为是真正的错误如果主抽象者在EDC中输入的数据与EHR(黄金标准)中的数据不一致。如果主提取器的数据条目与EHR匹配,则不认为差异是真正的错误(即使质量控制提取器不匹配)。然后计算错误率,并与网站共享纠正和预防行动计划(CAPA)。

如果一个站点超过了指定QC事件的验收标准,该站点将被要求在另外3个随机选择的案例上重复该事件(实质上增加了在该站点进行QC的总数量)。重复QC事件的案例由DCOC选择如下(图。3.).首先,DCOC确定了治疗类型(药理学vs.非药理学),称为案例类型选取现场当前抽象案例集中最突出的案例,然后从最突出的案例类型中随机选取2个案例,从另一个案例类型中随机选取1个案例进行重新抽象。如果现场超出了重复QC的验收标准,则要求现场(主抽检员和QC抽检员)在继续研究之前参加再培训并进行(并通过)另一次QC。如果站点在可接受的范围内,他们就可以继续收集数据。

图3
图3

重复质量控制(QC)事件的随机选择过程

《良好临床资料管理规范》(GCDMP)指引概述的错误率计算框架[17],用来描述错误率、错误率的分布以及错误率随时间的变化。简单地说,错误率是检测到的数据错误数量与收集到的数据字段总数之间的比率:

$$Error\ Rate=\frac{Number\ of\ Errors\ Detected}{Number\ of\ Fields\ Collected}$$
(1)

对于本研究,我们最初计算了随时间变化的粗MRA错误率以及Wald的95%置信区间(ci)。使用所有/总字段(“全字段”错误率)和仅使用填充字段(“填充字段”错误率)计算错误率,分别提供乐观和保守的测量值,以解释文献中错误率计算和报告的可变性[23.456].我们利用广义估计方程模型推导出了调整后的MRA错误率和95% CI来解释聚类。

QC病例总数是设计的函数,母研究确定的NOWS病例总数[16].在1808例NOWS病例中,根据上述方法筛选出219例进行QC。其中四例由于数据输入问题,无法生成完整的质量控制报告,没有进行质量控制。这些都被排除在分析之外。因此,分析样本包括215个QC案例。在计算全域和填充域总数的错误率时,研究人群被分为两组,或案例类型根据用于治疗婴儿NOWS的方法:使用药物治疗(P)或仅使用非药物治疗(NP)。两组数据元素的数量和类型不同(药物治疗组需要更多的变量),这种差异可能导致错误数量的变化。在审查了按病例类型调整后的错误率后,在计算错误率随时间的变化时,决定将病例结合起来,因为按病例类型调整后的错误率没有提供统计上显著的结果,不值得进一步调查。我们在7个不同的QC事件时间中分别推导了粗错误率和调整的填充场错误率。对于每一组粗的和调整的填充场误差估计,我们拟合以时间趋势为自变量的单独的时间序列回归。我们报告了斜率估计和相应的95%置信极限。

结果

ACT NOW CE研究电子案例报告表格由312个数据元素组成。其中一份(N= 312),近四分之三(n= 211[68%])的数据元素属于药物(n= 152[49%])和病史(n= 59[19%])域。其余的数据元素相对平均地分布在五个领域:人口统计(n= 20[6%]),诊断(n= 18[6%]),资格(n= 15[5%]),遇到(n= 31[10%])和程序(n= 17[5%])。表格1提供两个亚组(药理学病例和非药理学病例)的总主题、每个病例的字段、总字段和填充字段的细分。值得注意的是,药物领域捕获了母亲的伴随和一般药物数据,以及婴儿的药物治疗数据。因此,药理学和非药理学病例都需要一些药物相关的字段(即伴随药物和一般药物)(例如,“标明怀孕期间为治疗阿片类药物依赖而给母亲开的任何药物。”),并贡献了表中所列两种病例类型的每例总数字段1.在所有215个QC案例中,所有字段总数为48,880个字段。填充字段总数为18843个字段,略低于全部字段计数的一半。

表1 QC数据集:种群分解

表格2按病例类型(药理学和非药理学)提供粗略估计和调整估计的错误率的细目。综合考虑(n= 215个QC案例),在所有案例中共识别出2394个差异。在2394个差异中,确定了573个真实错误。因此,在整个QC数据集(包括所有病例类型和所有站点)中,全域错误率为1.24%,95% CI[1.14, 1.34],填充域错误率为3.04%,95% CI[2.81, 3.30]。换算成每10000个字段中分别有124个和304个正确错误。考虑聚类,研究总全域调整错误率为1.17%,95% CI[0.91, 1.50],调整填充域错误率为2.87%,95% CI[2.21, 3.74]。调整错误率的95% ci比粗估计要宽得多。

表2 QC数据集:错误率

表格2还提出了错误率估计分层病例类型的所有领域和人口领域。使用粗估计,基于全域和人群域的非药理学与药理学病例错误率之间的差异具有统计学意义(\({\三角洲}_{所有字段}= 0.39;p = 0.0002 \)而且\({\三角洲}_{填充}= 0.95;p = 0.0002) \).相比之下,在考虑聚类后,全域和填充域之间的调整错误率差异没有统计学意义(显著(\({\三角洲}_{所有字段}= 0.28;p = 0.152 \)而且\({\三角洲}_{填充}= 0.67;p = 0.269) \)

ACT NOW CE研究的错误率随时间的变化如图所示。4.在有多个QC事件的站点中,无论是粗错误率还是调整后的填充场错误率,都有统计学上显著的下降趋势。更具体地说,使用粗误差估计,错误率下降了0.51个百分点(p= 0.017;95% ci: [-0.88%, -0.14%];R2= 0.71)为每一个额外的QC事件。同样,占聚类的错误率下降了0.46个百分点(p= 0.016;95% ci: [-0.80%, -0.13%];R2= 0.72)为每一个额外的QC事件。

图4
图4

ACT NOW CE研究随时间的错误率。请注意。对“粗”错误率进行的回归分析基于式(1),只使用填充字段。对“调整”错误率进行的回归分析是基于从广义估计方程模型导出的错误率来解释聚类

讨论

在这项分析中,我们发现使用形式化的MRA训练和连续QC过程的错误率在1-3%的顺序上(或每10,000个字段100到300个错误),这取决于使用的是乐观的全字段方法还是保守的填充字段方法来确定错误率。使用任何一种方法,这些错误率都大大低于ACT NOW CE研究设定的预先确定的可接受错误率限制。ACT NOW CE研究一贯采用的标准化MRA培训和QC,允许对不同地点和不同时间的错误率的可变性进行更大的控制。此外,当参与站点在整个研究过程中继续执行QC时,我们观察到错误率随时间的推移明显下降(平均-0.51个百分点)。基于这些结果,使用形式化的MRA培训和持续的QC流程似乎有可能通过保持整体较低的错误率和随着时间的推移降低错误率,从而对临床研究研究中的数据质量产生积极影响,最终减少MRA质量受到质疑的频率[23.].

我们推测错误率的降低可以部分归因于每个QC事件发生的持续学习,因为每个事件为研究协调员提供了另一个机会,以解决与抽象指南和/或数据输入过程有关的问题。这使得所有站点都有机会通过每个QC事件进行重置,并确保数据抽象和输入向前发展符合研究制定的标准。纠正和预防措施(CAPA)计划也在每次QC事件后提供,以指导现场如何处理已识别的错误、之前输入的数据(如果适用)以及数据输入的后续进展。符合GCDMP指引所概述的最佳做法的计划[17].

在某种程度上,在整个研究过程中不断发生的质量控制过程(与传统的现场监测在研究结束时发生的情况相反)可能也导致了较低的错误率,这是因为现场意识到并预期到质量控制的发生,可能已经为抽象和进入做好了更充分的准备。然而,在大多数情况下,大多数研究确实采用了一些QC方法(例如,数据库检查、统计检查和传统的站点级监测),研究团队和站点都知道这些方法。一般来说,临床操作、信息学和/或生物统计团队在整个研究的各个点定期与站点合作,以解决通过查询和站点监测访问发现的差异。因此,现场人员通常意识到质量数据输入的重要性,并以质量数据输入为目标。此外,这种意识并不排除站点由于对变量及其在EHR中的位置的误解而出现数据输入错误,因为MRA中较手动的元素极易受到人为错误的影响[23.456].这就是为什么抽象培训和正式的抽象指南对于提高抽象人员的能力和性能以降低错误率是至关重要的。

我们为临床研究研究和站点错误率的可变性提供了几种可能的解释,这可能为临床研究实践的修改提供信息。抽象人员的经验和他们对EHR的熟悉程度可能会影响最终的错误率。例如,在ACT NOW CE研究的案例中,几个抽象人员是注册护士,他们熟悉人群,并对数据在他们的机构EHRs中存在的位置有经验。另一个可能的解释是数据的复杂性。对于ACT NOW CE研究,数据复杂性因病例类型而异。药理学数据元素(例如,给药信息)往往是离散字段,通常在EHR中记录得更一致。相比之下,非药理学数据元素包括在EHR中更难找到的项目,因为它们可以作为自由文本记录在不同的地方(例如,在临床记录和/或流程表中)。因此,数据抽象器在搜索非结构化字段时经常会遇到困难,这可能是NP情况比P情况的错误率略高的原因。其他值得注意的因素包括本地系统实现和工作流、数据处理步骤的数量以及报告错误率的差异。

也就是说,为了帮助减少当前临床研究实践中的任何变化,我们特别建议站点使用他们最有经验的协调者作为主要抽象者(那些对NOWS病例最了解、对数据在EHR中的位置最熟悉的协调者),并且,如果可能的话,使用在EHR中处理NOWS数据具有丰富经验的协调者作为QC抽象者。这样做的目的是在早期为网站的成功做好准备,并试图减少网站之间的可变性,从一开始就保持较低的错误率。在使用MRA和传统场地监测方法的情况下,我们建议将这种方法作为最佳实践用于我们的研究。为了解决抽象员的数据复杂性挑战,目前的临床研究实践可以通过开发抽象员的培训和工作辅助来进行修改(例如,开发通用模式、地图或培训辅助,提供关于EHR系统中非药理学数据元素通常位于何处的指导)。我们建议其他研究人员在进行基于mri的回顾性研究时效仿。

最终,采用特定于研究的抽象训练和持续的QC的决定在总体上显著降低了错误率,随着时间的推移观察到数据质量的持续改善。在研究开始前进行的MRA培训为站点提供了一组明确的指示,用于在EHR中识别适当的研究数据元素,而在研究期间使用持续QC提供了一种机制,在数据收集过程的早期捕获和处理错误,并提供再培训(必要时)和纠正行动,以供未来的抽象。重要的是,在这里提出的结果是立即使用通知调查人员和研究团队,因为他们计划和执行未来的临床研究研究。ACT NOW CE研究中用于控制MRA数据误差的框架可以被其他研究人员进一步利用。因此,我们建议这项工作可以用来指导未来依赖MRA进行数据收集的临床研究的研究设计和质量保证过程。

评估持续QC对工作量的影响

虽然我们没有正式测量与QC过程相关的工作量,但我们能够提供所需额外资源(人员)的描述,以及基于ACT NOW CE研究的QC事件数量和参与QC过程的人员数量的一般工作量估算。在这里,我们旨在提供强加于协调中心(负责设计和操作QC过程)和研究地点(负责遵守QC过程)的需求的高层视图,以演示本研究承担的潜在负担,以及可能的改进或减少的工作可能由这样的实施而产生。

关于人员,我们要求站点至少有两个协调者(一个用于主要抽象,一个用于QC抽象)。在许多情况下,这并不影响站点的人员数量,因为站点已经计划了多个协调者来共享抽象工作。除此之外,现场不需要额外的人员。从协调中心的角度来看,DCOC已经安排了3名站点经理,每人负责管理10个站点(总共30个站点)。在信息学方面,由于DCOC在内部维护和管理自己的EDC和QC系统,我们确实依靠程序员来协助开发技术组件,以支持增加的QC功能。尽管如此,人员数目没有改变;相反,向现有工作人员分配了一项额外任务(考虑到下面的时间负担)。对于那些依赖于销售的软件或产品的人,这些开发责任可能落在供应商身上。

在时间方面,对于每个QC事件,要求各站点(1)对选择用于QC的案例进行重复抽象,(2)与DCOC人员参加QC会议,审查差异,(3)花时间纠正任何真正的错误,并执行CAPA中列出的任何任务。由于在任何给定时间点的QC案例负载是最小的(通常是1个案例),对于一般的NOWS案例来说,重复抽象带来的负担可能是可以忽略不计的。由于所需字段的数量(312对172),药理学案例可能比非药理学案例花费更长的时间;虽然,通常情况下,额外的药理学数据点遵循一种模式,并经常在EHR中作为离散的、结构化的数据字段(例如,用药日期和剂量)捕获,而非药理学病例的数据往往位于非结构化字段(例如,流程表或护士记录中的文本)。因此,对于典型的NOWS案例,无论案例类型如何,我们都认为额外的工作(花在重新抽象上的时间)相对相等。

重新抽象所需的时间可能发生偏差的情况是:(1)需要QC的情况不是典型的情况,或者(2)站点必须执行多个重复QC事件。我们认为一个典型的案例是内部产生的(不是传输案例),具有直接的数据输入(最小或容易识别非结构化数据,以及离散/结构化数据文档的一致性)。任何与典型案例的偏差——例如,主要需要非结构化数据的案例在EHR中记录不一致——都将增加QC重新抽象案例所需的时间。此外,需要重复QC事件的站点(在原始QC事件期间已经超过了可接受的错误率阈值)也容易受到时间/努力需求增加的影响,因为这将增加3个重复QC事件的情况下的重新抽象。在30个站点中,12个独特的站点需要重复QC事件,平均在1-2次重复QC事件之间,需要重新抽象3-6个额外的案例。不同地点的影响因其独特的病例量而异。例如,如果一个站点有10个或更少的案例,不需要重复QC事件,那么它将负责总共3个QC案例。如果这个站点需要2个重复的QC事件,则需要6个额外的案例,总共10个案例中的9个QC案例——基本上是工作量的两倍。相比之下,有100个案例的站点在这种情况下受到的影响较小——最初需要7个QC案例,加上6个额外的案例,因为必须重复2个QC事件,总共100个QC案例中有13个(或工作量增加13%)。

关于QC会议的时间要求,每个QC活动通常只需要一次与研究协调员、指定的现场经理和信息分析师的会议(60分钟)。同样,根据遇到的QC事件总数的不同,对工作的影响也不同。因此,一个QC事件较少的站点比一个QC事件较多的站点花费的时间更少。例如,只有一个QC事件(QC1)的站点只需要为QC会议分配额外的一个小时的工作。相比之下,一个需要所有7个QC事件的站点(案例大于或等于150个的站点)将需要额外分配7小时的QC会议。质检会议的次数和/或持续时间可能会增加,因为质检事件有更多的差异需要审查。这是其他研究人员在规划站点工作时需要考虑的问题。

在QC后花费在错误纠正上的时间也会因站点和QC事件的不同而不同。这个过程类似于传统的差异管理实践,用于为预编程的数据验证检查处理系统生成的查询。因此,识别出的真正错误的总数(将作为查询输入EDC)将影响所需的总时间。例如,一个QC事件产生3个真实错误的站点比一个QC事件产生10、15或20个真实错误的站点需要的纠正时间要短得多。在EDC所产生的查询内作出明确指示,并在CAPA计划内阐明工地的责任和要求,有助减轻工地的负担。

对于DCOC,需要额外的时间将QC功能编程到EDC中,审查QC报告以准备QC会议,进行QC会议,并生成后QC报告(包括输入查询和生成CAPA计划)。一旦确定了系统需求,编程时间就相对较短,但确实包含了编码、测试、返工(根据需要)和最终实现。差异识别和报告生成是自动和系统生成的,因此这些任务不需要额外的时间。QC会议的准备工作最少(每个QC事件通常不超过30分钟),DCOC的QC会议时间与现场的相等(每个QC事件60分钟)。根据QC事件的结果(真实错误的数量和所需的修正),post-QC报告可能需要30-90分钟)。

由于持续QC过程的性质和DCOC在整个研究过程中对研究数据的持续监测,我们能够放弃传统的、以数据为中心的研究监测过程。虽然我们在工作人员中有一个研究监督员,但我们能够大大减少这项特殊研究所需的监督员的工作量。传统上,研究监督员的任务是亲自或虚拟的站点访问,以审查和评估站点级别的表现和研究行为。通常,这包括对输入数据的详细审查,要求监测人员对全部数据集或预先确定的数据子集(根据研究和资助机构的要求而有所不同)执行源数据核查。在这种规模的研究过程中,这通常会发生一次。然而,持续的质量控制过程满足了这些特定的监测需求(即数据审查组件),并允许我们改变我们操作化研究监测的方式——在多个时间点进行监测,并在出现数据问题时解决它们。此外,传统的场地要求也减少了(场地在研究监测过程中也发挥着重要作用),尽管这方面的一些努力被转移到允许持续的QC。

限制

本研究的局限性如下。首先,需要注意的是,关于工作量和负担的影响的数值都是估算值,可能会因研究、地点和QC事件的不同而有所不同。由于我们没有正式测量或评估本研究的持续QC负担(不在范围内),我们无法提供具体的时间和精力花费的地点和协调中心。也就是说,这些估计是基于我们作为ACT NOW CE研究的研究协调员(BM, SGS, SSB, SRF, LM, AW)和信息专家(MYG, ACW)执行这些任务的实际经验。

此外,提出的结果是基于一个单一的儿科案例研究,ACT NOW CE研究。有30个站点的事实缓解了这一问题,这使我们能够评估多个站点之间错误率的可变性。尽管如此,本研究的概泛性可能会受到特定研究地点的细微差别的限制(例如,先前的专业知识、团队规模、EHR功能)。因此,我们建议研究人员利用这个框架,为他们的研究进行更系统的数据质量分析。我们也鼓励研究人员发表这些结果,为更大范围的数据质量文献做出贡献,并为临床研究社区提供额外的用例。从多个认识论立场的研究将提供有价值的信息,以确认或挑战这里确定的结果。

鉴于这些限制和研究设计,我们只得出了关联和趋势的结论。重要的是,尽管MRA-QC框架的使用与我们保持相对较低的错误率和持续改进(错误率的降低)的能力之间有很强的相关性,但这种相关性并不意味着因果关系,这里无法评估的其他重要因素可能是导致这些结果的原因。

未来的发展方向

随着数据(越来越多地通过电子方式获取)被用于支持直接的患者护理、性能测量和研究,需要彻底探索数据质量对决策的影响,以及系统可用性、数据输入和清理方法对数据质量和临床工作流程的影响。存在研究机会(1)了解MRA数据收集中长期存在的错误类型,(2)在数据和过程标准化领域[181920.],以协助简化临床研究的资料收集工作。我们正在进行的工作旨在解决这些问题,我们开发解决方案,以简化数据收集过程,提高临床研究的数据质量。我们目前正在评估基于标准的机制,该机制可以半自动化数据收集过程(减少手动MRA的负担),并持续改进数据质量。最终的分析正在进行中,预计将于2022年中后期发布。

结论

通过这项工作,我们确定了在多地点临床研究的背景下,形式化MRA培训和持续QC的效果,并为传统MRA错误率提供了基线测量。更重要的是,我们已经证明了使用标准化培训计划和持续的数据质量监控过程可以减少错误率。对于ACT NOW CE研究,具体来说,结果有两个方面:(1)错误率得到了更好的控制,并且很好地控制在本研究计算的可接受错误率范围内;(2)随着时间的平均变化率表明,随着时间的推移观察到的真实错误数量在减少,这可能与QC培训有关。从这些结果可以清楚地看出,在整个临床研究过程中进行形式化的MRA培训和持续的QC有可能显著降低总体和长期的错误率。

数据和材料的可用性

在当前研究期间生成和/或分析的数据集可在NICHD数据和标本中心(DASH)存储库中获得,https://dash.nichd.nih.gov/study/229026

缩写

查看:

医疗记录的抽象

质量控制:

质量控制

电子健康档案:

电子健康记录

现在行动CE:

推进新生儿阿片类药物戒断综合征的临床试验进展

现在:

新生儿阿片类药物戒断综合征

回音:

环境对儿童健康结果的影响

ISPCTN:

IDeA国家儿科临床试验网络

美国儿童健康与人类发展研究所:

国家儿童健康和人类发展研究所

NRN:

新生儿研究网络

EDC:

电子数据采集

QC1:

第一次QC事件:要求对前3个案例的所有站点进行抽象化并输入电子数据采集系统

QC25:

第二次QC事件:总病例数≥25的站点要求,一次25th案例已被抽象化并录入电子数据采集系统

QC50:

第三次QC事件:总病例数≥50的站点,一次为50th案例已被抽象化并录入电子数据采集系统

QC75:

第四次QC事件:总案例≥75的站点,一次75th案例已被抽象化并录入电子数据采集系统

QC100:

第五次QC事件:总病例数≥100的站点,一次100th案例已被抽象化并录入电子数据采集系统

QC125:

第六次QC事件:总病例数≥125的站点要求,125一次th案例已被抽象化并录入电子数据采集系统

QC150:

第七次QC事件:总病例数≥150的站点要求,一次150th案例已被抽象化并录入电子数据采集系统

DCOC:

数据协调与操作中心

GCDMP:

良好临床数据管理规范

置信区间:

置信区间

病人:

药理学

NP:

也采用非药物治疗

卡帕:

纠正和预防措施

参考文献

  1. Kellar E, bernstein SM, Caban A, Celingant C, Crouthamel M, Johnson C,等。临床试验中电子数据源的优化使用:概况,第1部分。科学通报2016;50(6):682-96。https://doi.org/10.1177/2168479016670689

    文章PubMed谷歌学者

  2. Nahm M.测量数据质量。在:良好临床数据管理规范(GCDMP)(版本2000 -至今)。临床数据管理学会,2012。可以从:https://www.scdm.org/gcdmp.2020年8月访问。

  3. Zozus M, Pieper C, Johnson C, Johnson TR, Franklin A, Smith J等。影响从医疗记录中提取数据准确性的因素。PLoS ONE。2015; 10 (10): e0138649。https://doi.org/10.1371/journal.pone.0138649

    中科院文章PubMed公共医学中心谷歌学者

  4. Nahm ML, Pieper CF, Cunningham MM.使用电子数据捕获对临床试验的数据质量进行量化。PLoS ONE。3 (8): 2008; e3049。https://doi.org/10.1371/journal.pone.0003049

    中科院文章PubMed公共医学中心谷歌学者

  5. Nahm M, Nguyen VD, Razzouk E,朱敏,张娟。临床研究数据收集表中的分布式认知人工制品。生物信息学报,2010;1(2010):36-40。

    谷歌学者

  6. Zozus MN, Hammond WE, Green BG,等。评估用于临床研究的医疗系统数据的数据质量(1.0版本):《美国国立卫生研究院医疗系统研究合作实验室表型、数据标准和数据质量核心白皮书2014》。可以从:https://www.nihcollaboratory.org/Products/Assessing-data-quality_V1%200.pdf.2020年8月访问。

  7. 宋ns, Crowley WF, Genel M, Salber P, Sandy L, Sherwood LM,等。国家临床研究企业面临的主要挑战。《美国医学协会杂志》上。2003, 289(10): 1278 - 87。https://doi.org/10.1001/jama.289.10.1278

    文章PubMed谷歌学者

  8. 爱森斯坦EL,莱蒙斯PW,塔迪夫BE,舒尔曼KA,乔利MK,卡利夫RM。降低III期心血管临床试验的成本。中国科学(d辑:自然科学版)。https://doi.org/10.1016/j.ahj.2004.04.049

    文章PubMed谷歌学者

  9. 临床试验和磨难。不断上升的成本可能导致僵局。科学。2008;322(5899):210 - 3。https://doi.org/10.1126/science.322.5899.210

    中科院文章PubMed谷歌学者

  10. 临床研究信息学:一个新兴领域的挑战、机遇和定义。中华医学会杂志2009;16(3):316-27。https://doi.org/10.1197/jamia.M3005

    文章PubMed公共医学中心谷歌学者

  11. 爱森斯坦·埃尔,诺多·阿,佐兹·曼。利用医学信息学改进临床试验操作。种马健康技术信息。2017;234:93-7。

    PubMed谷歌学者

  12. 盖兹KA,坎波RA。描述协议设计复杂性增长的新基准。科学通报2018;52(1):22-8。https://doi.org/10.1177/2168479017713039

    文章PubMed谷歌学者

  13. Blumenstein英航。验证关键医学研究数据。统计医学。1993;12(17):1535 - 42。https://doi.org/10.1002/sim.4780121702

    中科院文章PubMed谷歌学者

  14. Jansen AC, van Aalst-Cohen ES, Hutten BA, Buller HR, Kastelein JJP, Prins MH制定了从医疗记录中收集数据用于回顾性分析的指南。临床流行病学杂志2005;58(3):269-74。https://doi.org/10.1016/j.jclinepi.2004.07.006

    文章PubMed谷歌学者

  15. 邹志明,杨文华,李文华,等。培训作为减少多中心研究中病案抽象错误的干预措施。种马健康技术通报。2019;257:526-39。

    PubMed公共医学中心谷歌学者

  16. 杨永伟,胡震,安乃瑞,等。新生儿阿片类药物戒断婴儿的特征和护理的部位水平差异。儿科。2021;147 (1):e2020008839。https://doi.org/10.1542/peds.2020-008839

    文章PubMed谷歌学者

  17. 临床数据管理学会。良好临床数据管理规范(GCDMP)临床数据管理学会,2013。可以从:https://www.scdm.org/gcdmp.2020年8月访问。

  18. Garza MY, Myneni S, Nordo A, Eisenstein E, Hammond WE, Walden A,等。临床研究中标准化健康信息交换的资源:系统的文献综述。种马健康技术通报。2019;257:115-24。https://doi.org/10.3233/978-1-61499-951-5-115

    文章PubMed谷歌学者

  19. 加尔扎·梅,卢瑟福,梅内尼,芬顿,沃尔登,托帕洛格鲁,等。评估HL7 FHIR标准的覆盖率,以支持在多站点临床研究中使用的eSource数据交换实现。2020;25(2020): 472-81。

    谷歌学者

  20. Garza MY, Myneni S, Fenton SH, Zozus MN。临床研究中标准化健康信息交换的来源:去年进展的系统回顾。JSCDM。2021; 1(2)。https://doi.org/10.47912/jscdm.66

下载参考

确认

我们感谢为ACT NOW CE研究执行医疗记录提取并参与质量控制过程的站点和人员,以及BSE Phyllis Nader对该项目的帮助。

资金

本杂志报道的研究得到了美国国立卫生研究院先进转化科学国家中心的资助,资助号为UL1TR003107,以及美国国立卫生研究院IDeA国家儿童临床试验网络的资助,资助号为U24OD024957、UG1OD24942、UG1OD024943、UG1OD024944、UG1OD024946、UG1OD024947、UG1OD024951、UG1OD024954、UG1OD024955和UG1OD030016。内容仅为作者的责任,不代表NIH的官方观点。

作者信息

作者和联系

作者

贡献

MYG, MNZ和ACW构思和设计了这项研究。AES、LAD、LWY、JL、JS、SHF、SM、SO对项目的构思和设计都有重要贡献。MYG、AW、BM、LM、SGS、SRF和SSB对数据的获取有显著贡献。MYG领导并负责数据管理、审核和分析。AES、JL、SO、TW和ZH对数据的分析和解释贡献显著。MYG领导了手稿的开发和写作。所有作者都审阅了手稿并对其进行了修改。所有作者审阅并解释了结果,阅读并批准了最终版本。

相应的作者

对应到Maryam y加尔萨

道德声明

伦理批准和同意参与

ACT NOW CE研究(家长研究;IRB#217689)由阿肯色大学医学科学(UAMS)机构审查委员会(IRB)审查和批准。母研究获得了HIPAA豁免,以及知情同意/同意豁免。该辅助质量控制研究获得了UAMS IRB (IRB#239826)在45 CFR 46.102中定义的非人体受试者研究的确定,并被休斯顿德克萨斯大学健康科学中心(UTHealth) IRB (HSC-SBMI-19-0828)确定为豁免。所有的方法都是按照相关的指导方针和规定进行的。

同意出版

不适用。

相互竞争的利益

作者声明他们没有竞争利益。

额外的信息

出版商的注意

188博金宝app网施普林格自然对出版的地图和机构附属的管辖权要求保持中立。

权利和权限

开放获取本文遵循创作共用署名4.0国际许可协议(Creative Commons Attribution 4.0 International License),该协议允许在任何媒体或格式中使用、分享、改编、分发和复制,只要您给予原作者和来源适当的署名,提供创作共用许可协议的链接,并说明是否有更改。本文中的图片或其他第三方材料包含在文章的创作共用许可中,除非在材料的信用额度中另有说明。如果材料不包含在文章的创作共用许可中,并且您的预期用途不被法律法规允许或超出了允许的用途,您将需要直接从版权所有者那里获得许可。欲查看此许可证的副本,请访问http://creativecommons.org/licenses/by/4.0/.创作共用公共领域奉献放弃书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本文提供的数据,除非在数据的信用额度中另有说明。

再版和权限

关于这篇文章

通过CrossMark验证货币和真实性

引用这篇文章

加尔扎,M.Y,威廉姆斯,T,梅尼尼,S。et al。在观察性研究中测量和控制医疗记录抽取(MRA)错误率。BMC医学治疗方法22227(2022)。https://doi.org/10.1186/s12874-022-01705-7

下载引用

  • 收到了

  • 接受

  • 发表

  • DOIhttps://doi.org/10.1186/s12874-022-01705-7

关键字

  • 医疗记录的抽象
  • 数据质量
  • 临床研究
  • 临床数据管理
  • 数据收集