在复杂的，深度表型数据集的数据植入策略的评估:欧盟- aims纵向欧洲自闭症项目的案例

越来越多的大规模多模态研究项目已经在典型的发展中人群中进行，如。Dev Cogn。Neur. 32:43-54, 2018;公共科学图书馆医学杂志，12(3):e1001779, 2015;Elam and Van Essen, Enc. Comp. Neur。，20.13.，作为well as in psychiatric cohorts, e.g. Trans. Psych. 10(1):100, 2020; Mol. Psych. 19:659–667, 2014; Mol. Aut. 8:24, 2017; Eur. Child and Adol. Psych. 24(3):265–281, 2015. Missing data is a common problem in such datasets due to the difficulty of assessing multiple measures on a large number of participants. The consequences of missing data accumulate when researchers aim to integrate relationships across multiple measures. Here we aim to evaluate different imputation strategies to fill in missing values in clinical data from a large (totalN= 764)和深度表型(即临床和认知工具的使用范围)的样本N= 453名自闭症患者N= 311名对照组，作为EU-AIMS纵向欧洲自闭症项目(LEAP)联盟的一部分。特别是，我们考虑总共160个临床措施，分为15个重叠的参与者子集。我们使用两种简单但常见的单变量策略——均值和中值推估——以及轮询回归方法，涉及四个独立的多元回归模型，包括贝叶斯岭回归，以及几个非线性模型:决策树(额外树)。，和最近邻回归。我们使用传统的均方误差对移除的可用数据进行评估，并考虑了观测分布与估算分布之间的Kullback-Leibler散度。我们表明，与典型的单变量方法相比，所有测试的多变量方法都提供了实质性的改进。此外，我们的分析显示，在所有15个测试数据子集中，额外树回归方法提供了最佳的全局结果。这不仅允许选择一个独特的模型来为LEAP项目归因缺失的数据，并提供一组固定的归因临床数据，供将来使用LEAP数据集的研究人员使用，而且为大规模流行病学研究中的数据归因提供了更一般的指导方针。

在临床环境中，通过问卷调查、观察方法或访谈和行为评估获得了涉及多个个体的广泛数据(\ (n \))和若干临床变量(\ (p \))．数据缺失是数据分析中普遍存在的问题[1，2，3.，4，5，6]因为大多数算法不能直接处理缺失值的存在。尽管存在能够处理缺失观测的模型，但这些模型是稀缺的，是为特定分析量身定制的，因此它们的使用是有限的，不是标准程序[7，8，9］．相反，研究人员在这种情况下进行的通常方法是减少样本量(\ (n \))，剔除数据变量缺失的个体，即可用案例分析[10]，导致进一步分析的统计能力下降[11］．当执行涉及多个变量的多模态分析时，这个问题变得尤为明显[12，13]，例如分类或聚类，因为任何此类分析中可用的个体数量将受到同时可用的几种临床措施的限制，从而进一步减少样本量。样本量的减少对统计能力有直接影响，导致对结果的敏感性和特异性降低，并限制了可以调查样本异质性的程度。这是有问题的，特别是在通常预期效果很小的情况下，例如在计算精神病学中。与此同时，样本量的增加也将为观察到的模式提供更多的可信度，并提高可重复性。由于一个或多个缺失值而排除参与者时的其他重要问题是相关的“经济成本”，即没有利用在研究中投入的所有(研究)资源，以及“人力成本”的伦理问题，即在数据收集过程中实验者和参与者的高时间投资。此外，当人们想要研究不同数据模式之间的关系时，数据丢失可能会对分析产生更大的影响，例如临床/行为变量和神经成像或遗传数据[14，15］．基本上，缺少临床测量会减少完整的成像/遗传样本，导致统计能力的显著损失，以及资助者、研究人员和研究参与者对投资的严重利用不足。在大数据联盟的情况下，这是一个特别的问题，因为大范围的昂贵数据收集正在执行[16，17，18，19，20.，21，22，23，24，25]。处理缺失数据值的另一种方法是数据归责［30.］．这种方法通过应用对缺失值的统计估计来替代缺失值，从而避免减少样本大小并防止相关的损失问题。一种非常常见和简单的行为或临床数据的归因策略是用各自变量的观察样本值的平均值或中位数代替个体缺失值。尽管这种方法允许保留原始样本量，但它并不能提高后续分析的统计能力，原因是独立临床观察的数量(特定测量的“真实”自由度)保持固定。此外，当临床组中可能存在异质性时，例如当观察值的分布不是单峰时，这种简单的归因策略就不太适合。一种更先进的策略是基于多元回归模型，它规避了均值/中值imputations的这一缺点，从而能够增加独立观测的数量[31］．这些用所有临床变量，以获得对每个变量的每个缺失值的期望[32］．这种方法通常使用循环[Round-Robin] [33，34计划回归，其中缺失值期望通过所有变量迭代更新，直到缺失值的分布达到收敛。这个过程可以在文献中找到，在不同的符号下，如通过链式方程的imputation [34]，序贯回归imputation [35]或更一般地说，完全条件规范[36］．在这种方法中，对于不同的参与者，给定变量的每个缺失值期望都是不同的，因为它是基于每个参与者独立的所有变量的观察和期望。因此，相对于简单的单变量imputation方法，这种方法增加了独立观测的数量。显然，Round-Robin多元回归策略的结果依赖于所选择的回归模型，事实上，这种选择是实践中使用的最常见的imputation包之间的最大区别。例如，一些常用的包使用参数回归过程[34]，而另一些则采用非参数回归模型[37]，所有情况都嵌入到Round-Regression调度过程中。此外，这些模型还可以通过多次随机初始化来评估，即多次imputation [38]，以获得同时反映估计参数不确定性的统计数字。

在这项工作中，我们使用了来自欧洲自闭症干预多中心研究(EU-AIMS)的行为/临床数据，纵向欧洲自闭症项目(LEAP)联盟-最大的国际多中心倡议，致力于识别自闭症谱系障碍(以下简称“自闭症”)中的生物标志物。为了在神经生物学和遗传水平上研究自闭症，研究人员从自闭症诊断人群以及6-30岁之间的正常发育(TD)人群中收集了数据。样本经过一系列行为、认知和临床评估，以及广泛的定量测量，如脑电图、结构和功能磁共振成像、生化标志物和基因组学，进行了深度表型分析[17］．特别是在LEAP样本中，以及在大多数大型成像联盟中，由于获得了广泛而昂贵的成像和遗传数据，行为和临床数据的缺失会产生很大的影响。因此，临床数据归因已经证明了充分利用这样一个丰富而有价值的数据集的潜力是必要的。在纵向研究设计(如LEAP)的背景下，这种需求变得更加明显，其中在一个时间点缺失的行为和临床数据对有意义的纵向分析提出了额外的挑战。本工作的目的是对不同的归算模型进行系统和广泛的评估，以便能够为EU-AIMS LEAP队列特别是提供最先进的归算程序，并提供一组独特的归算数据供所有参与LEAP的研究人员使用。因此，我们目前的工作旨在避免由于不同的研究人员使用不同的模型来为他们未来的个人分析注入临床数据而产生的偏差，例如在将大脑或遗传学数据与临床测量相关联时。由于对这种模型的评价不是微不足道的，我们开发了量化措施来评估归责的质量。

数据集

EU-AIMS LEAP是迄今为止最大的关于自闭症生物标志物的多中心、多学科观察性研究，涉及764人的大样本，包括453名自闭症儿童、青少年和成人，以及311名年龄在6至30岁之间的TD个体(或无自闭症的轻度智力障碍[ID])。每个个体在多个层面上都有全面的特征，包括他们的临床特征、认知、大脑结构和功能、生物化学、环境因素和基因组学。这项研究采用了“加速纵向设计”，由年龄和能力水平定义的四个队列组成:6-11岁患有自闭症或典型发育的儿童，智商在典型范围内，12-17岁患有自闭症或TD的成年人，智商在典型范围内，18-30岁患有自闭症和TD的年轻人，智商在典型范围内，12-30岁患有/不患有自闭症的轻度智力残疾的青少年和成年人[17，39］．这项研究涉及深入表型的综合方法。由于年龄和能力水平的差异，根据实验设计将测量方法分为在所有参与者中评估的核心测量方法，以及在某些计划中选择性给予的测量方法，这些计划适用于认知功能较高的青少年和/或成年人，但不适用于儿童和轻度ID。这包括问卷调查方法，在所有时间表中，父母都被用作信息来源(除了正常发育的成年人，父母无法参与研究)，而自我报告问卷只用于青少年和成人。我们还旨在为患有ID的儿童和年轻人减少实验测试的测试负担(例如，磁共振成像[MRI]采集次数)。完整的方案包括a)人口统计学，如照顾者的教育程度和父母的家庭收入或病史，b)自闭症特征的观察措施(例如，自闭症诊断观察表[ADOS] [40])， c)基于父母的访谈(例如，自闭症诊断访谈[ADI-R] [41]、葡萄园适应行为量表[VABS-II] [42])， d)核心自闭症表型的父母和自我报告问卷(例如，社会反应量表[SRS-2] [43];重复行为量表[RBS-R]44];短感觉剖面[SSP] [45])、相关特征(例如睡眠习惯问卷[46]、共情商[47，48，49]、儿童健康及疾病概览[50]和通常同时发生的情况的测量(例如，注意缺陷/多动障碍[ADHD]: DSM-5 ADHD评分量表;优势及困难问卷[51];发展及福祉评估[52，焦虑:贝克焦虑量表[53，抑郁:贝克抑郁量表[54])。我们有意纳入了几份建构内容重叠的问卷，如评估自闭症的核心特征，以进行外部验证。这意味着某些指标之间的高相关性是意料之中的。该方案还包括e)认知评估，包括例如，智力功能(IQ):韦氏儿童智力量表(WISC) [55]、韦氏成人智力量表(WAIS) [55]用手习惯:爱丁堡用手习惯量表[56]，社会认知，(例如，心理理论:动画形状任务[57];错误信念任务[58]);空间工作记忆[59］．一些认知测试使用行为反应变量，而另一些也获得了功能性大脑反应(例如，使用功能性核磁共振成像[fMRI] Flanker任务[60]、社会及非社会奖励任务[61或脑电图[脑电图，例如，错配负性，面部处理])。临床队列和扩展特征的详细描述可在[17，39］．在本文中，我们总共考虑了160个临床测量值，包括2个不包含缺失值的名义二元变量(诊断和性别)，42个连续值变量和116个序数值变量。分析中包含的所有措施的完整详细清单见补充表1(死神)。

本文中考虑的160个测量方法扩展了自我和父母报告的测量方法，包括为所有764名参与者获得的测量方法子集，为所有453名自闭症患者获得的测量方法子集，以及为四种不同的注册时间表(成人、青少年、儿童或智力残疾)定义的个人子集获得的几个其他测量方法子集。根据分组(自闭症vs. TD)、时间表和获取方法，总共形成了15个不同的子集。表中总结了所有这些采取措施的参与者子集1，其中定义了总共15个不同的个体和测量子集。对变量数量(p)、个体数量(n)、缺失样本百分比以及目标组(即诊断组和登记时间表)的总结，该测量应该首先在其中获得(即绿色组与未获得组=红色)。

在无花果。1，我们显示了所有这些变量的相关结构，按子集分组，如水平和垂直黑线所示。我们观察到一些子集不共享参与者(白色区域)，而且许多测量在子集内部和子集之间是相互相关的，这为多元imputation策略提供了主要动机。关于每个子集中包含的变量的更详细信息可以在补充表中找到1．

有28项核心临床/行为/人口统计指标，包括所有764个人(子集1)，这些指标包括年龄、性别、智商或用手习惯等。在子集2中，我们观察到包括ADOS和ADI在内的所有453名自闭症患者共有8项测量。子集3包括653名参与者，包括所有TD个体以及所有自闭症儿童和青少年;它包括30项测量，其中一些是重复行为或短感官测量。子集4也排除了子集3中的TD青少年，并涉及Vineland适应性功能量表[42］．子集5包括TD和自闭症患者，但不包括ID患者;这包括总共653个个体和4个认知任务测量，包括Hariri [62]和心理理论任务[57，63］．子集6排除了子集5中的所有儿童，共产生478名个体和32项临床措施，例如Flanker [60，64]或社会反应量表测验[65］．子集7也用于TD和自闭症患者，但不包括成年人和ID超过18岁的患者，包括共458名参与者和6项测量，如儿童社会行为量表(CSBQ) [66，67]及儿童健康及疾病概览[72，73调查问卷。不需要进一步说明其余子集的细节，很明显，包括在这些子集中的个人，也部分包含在其他子集中，完整的图片是参与者和测量的复杂组织(基于诊断组、时间表和采集类型)。由于临床数据收集的结构如此复杂，因此不能使用所有变量来直接归因所有其他变量，因为归因某一组在第一阶段不应该获得的数据是不明智的，这会导致偏倚。例如，在TD个体中引入ADI或ADOS测量是不合适的，因为在本研究中，我们没有试图获得TD参与者的ADI和ADOS。值得注意的是，这15个临床测量子集具有非常不同的性质。首先，就观测值与变量数量的比值而言，\ (n / p \)(见表1)．因此，任何回归模型在每个子集上的性能都是不同的，即使是在不丢失数据的假设情况下。为了完整起见，让我们记住一个更高的\ (n / p \)比率允许更稳健和可靠的学习[74，75］．其次，较高的缺失值百分比使得缺失值的估计更加困难。

在无花果。2我们将缺失数据本身的一些特征可视化，每行表示15个子集中的一个。左列将缺失的值本身表示为蓝点，x轴表示参与者，y轴表示完整数据子集中包含的变量数量。例如，我们可以观察到子集1包含一些没有缺失值的度量(没有蓝点的行)，这些度量包括诊断、年龄和性别。总的来说，对于所有的子集，我们可以看到白色的垂直线表示个体获得了许多变量，而白色的水平线则是指数度量个体获得了许多变量。

在第二和第三列中，我们分别对每对个体之间共享缺失变量的百分比和每对变量之间共享缺失个体的百分比进行了颜色编码。在这两列中，颜色较深的区域分别表示缺少许多共享值的个体对或度量。第四和第五列分别表示缺失个体和变量数量的直方图。第六列表示每个子集上变量之间的相关性，其中非对角线图像显示了这些度量上的相关结构，这促使使用多元模型来估计每个子集上的缺失值。

归责的策略

对于本文的其余部分，我们用\ (n \)个体数量，由\ (p \)变量的数量，和by\ \(米)缺失值的数目，其中\ (m = \ sum_ {j = 1} ^ {p} {m} _ {j} \)而且\ ({m} _ {j} \)的缺失观测数\ (j ^ {th} \)变量。因此，我们考虑数据矩阵的赋值问题\ (D \)大小为n乘以p\ \(米)缺少的值，我们表示为(\ D {} ^ {*} \)估算的数据矩阵。我们考虑使用六种imputation策略，包括两种简单但常见的单变量策略，均值和中位数imputation，以及四种多元回归模型，包括线性模型，贝叶斯岭回归[76]，以及一些非线性模型，决策树(DT) [77]、额外树木(ET) [78]及最近邻[71］．表格2提供这些模型的概述。由于该数据集中所有需要归因的离散变量都是序数变量，其中一些变量可以取大量可能的值，因此我们决定避免对序数变量使用分类模型，并在需要时使用回归模型进行归因[79］．

单变量归责策略替代了每个变量上所有缺失的观测值\(j \ ε \左\{1\dots p\右\}\)通过在该变量的非缺失值上的一些相关的汇总统计，即在的可用项上的一些统计\ (j ^ {th} \)列的\ (D \)．在这里我们特别考虑了均值和中值imputation策略。

从统计学和临床的角度来看，这种策略都是次优的;从统计的角度来看，他们忽略了图中数据的相关性。1而且2从临床的角度来看，因为我们知道自闭症，像许多其他神经发育和神经精神疾病一样，在临床和病因学上是异质的，这意味着我们已经先验地假设在潜在的不同亚组中，临床变量和基础机制之间存在不同的关系。

这些事实强烈地促使人们转向多元模型进行归责。在多元方法的情况下，由于每个变量缺失值的归属都需要所有变量，我们使用Round-Robin [33回归方法，将每个变量依次视为输出。这种方法需要为变量赋值定义一个顺序。为了简单起见，这里我们考虑的是一种顺序，其中变量是按照缺失值的数量升序计算的。首先，一旦根据所选变量的顺序选择了第一个要赋值的感兴趣变量，所有其他缺失数据值的变量将使用平均赋值设置为其期望值，并使用所考虑的多元回归模型获得感兴趣变量缺失值的期望。然后根据顺序选择下一个感兴趣的变量，并如上所述估计最初缺失的值。对所有变量重复该过程，以结束round - robin迭代过程的第一轮，并获得所有缺失值的估计值，这些值因此不同于分配的初始平均imputation值。循环循环根据需要重复多次，每一轮使用上一轮的估计缺失值，直到所有变量的所有估算值收敛为止。这里我们将Robin-Rounds的最大数量设置为100。所有计算均使用公开工具进行[80］．

归责顺序

如表所示1，根据获取数据的人群，临床数据分解为一个非常复杂的测量组织，可以概括为15个不同的数据子集。因此，对某些个体来说，在实验设计中不打算为他们获得的测量是不明智的。然而，由于我们在图中也观察到了子集之间的相关性，因此15个子集中的每一个独立的imputation都是次优的。1．因此，需要结合子集来最大化归责能力。为此，我们进行了详尽的搜索，以找到每个子集的最优归属顺序，而对于目标子集的归属，我们使用任何先前归属的子集，只要目标群体包含在先前归属的子集中。

该过程从孤立地计算子集1开始，因为所有参与者都计划根据这28个变量进行测量。值得一提的是，我们从子集1中删除了临床测量“诊断”，以避免对诊断标签的归一化，并避免在对这些归一化数据的任何后验研究中产生偏倚效应。我们的蛮力优化表明，下一个要归属的子集应该是子集3，这是所有参与者获得的，只有自闭症成年人除外;对于子集3的imputation，我们使用了子集1的imputation值，除了子集3上的变量外，还限制在子集3中的个体。在子集4和子集2之后。在表3.我们提供了执行的排序结构，以最大限度地提高所有归属过程的能力，其中星号表示归属文件。第四列表示每个输入文件的已估算文件。

请注意，由于这样的实验设计，当考虑我们样本中的所有160个测量值时，在某些变量的缺失值倾向与观测数据之间存在系统关系。例如，一些测量(子集10)仅针对成年人，而年龄也是一个可用的变量。因此，当把所有160个度量放在一起考虑时，某些变量的数据很可能缺失随机失踪(3月)81］．虽然我们不能区分MAR和失踪不是随机的(MNAR) [81]而没有对数据集进行后续干预、现场专业知识和仔细的数据收集，这表明我们数据集的变量中缺乏MNAR结构。此外，当单独考虑每个子集的imputation时，或者按照我们介绍的不同子集的imputation顺序时，每个子集只使用相应诊断组、年龄或智商范围的受试者进行imputation，使得每个子集上的缺失数据极有可能是完全随机缺失(MCAR) [81］．虽然有工具可以深入了解数据是MCAR还是MAR [26，27]，已证明在这两种情况下，使用迭代imputation方案均可获得无偏估计[28］．

评价

由于归因选择可能会对临床-大脑/遗传学关联产生强烈的偏倚效应，因此需要对归因结果进行严格的验证。为了量化每个imputation模型的质量，我们使用了两种不同的度量方法。

1. 1）

   我们首先计算的质量的imputation使用一个观察-排除交叉验证方法。更确切地说，对于每个imputation模型，我们执行左(nxp \ \ (\) - m \)归因问题，在每个问题上我们都在原始问题上加上一个额外的缺失值，比如说在位置上\ ((i, j) \)，得到m + 1个缺失值的数据矩阵。这意味着(\ D {} _ {i, j} \)是在交叉验证循环的一个折叠中被人为移除的原始观测值，以便能够通过与在该位置获得的imputation值的比较来评估位置(i,j)的imputation误差，(\ D {} _ {i, j} ^{*} \)。为表示法清晰起见，在中表示变量下标\ (D \)作为\(j \ ε \{1，\dots,p\}\)的原始可用观测索引j-th变量\ (D \)作为\(我\ε\ {{k} _ {j, 1}, \点,{k} _ {j n - {m} _ {j}} \} \)．在使用任何选定的imputation模型进行imputation后，获得一个imputation数据矩阵(\ D {} ^ {*} \)时，我们计算移除值处的总误差(\ D {} _ {ij} \)作为

   $ $ E左(i, j \右)= \ \√6{{\离开({D} _ {ij} - {D} _ {ij} ^{*} \右)}^ {2}}$ $

   为了有一个误差测量考虑到每个变量的尺度独立，我们定义了一个相对误差(RE)测量，通过在E的观测值的平均值\ (D \)，每个变量j独立。这是

   $ $再保险左(i, j \右)= \ \√6{{\离开(\压裂{{D} _ {ij}}{{\μ}_ {j}} - \压裂{{D} _ {ij} ^{*}}{{\μ}_ {j}} \右)}^{2}}= \√6{\压裂{{{D} _ {ij} - {D} _ {ij} ^{*})} ^{2}}{{\μ}_ {j} ^{2}}} = \压裂{\√6 {{({D} _ {ij} - {D} _ {ij} ^{*})} ^{2}}}{|{\μ}_ {j} |} = \压裂{E (i, j)}{{| \μ}_ {j} |} $ $

   在哪里\({\μ}_ {j} = \压裂{1}{n - {m} _ {j}} \ sum_ {k \ε{O} _ {j}} {D} _ {kj} \)．

   因此\ (RE (i, j) \)是简单的缩放版\ (E (i, j) \)这与相对于变量值大小的误差大小有关，并且在没有估计误差的情况下赋值为0，当误差(\ \ (E))是该变量的平均观测值的大小。这种表示法便于对上的值进行比较\ (RE \)跨变量，取不同尺度的值。最后，总结一下\ (RE \)对于每个变量，我们取其在该变量上的观测值的平均值，并表示为

   $ $绝笔(j) = \压裂{1}{n - {m} _ {j}} \ sum_ {k \ε{O} _ {j}}再保险\离开(k, j \右),所有j的\ \ε\左\{1 \点p \ \} (1) $ $
2. 2）

   我们使用Kullback-Leibler (KL)散度[75]来衡量数据对值分布的整体影响。KL散度对相同的分布赋值为零，对彼此偏离的分布赋值为递增。我们对原始数据矩阵进行了赋值\ (D \)并在每个变量独立计算初始观测分布与缺失参与者的估计值分布之间的KL散度。更准确地说,

   $ $ KL \离开(p {} _ {j} | | {q} _ {j} \右)= \ \和限制_ {x} {p} _ {j}左(x \) \ \ mathrm{日志}\离开(\压裂{{p} _ {j} \离开(x \右)}{{q} _ {j} \离开(x \右)}\右),所有j的\ \ε\左\{1 \点p \ \} (2) $ $

在哪里\ ({p} _ {j} (x) \)观测值的分布是\ (j ^ {th} \)变量和\ ({q} _ {j} (x) \)同一变量[的估算缺失值的分布74］．

值得注意的是，一个特定测量的缺失值的数量在一定程度上是由实验设计引起的。原因是测量是在确定的相关性顺序中获得的，因为预期有几个参与者可能不会完成所有的问卷。因此，通过实验设计，有更多的受试者缺少特定的变量集，这可能导致这些变量的交叉验证MRE存在偏差。这种偏差可能会发生，因为人工移除的值可能比实际缺失的值更容易估计(因为在迭代估算过程中，人们可能不依赖于其他变量的期望值，而是依赖于真实的观察结果)。因此，在交叉验证设置中，MRE可能被低估，并且不能在真正缺失值中代表真正的泛化误差。这促使引入第二个误差度量，即KL散度，它将惩罚在偏离观测分布的缺失值处提供分布的模型。

虽然这些绩效指标对每个变量都有信息，但它们不能简单地组合在一起，因为它们在不同的尺度上量化了不匹配。然而，我们可以通过考虑相对于某些参考模型的每个变量的MRE和KL值来构建一个二维误差函数。因此，为了能够同时考虑误差的MRE和KL度量，并能够将许多变量放在一起得出任何结论，我们定义了平均imputation模型作为参考模型，并为每个变量，每个模型的MRE和KL度量除以由平均imputation模型获得的MRE和KL值。这样，我们就得到了MRE和KL测量相对于平均imputation，为每个变量分配到平面点(1,1)的平均imputation性能，所有其他性能都可以放在一起，因为它们代表了相对于平均imputation的相对改进。因此，对于给定的变量和固定的imputation模型，我们考虑这种二维“误差向量”的robenious范数，即误差向量中绝对平方值之和的平方根[29]，作为结合了MRE和KL的全局误差度量。

按照表中所示的15个临床措施子集排序3.，我们开始对EU-AIMS LEAP临床数据集中的缺失值进行归因。如“方法:数据集”一节所述，这些数据矩阵中的每一个都对执行它们的imputation提出了不同的挑战，例如子集6比子集2更具挑战性，因为子集有更小的\ (n / p \)比例，并有更多的缺失值(见表1)．因此，这15个子集可以作为一个有趣的测试平台，用于研究不同算法的鲁棒性，而不仅仅是这个数据集，因为我们可以检查比较困难问题的性能与简单问题的关系。

数字3.显示了相对于每个子集(子图)的平均imputation的MRE和KL平面，每个点表示该子集中的一个临床变量，不同的imputation模型用颜色编码，彩色方块表示该子集中给定模型值的平均值。此外，右下角的图显示了每个模型在所有15个子集的所有测量指标上的平均性能。回顾一下解释，相对于y轴较低的模型相对于KL散度表现得更好，而相对于x轴绘制得更左的模型相对于MRE测量表现得更好。从全局来看，更接近(0,0)的模型性能更好。我们首先观察到，一般来说，在MRE和KL散度方面，平均值和中值imputation的表现比所有其他模型差得多，即蓝色和黄色的点显示出最高的误差。这清楚地证明了多变量模型在此类临床测量归责方面的优越性能。对于多元模型，我们认为神经网络相对于KL表现良好，这是有道理的，因为通过观察一些最近的邻居，它可以对整个空间进行抽样，并得到一个更接近最初观察到的分布。然而，神经网络无法提供相对于MRE的鲁棒改进，并且在某些子集中甚至比平均imputation更差(图中没有出现红色方块，例如子集13)。从剩下的三个模型中，我们观察到额外树回归(紫色)和贝叶斯岭回归(绿色)优于决策树(棕色)。尽管Extra Trees和Bayesian Ridge在MRE方面都提供了令人印象深刻的改进(误差减少了~ 40%)，但Extra Trees在KL散度方面提供了更大的改进(~ 75 vs ~ 55%的KL减少)。 Another interesting observation is that the imputation of all subsets provide a similar pattern of organization of the models performances, showing the robustness of the models performances across all subsets. This is an interesting finding given the huge differences in the\ (n / p \)比例，以及在每个子集上的缺失观察数(表1)．这种表示证实了中值imputation提供了与平均imputation相似的性能，并且它们从考虑的模型中不太准确。它进一步表明BR总体上提供了非常高的相对MRE改善，但相对KL改善低于其他多元模型。它进一步强调了额外树回归是在预期中表现最好的模型。事实上，为了比较最好的两个模型，ET与BR模型相对KL vs MRE平面的二维误差范数之间的配对t检验显示，ET模型的误差显著降低(t = 4,01，p-value < 9 × 10⁵)．

我们对六种不同的归责方法进行了综合分析和评价，比较了不同方法进行临床变量归责的优缺点。为此，我们使用了来自EU-AIMS LEAP数据集的15个不同临床变量子集，这些子集在变量数量与观察数量之间的比值(n/p)以及缺失数据值的百分比方面具有相当大的差异。我们使用了标准的单变量imputation技术，即均值和中值imputation，以及几个多元回归模型，即贝叶斯岭，随机森林，额外树，决策树。对所有多元模型进行循环迭代调度，直至所有缺失值估计收敛。我们使用两种不同的误差测量方法评估了imputation，使用保留一个观测值的交叉验证方法计算了原始观测数据的误差，并且还独立地计算了每个变量上观测分布和估算值分布之间的kl -散度。为了能够比较所有模型的结果，我们根据平均imputation性能对两个误差测量进行了缩放，以获得相对于最简单的平均imputation模型的改进测量。尽管所考虑的子集具有非常不同的特征，但在两种情况下，相对于更简单的平均imputation的预期改进类似于非常相似的模式，表明模型在最简单以及最困难/最复杂的情况下以类似的方式执行。特别地，我们观察到额外树回归可能是这个数据集的最佳模型。本文首先在一组模型参数中使用网格搜索对所有模型进行独立评估，并选择每个模型参数集的最佳解。特别是，对于额外树回归模型，我们发现有10棵树的模型提供了最佳解决方案。 Note that the Round-Robin regression approach is also implemented in the R-package for imputation ‘Multiple Imputation by chained equations’ (MICE) [34]实际上，我们在这里使用的python包用于imputation [80]的灵感来自于MICE。MICE的一个特点是，它使用逻辑或多项回归对分类变量建模，而使用线性回归对连续变量建模[68］．因此，MICE比提出的贝叶斯岭回归模型具有更大的灵活性，因为它是为特定的分类变量建模而量身定制的。然而，我们考虑的基于树的方法也能够从数据中捕获这种分类结构，还可以处理多模态分布或捕获所有变量之间的非线性，这些变量可能很难使用MICE建模，或者需要强大的建模和数据领域特定知识。这已在[69]中发现，虽然基于树的方法与参数化的MICE方法差异不大，但基于树的方法优于参数化模型。注意，在观察到高异质性的情况下，处理多模态分布是必要的，因此在自闭症研究中，基于临床和影像学数据的分层是最重要的。MICE附加的一个特殊之处在于，它以不同的初始化多次运行imputation问题，最终返回这些imputation的平均值作为最终值。这种方法最有趣的是，它提供了对估算值的标准偏差，作为估算可靠性的衡量标准。请注意，我们的广泛分析还执行了验证，允许获得由MRE和KL散度给出的每个变量的imputation质量的度量。事实上，所执行的MRE评估嵌入在交叉验证设置中，其中在每次折叠中使用不同的初始化。由于报告的误差是所有不同折叠的平均值，在一定程度上，它类似于多重imputation平均场景。然而，我们也考虑了我们最好的模型的多重imputation场景，额外树回归器。如建议[80]我们没有改变初始化的平均imputation，而是使用100个不同的种子来初始随机构建回归树。结果显示标准偏差为10阶⁻³这表明使用额外树回归器获得的估计是非常稳健的。本工作中使用的模型与常用的知名模型之间的另一个相似之处来自于嵌入在Round-Robin调度中的随机森林回归，相当于另一个常见的包，missForest [37］．虽然我们在这项工作中没有包括对随机森林的全面评价，但我们在这项工作的前期准备中进行了几次分析，我们观察到它不会提高ET或BR，其收敛性不太令人满意，计算成本也大了几个数量级。我们选择的python软件[80]是由包的灵活性驱动的，可以在同一个框架内实现多个回归模型，使得不同模型之间的比较更简单，更不容易出错。我们认为，模型的选择，而不是软件的选择，对归责的质量至关重要。

循环调度程序需要定义一个变量的输入顺序，尽管在这里我们报告的结果使用了越来越多的变量输入顺序的缺失观测值，但使用了递减顺序的结果确实显示了相似的结果，无论是在平方误差方面，还是在大多数变量和大多数模型上观察到的分布和输入分布之间的KL散度方面。此外，模型的表现模式是相同的。总之，我们系统地搜索了本样本中临床变量归算的最佳实践场景，发现额外树回归(Extra Trees Regressor)预期是最佳模型。鉴于15个数据样本的不同特征，我们认为这些结果也可以外推到不同的数据集。作为这个分析的结果，我们提供了我们在开发的归责比较工具https://github.com/allera/Imputation，并向EU-AIMS LEAP联盟提供估算数据;在使用额外树回归器验证多重imputation场景中获得的估计量的可忽略的标准偏差允许提供唯一的imputation值数据集。

一个自然的问题是，我们是否可以从这样的大数据联盟中综合生成其他缺失的测量数据，例如结构大脑图像。所提出的模型对于不同类型的矢量数据都是有用的，但是，实现空间约束的模型应该更适合于插值需要明确的非各向同性空间平滑三维分布的数据。正在进行的研究集中在缺失的结构MRI图像的imputation上，使用现有的结构MRI图像和行为读数，例如年龄、性别、体重。为此，我们正在考虑扩展卷积神经网络[70例如，我们希望能够为年轻的参与者生成脑容量更小的合成T1w图像。同样，这种方法的质量可以通过一次删除一个参与者并检查恢复图像的质量来验证。更重要的是，考虑到从fMRI提取的结构特征和功能特征之间的关系[14]，我们还旨在基于结构和行为读数预测预期的功能特征，也使用空间卷积模型。预期这些结果将是这项工作的后续。

支持本研究结果的数据可从欧洲的EU-AIMS自闭症研究中获得，但这些数据的可用性受到限制，这些数据是在当前研究的许可下使用的，因此在提交时不能公开，但可通过通信作者的合理请求获得。

EU-AIMS:

欧盟自闭症干预多中心研究

跳跃:

纵向欧洲自闭症项目

道明:

典型的开发

自闭症谱系障碍:

自闭症谱系障碍

BR:

贝叶斯岭回归

DT:

决策树

等:

额外的树

神经网络:

最近的邻居

老鼠:

链式方程的多重归责

吉隆坡:

Kullback Leibler散度

绝笔:

均方根误差

SRS:

社会反应量表

苏格兰皇家银行(RBS):

重复行为量表

SSP:

短感觉剖面

SDQ:

优势和困难问卷

节选:

自闭症诊断观察时间表

阿迪:

自闭症诊断访谈

DAWDA:

发展及福利评估

威:

韦氏儿童智力量表

功能磁共振成像:

功能磁共振成像

脑电图:

脑电图

我们感谢所有参与者和他们的家人参与这项研究。我们也感谢欧盟- aims LEAP小组所有成员的贡献:朱曼娜·艾哈迈德、莎拉·安布罗西诺、邦妮·奥扬、莎拉·鲍迈斯特、斯文Bölte、托马斯·布热隆、卡斯滕·伯尔斯、丹尼尔·布兰代斯、克劳迪娅·布罗尼亚、伊薇特·德布鲁因、比斯马德夫·查克拉巴蒂、伊内克·科内利森、黛西·克劳利、纪隆姆·杜马斯、杰西卡·福克纳、文森特·弗劳恩、皮拉尔Garcés、大卫·戈亚德、林赛·哈姆、汉娜·海沃德、约格·希普、马克·h·约翰逊、艾米丽·J.H.琼斯、Prantik Kundu、赖孟川、泽维尔·里奥吉尔·达尔杜伊、迈克尔·v·隆巴多、大卫·j·利特戈、René曼德尔、安德烈·马昆德、Luke Mason, Maarten Mennes, Andreas mayer - lindenberg, Nico Mueller, Laurence O 'Dwyer, Marianne Oldehinkel, Bob Oranje, Gahan Pandina, Antonio M. Persico, Barbara Ruggeri, Amber Ruigrok, Jessica Sabet, Roberto Sacco, Antonia San José Cáceres, Emily Simonoff, Will Spooren, Roberto Toro, Heike Tost, Jack Waldman, Steve C.R. Williams, Caroline Wooldridge和Marcel P. Zwiers。

本项目获得了创新药物倡议2联合项目的资助，资助协议编号115300 (EU-AIMS)和777394 (AIMS-2-TRIALS)。这项联合承诺得到了欧盟“地平线2020”研究和创新计划以及EFPIA和AUTISM SPEAKS, autitica, SFARI的支持。这项工作也得到了Horizon2020计划CANDY资助号847818的支持。DLF由欧盟地平线2020研究和创新计划资助，该计划由Marie skodorska - curie资助协议No . 101025785资助。这项工作也得到了荷兰科学研究组织的VICI资助(资助号17854[给CFB])。本研究已通过欧洲研究委员会在欧盟第七框架计划(FP/ 2007-2013)下的协同拨款，获得了正在开发的人类连接组项目(dHCP)的资助。319456.我们也感谢来自惠康合作奖(215573/Z/19/Z)的资助。

资助者在研究的设计中没有任何作用;分析:在数据的收集、分析或解释中;无论是手稿的撰写，还是发表结果的决定。所表达的任何观点都是作者的观点，不一定是资助者的观点。

作者指出

1. D. L.弗洛里斯和C. F.贝克曼是最后一位共同作者。

作者及隶属关系

1. 唐德斯大脑、认知和行为研究所，认知神经成像中心，奈梅亨，荷兰

   A. Llera, M. Zabihi, J. S. Amelink, T. Mei, J. K. Buitelaar, D. L. Floris和C. F. Beckmann

2. 认知神经科学，内梅亨大学医学中心，奈梅亨，荷兰

   A. Llera, M. Zabihi, T. Mei, J. K. Buitelaar, D. L. Floris和C. F. Beckmann

3. LIS数据解决方案，机器学习组，桑坦德银行，西班牙

   答:Llera

4. 精神病学、心理学和神经科学研究所，萨克勒转化神经发育研究所，伦敦国王学院，英国伦敦

   M.布拉默，C.埃克尔，F.戴尔阿夸，D.墨菲和E.罗思

5. 英国伦敦国王学院精神病学、心理学和神经科学研究所法医学和神经发育科学系

   B.奥克利，D.墨菲，E.罗斯

6. 罗氏制药研究和早期开发，神经科学和罕见病，巴塞尔罗氏创新中心，F. Hoffmann-La Roche有限公司，巴塞尔，瑞士

   j . Tillmann

7. 马克斯普朗克心理语言学研究所，语言与遗传学系，奈梅亨，荷兰

   J. S. Amelink

8. 伦敦国王学院精神病学、心理学和神经科学研究所心理学系，英国伦敦

   t·查曼

9. 德国法兰克福歌德大学法兰克福大学医院儿童和青少年精神病学、心身学和心理治疗科

   C. Ecker和C. Moessnang

10. 德国曼海姆海德堡大学中央精神卫生研究所儿童和青少年精神病学

    t . Banaschewski

11. 德国海德堡SRH大学应用心理学系

    c . Moessnang

12. 剑桥大学精神科自闭症研究中心，剑桥，英国

    S. Baron-Cohen & R. Holt

13. 荷兰乌得勒支大学医学中心鲁道夫·马格努斯脑中心精神科

    美国Durston

14. Karakter儿童和青少年精神病学大学中心，奈梅亨，荷兰

    J. K. Buitelaar

15. 可塑性研究方法，苏黎世大学心理学系，苏黎世，瑞士

    d·l·弗洛里斯

16. 英国牛津大学威康综合神经成像中心-脑功能磁共振成像中心(WIN FMRIB)

    c·f·贝克曼

贡献

AL、MB、EL、JB、DLF和CFB对研究的概念有贡献。AL进行了分析，开发了评估技术并生成了图表。MZ, TM和JA优化工具箱代码以交付并编辑最新的手稿版本及其修订。DLF收集并整理所有数据。AL和DLF生成表格并起草手稿。BO提供了所有数据。BO、JT、TC、CE、FDA、TB、CM、SB-C、RJH、SD、DM、EL、JKB、CFB整理EU-AIMS LEAP数据，编辑最新手稿版本及修订本;所有作者均已阅读并批准最终稿。

相应的作者

对应到答:Llera．

伦理批准并同意参与

本研究和所有涉及的方法都是根据《赫尔辛基宣言》规定的条例和指导方针进行的。该实验方案由伦理许可委员会CMO Arnhem/Nijmegen批准，批准号为CMO2014/288。获得所有受试者和/或其法定监护人的知情同意。

发表同意书

不适用。

相互竞争的利益

JKB一直是武田/夏尔、Medice、罗氏和Servier的顾问、顾问委员会成员和发言人。他不是任何这些公司的雇员，也不是任何这些公司的股票股东。他没有其他经济或物质支持，包括专家证词、专利或版税。CFB是sbgnuro Ltd.的董事和股东。TC获得了Roche和Servier的咨询，并获得了Guildford Press和Sage的图书版税。DM一直是Roche和Servier的顾问和顾问委员会成员。他不是任何这些公司的雇员，也不是任何这些公司的股票股东。TB曾担任Lundbeck, Medice, Neurim Pharmaceuticals, Oberberg GmbH, Shire和Infectopharm的顾问或顾问角色。他获得了礼来、美第士和夏尔公司的会议支持或演讲费。他获得了霍格里夫、科尔哈默、CIP Medien、牛津大学出版社的版税; the present work is unrelated to these relationships. JT is a current full-time employee of F. Hoffmann–La Roche Ltd. The other authors report no biomedical financial interests or potential conflicts of interest.

出版商的注意

188博金宝app网施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。

开放获取本文遵循知识共享署名4.0国际许可协议，允许以任何媒介或格式使用、分享、改编、分发和复制，只要您对原作者和来源给予适当的署名，提供知识共享许可协议的链接，并注明是否有更改。本文中的图像或其他第三方材料包含在文章的创作共用许可协议中，除非在材料的信用额度中另有说明。如果材料未包含在文章的创作共用许可协议中，并且您的预期使用不被法定法规所允许或超出了允许的使用范围，您将需要直接获得版权所有者的许可。如欲查看本牌照的副本，请浏览http://creativecommons.org/licenses/by/4.0/．创作共用公共领域奉献弃权书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本条所提供的资料，除非在资料的信用额度中另有说明。

转载及权限