武汉新启迪生物科技有限公司

新启迪-您的生物科研好伙伴！2008-2024

Wuhan Xinqidi Biotech Co.Ltd

本企业通过iso9001质量体系认证

流行病学和最终结果数据库对脑膜瘤恶性和生存情况进行个体患者预测

二维码

发表时间：2020-01-21 14:33作者：武汉新启迪Xinqidibio来源：www.qidibio.com

流行病学和最终结果数据库对脑膜瘤恶性和生存情况进行个体患者预测

摘要

已知脑膜瘤比其他中枢神经系统（CNS）肿瘤具有相对较低的侵袭性和较好的结局。然而，在表征良性，非典型和恶性肿瘤的临床和放射学特征之间存在相当大的重叠。在这项研究中，我们开发了旨在帮助脑膜瘤诊断和预后的方法和实用应用程序。统计学习模型已通过监视，流行病学和最终结果数据库对62,844名患者进行了培训和验证。我们使用平衡逻辑对数回归-随机森林集成分类器和比例风险模型来了解恶性肿瘤，生存率和一系列基本临床变量（例如肿瘤大小，位置和手术程序）之间的多变量关联模式。我们证明我们的模型能够预测有意义的个体特异性临床结果变量，并在16个SEER注册表中显示出良好的通用性。提供免费的智能手机和网络应用程序，供读者访问和测试预测模型（www.meningioma.app）。未来的模型改进和预期的复制对于证明真正的临床实用性将是必要的。我们希望将所提出的模型而不是孤立地使用，而将它们集成到集成了成像和分子生物标记物的更大，更全面的模型中。无论是对于脑膜瘤还是中枢神经系统的其他肿瘤，这些方法对每个患者进行预测的能力都可以改善诊断，患者咨询和结果。

介绍

脑膜瘤是最常见的原发性中枢神经系统（CNS）肿瘤，每100,000人口中发生率8.14。1它们通常在生命的后几十年逐渐出现症状，并且相对于其他中枢神经系统肿瘤通常具有良好的预后。2但是，攻击性和结果都有很大的差异。3约有一半的患者选择了“等待”方法，4但是导致做出此决策的过程仍然充满挑战，并且通常依赖于简单的试探法，该试探法可能基于也可能不是基于最新的证据。因此，准确预测超出此标准的脑膜瘤恶性肿瘤和生存的能力将具有临床意义。

迄今为止，在将机器学习方法应用于脑膜瘤的检测和分级中的许多努力都集中在小样本患者的磁共振成像（MRI）成像特征上。在这项研究中，我们使用监测，流行病学和最终结果（SEER）数据库中提供的一组基本临床变量来开发和验证新的预测模型，以预测特定治疗后脑膜瘤的恶性程度和生存率。该模型在SEER中进行了培训和测试，这些患者包括SEER，这是一种基于人群的权威性癌症数据集，覆盖了美国人口的28％。5该手稿（www.meningioma.app）也开发了新的智能手机和网络应用程序。

我们希望将提出的模型整合到更大更全面的模型中，以整合成像和分子生物标记，而不是孤立地使用它们。meningioma.app的源代码还为将来的研究人员提供了一个轻松的切入点，以翻译预测模型以进行更广泛的传播。

结果

恶性肿瘤

最初包含在平衡对数回归随机森林（BLR-RF）模型中的特征的描述性单变量统计结果如图1所示。没有进行推断性统计检验，因为这些探索性分析的目的仅仅是确定与结果变量相关的具有潜在歧视价值的特征。年轻的患者，尤其是20岁以下的患者，其恶性和边缘性恶性脑膜瘤的发病率要高于老年患者（图1a）。相反，老年患者中良性脑膜瘤的相对患病率较高。然而，从绝对数字上来说，良性脑膜瘤比边缘性恶性或恶性脑膜瘤更常见（图1c）。）。较大的肿瘤比较小的肿瘤更具恶性（图1b），尤其是那些大于30mm的肿瘤，但有相当大的重叠。具体而言，该样本中66％的良性脑膜瘤小于3 cm（94％<6 cm），而恶性和边缘性恶性脑膜瘤的82％大于3 cm（22％> 6 cm）。

女性脑膜瘤的发病率是男性的2.8倍，但边缘性恶性和恶性脑膜瘤的比例是男性的两倍（图1e）。在确定为黑人或“其他”的患者中，边缘性恶性和恶性脑膜瘤的相对频率略高于确定为白色的患者（图1f）。被分类为双侧的肿瘤的恶性或交界性恶性肿瘤的比例要大于中线或单侧的肿瘤（图1d）。如下所述，这可能是肿瘤大小的影响。与仅局限在脑或脊膜中的脑膜瘤相比，局限在“其他”区域的脑膜瘤更具恶性（图1g）。）。在“其他”组中，脑膜瘤的84.7％来自ICD-O-3地形代码71.x（脑），而13.5％的编码为72.x（脊髓和其他中枢神经系统），以及1.8％（10）患者）低于75.1 / 75.3（垂体/松果体）。此样本中总共62844个脑膜瘤中，有86.3％位于脑膜（C70.0），3.2％位于脊柱脑膜（C70.1），9.6％未另作说明的脑膜（C70.9）和仅0.9％到“其他”组。鉴于实质内脑膜瘤6更具侵略性，并且该组中大部分脑膜瘤局限于C71.x ICD-O-3地形图（“脑”，与C70.x“脑膜”相反），我们可以推测该“其他”人群至少可以部分由实质内脑膜瘤组成。

生存

生存模型的对数风险比如图2所示。。诊断时预期年龄对生存概率有影响，肿瘤大小增加与生存率降低有关。恶性肿瘤预测的生存率比边界恶性肿瘤差，而边界恶性肿瘤的生存率比良性肿瘤差。在检查时，良性脑膜瘤患者的存活率为76％（诊断中位年龄：66岁），而边缘性恶性肿瘤患者（诊断中位年龄为60岁）和80％的患者仍活着（恶性肿瘤（诊断中位年龄：61岁）。编码为“ 55：总切除术”，“ 30：根治性切除术”和“ 22：切除术（脊髓或神经）的手术”预测，相对于不进行手术，生存率得到最大改善。进行过“ 40：肺叶局部切除术”，“ 21：小脑切除术（脑）”的患者，手术或其他手术的生存改善相对较小。在未接受手术的患者中，由于另一种情况而被禁忌手术的患者和拒绝接受手术的患者相对于不建议接受手术的患者而言生存期较差。被确定为黑人的患者比非黑人患者的生存率差，男性的生存率比女性的生存率差，未投保的患者的生存率比投保的患者差。在最初的分析中，选择诊断年龄，肿瘤大小，性别，种族，原发肿瘤部位和偏侧性作为恶性肿瘤和生存模型的特征。此外，仅在生存模型中包括手术程序，肿瘤行为（如果有），保险状态以及无癌症定向手术的原因。在未接受手术的患者中，由于另一种情况而被禁忌手术的患者和拒绝接受手术的患者相对于不建议接受手术的患者而言生存期较差。被确定为黑人的患者比非黑人患者的生存率差，男性的生存率比女性的生存率差，未投保的患者的生存率比投保的患者差。在最初的分析中，选择诊断年龄，肿瘤大小，性别，种族，原发肿瘤部位和偏侧性作为恶性肿瘤和生存模型的特征。此外，仅在生存模型中包括手术程序，肿瘤行为（如果有），保险状态以及无癌症定向手术的原因。在未接受手术的患者中，由于另一种情况而被禁忌手术的患者和拒绝接受手术的患者相对于不建议接受手术的患者而言生存期较差。被确定为黑人的患者比非黑人患者的生存率差，男性的生存率比女性的生存率差，未投保的患者的生存率比投保的患者差。在最初的分析中，选择诊断年龄，肿瘤大小，性别，种族，原发肿瘤部位和偏侧性作为恶性肿瘤和生存模型的特征。此外，仅在生存模型中包括手术程序，肿瘤行为（如果有），保险状态以及无癌症定向手术的原因。相对于不建议手术的患者，由于另一种情况而禁忌手术的患者和拒绝手术的患者的生存期较差。被确定为黑人的患者比非黑人患者的生存率差，男性的生存率比女性的生存率差，未投保的患者的生存率比投保的患者差。在最初的分析中，选择诊断年龄，肿瘤大小，性别，种族，原发肿瘤部位和偏侧性作为恶性肿瘤和生存模型的特征。此外，仅在生存模型中包括手术程序，肿瘤行为（如果有），保险状态以及无癌症定向手术的原因。相对于不建议手术的患者，由于另一种情况而禁忌手术的患者和拒绝手术的患者的生存期较差。被确定为黑人的患者比非黑人患者的生存率差，男性的生存率比女性的生存率差，未投保的患者的生存率比投保的患者差。在最初的分析中，选择诊断年龄，肿瘤大小，性别，种族，原发肿瘤部位和偏侧性作为恶性肿瘤和生存模型的特征。此外，仅在生存模型中包括手术程序，肿瘤行为（如果有），保险状态以及无癌症定向手术的原因。被确定为黑人的患者比非黑人患者的生存率差，男性的生存率比女性的生存率差，未投保的患者的生存率比投保的患者差。在最初的分析中，选择诊断年龄，肿瘤大小，性别，种族，原发肿瘤部位和偏侧性作为恶性肿瘤和生存模型的特征。此外，仅在生存模型中包括手术程序，肿瘤行为（如果有），保险状态以及无癌症定向手术的原因。被确定为黑人的患者比非黑人患者的生存率差，男性的生存率比女性的生存率差，未投保的患者的生存率比投保的患者差。在最初的分析中，选择诊断年龄，肿瘤大小，性别，种族，原发肿瘤部位和偏侧性作为恶性肿瘤和生存模型的特征。此外，仅在生存模型中包括手术程序，肿瘤行为（如果有），保险状态以及无癌症定向手术的原因。

分类器评分

图3示出了恶性分类器的性能的图示。该模型在测试数据集上评分，该数据集包含18854位最初被随机分配的随机分配的患者，获得的加权F1评分为0.82。图3a是一个混淆矩阵，显示了在应用程序中使用的选定阈值下按行归一化的预测类标签与真实类标签。

校准图（图3e），精确调用曲线（图3f）和接收器工作特性（ROC）曲线（图3g））。校准图绘制了预测概率与测试数据集中每个类的真实观察分布的关系。精确召回曲线说明了精确度（正预测值）随召回率（敏感性）的变化，并由接收者操作特征曲线（ROC）补充，该曲线说明了敏感性和特异性。平均精度为0.18（标准差：0.01，机会水平：0.05），曲线下面积（AUC）为0.83（标准差：0.01，机会水平：0.5）。在选定的阈值下，我们获得的灵敏度为0.79，特异性为0.75，正预测值（PPV）为0.14，负预测值（NPV）为0.99。特征重要性在图3b中示出。。肿瘤大小和诊断时的年龄是恶性肿瘤模型中两个最重要的特征，也是唯一保留在最终模型中的特征。图3d示出了在诊断时相对于肿瘤大小和年龄的肿瘤行为类别的分布。

最后，图3c显示了学习曲线（针对AP和AUC评分），说明了通过增加训练样本获得的分类性能。作为性能基准，我们还绘制了“虚拟”分类器的分类性能，该模型根据训练集中的类分布随机生成预测。对于AUC和AP而言，模型性能的稳定期均在约5000–10,000个训练示例（即，个别患者）的水平上得到改善，此后，其他训练示例均无法改善性能。

生存模型的校准和性能评分结果如图4所示。在测试集上评估的生存模型的校准图如图4a所示。图4b中示出了随时间变化的平均精度（APT）和区域中的接收器操作特征曲线（的AUCt）下7，8个为存活模型值。对于5年生存期，总体APt为0.62（95％CI：0.60-0.64，事件发生率：0.25），AUCt为0.81（95％CI：0.80-0.82）。我们还获得了0.79 的Uno C统计量9。Uno's C改善了Harrel的一致性指数10，它具有独立于特定于研究的审查分布而带来的额外好处。9一致性指数为0.5表示机会级别的表现，而一致性指数为1表示完美表现。为了评估分类器的通用性，我们还通过SEER注册中心对测试集进行了细分，并分别计算了每个注册中心的上述报告分数（表 1）。

表1在测试中评估的每个SEER注册中心（对于所有至少100个案例的注册中心）的恶性和生存模型的性能指标摘要。

全尺寸表

讨论区

我们目前的发展和两个分类器的预测脑膜瘤恶性肿瘤和生存的验证。仅使用一组非常有限的临床变量，我们证明了我们的模型能够预测有意义的临床结果。使用SEER数据库以前的研究已经用于诊断和预后目的的各种机器学习方法在乳房11，12，13，14，15和肺癌，16，17但尚未将这些技术应用于脑膜瘤的SEER数据。与传统的统计方法相比，预测模型的价值在于能够为单个患者而不是分组均值获得预测。在Woo等人提出的预测性生物标志物的证据水平框架内，18本文介绍的模型属于“开发”阶段，我们强调需要使用成像和分子数据进行未来的前瞻性研究和模型完善。本模型代表了有价值的性能基准和概念证明，可供以后的研究超越，例如，可以在贝叶斯框架中优先使用，以改善仅基于成像或分子特征开发的模型的性能。尽管如此，我们仍然相信meningioma.app为促进机器学习模型的可翻译性和透明性提供了一个独特的切入点，由于所需的时间和编程知识，普通临床医生通常无法对其进行评估。我们的目的是允许临床医生轻松地测试模型，以提供反馈以进行改进，并对这种工具的可能性产生兴趣。我们也希望这会激发其他人复制我们的方法，并因此在免费的开源许可下提供meningioma.app的源代码。

我们报告了截至2017年11月SEER发布的脑膜瘤数据，但我们的观察结果与先前有关脑膜瘤的流行病学文献报道的结果大致一致。从2004年到2010年，Kshettry等人。19报告说，世卫组织II级和III级脑膜瘤分别占新诊断脑膜瘤的4.2％和1.2％。同样，在排除之后，我们在2004年至2015年期间共确定了62844例脑膜瘤，其中4.0％被标记为边缘性恶性，而0.9％被标记为恶性。与我们以前的工作一样，我们发现虽然小儿脑膜瘤可能包括相对更具侵略性的亚型，但总的来说，低龄与全因死亡率降低有关。4至于性别，跨整体老少皆宜，脑膜瘤女性比男性更频繁，但恶性肿瘤19和死亡率3，20，21中男性比女性更大了。与先前的报道一致，发现黑人种族和较大的肿瘤大小是不良预后因素。3，22，23关于偏侧化，我们发现双侧脑膜瘤的恶性/边界恶性肿瘤比例更大。据推测，这种效果可以通过大小来解释，因为双侧肿瘤平均比中线（30.0 mm）或单侧（27.2 mm）肿瘤大（41.5 mm）。还发现大体全切除术是长生存期的有力预测指标。3，21，23此外，在未接受手术的患者中，我们基于未进行癌症指导手术的原因发现了生存率差异，拒绝接受手术或因其他疾病而被禁止手术的患者的生存率相对于未接受手术的患者要差一些。不建议手术的患者。我们也发现，正如预期的那样，未参保患者的生存期比参保患者差。

与以前的SEER脑膜瘤研究相比，我们目前的研究主要是通过统计学习方法的应用来区分的。具体而言，我们使用由平衡随机森林算法的启发随机欠过程训练有素的全体投票分类24和比例风险模型25，26，预测恶性程度和生存。集成分类器通常胜过任何单独使用的分类器，并且还可以帮助降低过度拟合训练数据的风险。27在这项研究中，我们发现该方法确实有助于建立更好的校准模型，同时与单独使用平衡随机森林或平衡logistic回归相比，可以稍微改善分类性能（补充图1和2）。图3e中的结果表示模型已正确校准（例如，脑膜瘤非良性的预测概率为20％，表明脑膜瘤确实为非良性的概率为20％），但并未以高概率值进行预测。这与模型的分类精度是一致的，但也部分是由于该数据集中基类的分布非常不平衡；任何随机选择的脑膜瘤都有大约95％的机会是良性的，相反，只有5％的机会是非良性的。

集成分类器的内在优势是不仅能够提供预测结果的二进制预测，而且还能够通过计算集成中选票的比例来提供概率估计（例如，如果集成中的100个基本分类器中有50个预测一个结果，预测的概率估计为50％）。在图5所示的我们的应用程序的屏幕截图中，这与一个示例56岁男性的个体化生存曲线一起进行了说明。。然而，如下面的方法中所述，第二个校准步骤对于为恶性分类器提供经过良好校准的概率估计是必要的。一个重要的考虑因素是，所提供的个性化生存曲线仅应用于估计已为其确定了特定治疗方案的患者的生存率，而不应指导该特定患者的治疗决策。尽管看似细微的解释差异，但第二次使用可能由于SEER中可能的患者选择效应而无效（例如，未接受手术的患者与接受总切除的患者不同）。我们的智能手机优化的Web应用程序（www.meningioma.app），允许输入任何新患者的基本临床详细信息，以获得对恶性肿瘤和生存率的直接预测。输入该应用程序的详细信息将通过本文所述的完全相同的模型运行，但无需任何高级技术或编程知识。

图5：一个保险的56岁白人的单侧54毫米宽脑膜瘤局限于脑膜的预测恶性和生存曲线示例。

以前的研究已经使用的分类检测和脑膜瘤等中枢神经系统肿瘤的分级，但这些都几乎完全集中在MRI 28，29或组织病理学30的成像特性来驱动他们的预测。我们还将经典的生存分析方法扩展到机器学习框架，并演示如何使用比例风险比来创建个性化的患者特定生存曲线（也在图5中进行说明）。虽然毫无疑问，成像和分子遗传学特征的预测模型应该成为更准确的诊断和预后工具的工作的一部分，31我们在这里证明，即使从最简单的临床变量中获得的信息价值也不容忽视。此外，我们将这种工具的价值定位为在活检前/手术阶段特别相关，这在脑膜瘤的病例中尤为重要，在脑膜瘤中，只有大约一半的肿瘤是通过显微镜确认的。22还值得注意的是，这些先前研究的样本规模完全不同，规模从最多数十名到几百名患者不等。与其与这些先前的模型竞争，我们希望在此处强调的是将在大型流行病学数据集上训练的模型与在较小但较丰富的数据集上训练的分类器相结合的潜在价值。在实现临床可翻译性之前，需要对模型性能进行进一步的改进。尽管通过完善模型本身仍可以通过当前数据集实现微不足道的改进，但可翻译性面临的更大挑战在于收集和管理大型多峰数据集，以针对临床结果进行培训和验证。

随着不断降低存储成本和开放数据库福解决方案遗传问世32和神经影像数据，33，34扩大国家癌症登记为大型夹杂去标识源数据的范围的可能性会带路下一个预测模型的生成。最近的大规模人口基因分型和脑成像项目，例如英国生物库，在这方面提供了重要的机会。35，36此外，努力提供策，以及流线型同意37和去标识38，39电子病历和图片存档通信系统中的数据采集是朝这个方向迈出的又一重要步骤。40，41，42，43允许将已经记录的用于常规护理的大量患者数据用于推进预测性疾病建模，这有可能简化临床决策的特定方面，并提高未来患者的诊断和预后准确性。我们还强调需要扩大结果变量报告范围，使其超越生存范围。实际上，功能结局和生活质量也是明智的临床决策和患者咨询的关键。在脑膜瘤的情况下，经常进行良性肿瘤手术以治疗合并症发作或其他神经系统症状。因此，我们可以想象使用预测模型来确定哪些患者更可能从此类干预中受益。同样

回顾性基于注册表的数据的任何研究都存在固有的局限性，例如选择和报告偏差。我们已经在先前的工作中详细描述了这些。44，45，46，47尽管如此，本研究在这方面的好处之一是将30％的患者随机分配给“测试”数据集，将其隔离，直到开发出最终模型为止。这可以对我们的模型进行伪前瞻性评估，因此可以减少模型性能评分中的偏差。尽管我们证明了该模型在SEER注册表中具有良好的通用性，但对这些模型的真实测试必须来自与前瞻性，多注册表和国际患者队列的复制。同样，由于边缘性恶性脑膜瘤与恶性脑膜瘤之间的区别不大（图3d）基于SEER中可用的有限临床变量集，我们选择将当前分析重点放在良性和非良性肿瘤之间的二元分类上。从临床角度来看，我们认为区分这两种类别的能力是更重要的问题，因为如Dolecek等人先前报道的那样，与之相比，只有22％的边缘性恶性脑膜瘤和31％的恶性脑膜瘤没有接受初始治疗。到60％的良性脑膜瘤。但是，将来使用更丰富的数据集时，应尝试区分这些类别。

关于治疗变量，仅对手术进行了研究，我们未将放疗或化学治疗作为生存分类器的关注特征，因为SEER中的这些数据存在实质性问题。48从2016年11月提交数据开始，这些数据已从SEER主要研究数据库中删除。但是，我们确实强调了放疗的必要性，尤其是需要与另一个数据集进行研究。同样，在SEER中没有Simpson分级，因此在总切除组中预计会有一些异质性。49我们还排除了少数在SEER中记录有第二个脑膜瘤的患者，以免偏倚该模型的评分（即，每个训练或测试示例都是一名患者）。但是，预测这些患者继发性脑膜瘤或任何第二种癌症的结局将是有价值的，无论发生在脑膜瘤之前还是之后。最后，这项研究至少部分保留了癌症登记数据的预测模型可以实现的概念证明。我们完全意识到，功能更强大的模型将需要在其预测中整合射线照相和分子特征，并希望在以后的工作中使用此类模型来更新meningioma.app。

我们报告了脑膜瘤恶性肿瘤和相关生存的预测模型的开发和验证。基于一组非常有限的临床变量（例如年龄，性别和肿瘤大小），我们的模型能够预测个体患者的预后。我们的建模方法为以前的流行病学报告提供了补充信息，并可能导致开发新的实用的肿瘤学诊断和预后工具。除了传统的纸和铅笔列线图，我们还提供原始的开源智能手机和Web应用程序，以说明将复杂的非线性预测模型转换为实际操作的过程。特别是，我们的统计学习模型和应用程序提供特定于个体的预测生存曲线的能力可能对患者咨询非常有价值。

方法

参加者

对于脑和脊髓中记录的所有脑膜瘤病例（WHO ICD-O-3组织学代码9530-9539），均使用SEER * Stat v8.3.5查询了最新的SEER数据发布（2017年11月）。补充信息（补充说明1）中提供了SEER * Stat搜索查询的完整描述。数据包括2004年至2015年之间在13个州的18个注册表中诊断出的患者。分析中仅包括SEER中记录的每位患者的第一批脑膜瘤。最初总共确定了88,015名患者。2004年之前诊断出的患者被排除在外，因为他们的诊断早于第107-260号公共法通过，该法规定必须收集非恶性肿瘤。22诊断确认方法未知或仅临床的患者也被排除在外。而且，排除了没有阳性组织学诊断的所有ICD-O-3 / 1（边界恶性）和/ 3（恶性）脑膜瘤。我们还排除了记录为大于150 mm的脑膜瘤，因为这种情况极为罕见，更可能代表SEER中的编码错误（例如“ 803 mm”脑膜瘤）。除了这些排除标准外，我们排除了尚无相关特征（年龄，肿瘤大小，种族，肿瘤部位，手术）或结果变量（恶性，生存）的病例清单。排除标准如图6所示。。排除后，纳入分析的最终患者人数为62,844。由于SEER不包含任何个人身份信息，并且本研究仅依赖于来自国家公共数据库的流行病学观察数据的二次使用，因此我们的机构研究道德委员会认为该研究可以不予审查。在本手稿中实现了针对个人预后或诊断的多变量预测模型的透明报告（TRIPOD）报告指南。50

功能选择

计算描述性统计数据，并进行探索性数据分析以识别潜在特征（即，预测变量）以包含在机器学习模型中。特征的选择标准包括数据可用性（排除了缺少大量缺失点的变量）和与感兴趣的两个结果（恶性和生存）相关的区分能力。根据WHO ICD-O-3组织学和行为规范定义恶性肿瘤。之所以使用ICD-O-3行为代码，是因为SEER中的脑膜瘤无法始终获得WHO等级。19，23以前的研究使用了从WHO等级到ICD-O-3组织学和行为代码的以下对应关系：WHO I：9530 / 0、9531 / 0、9532 / 0、9533 / 0、9534 / 0、9537 / 0；世卫组织II：9530/1，9531/1，9532/1，9533/1，9534/1，9537/1，9538/1，9539/1; WHO III：9530 / 3、9531 / 3、9532 / 3、9533 / 3、9534 / 3、9535 / 3、9537 / 3、9538 / 3、9559 / 3。19，23我们在这里选择，因为它们是在SEER报道显示原始ICD-O-3标签（即，/ 0：良性的，/ 1：交界恶性肿瘤，/ 3：恶性）。

全因死亡率被用于生存分析，因为在SEER中并非所有脑膜瘤病例都能可靠地获得因因死亡率。4此外，如图2所示，年龄以外的治疗和临床变量显然会影响全因生存。对于不包括恶性肿瘤和诊断年龄的模型，我们还获得了0.70的Uno C，而包括所有功能的模型的Uno C为0.79。补充图3进一步说明了从生存模型中排除年龄和恶性肿瘤时的AUCt和APt。生存期是根据SEER中的“生存期”变量定义的，该变量是根据诊断日期和最后一次接触日期计算得出的。5审查基于SEER中的“重要状态重新编码”变量。低频类别的要素在适当的情况下被重新编码为更通用的类别，以提供足够的训练和交叉验证示例。当发现两个或多个类别未提供关于结果变量的其他信息时（例如，左右脑膜瘤患者的生存率相同），功能也会被重新编码。通过ICD-O-3地形代码将原发肿瘤部位重新编码为“脑膜”（C70.0），“脊髓膜”（C70.1），“未另作说明的脑膜”（C70.9）和“其他” ”。根据SEER数据库中的定义，种族被重新编码为“白色”，“黑色”和“其他”组。肿瘤侧向被重新编码为“双边”（例如，大的脑膜瘤遍布两个半球），“中线”（例如，falcine脑膜瘤）或“非双侧”。保留了原始的SEER外科手术编码，除了“ 10：肿瘤破坏NOS”，“ 50：外科手术被说是“大块””和“ 90：Surgery，NOS”编码，它们被重新编码为“其他外科手术”。仅占所有手术病例的0.7％。

分类器设计和验证

在62,844名患者中，随机选择30％（18,854）并留作测试（验证）数据集使用，而其余43,990名患者的数据用于训练（开发）和交叉验证。在这43990个案例中，总共有13197个用于交叉验证和初始模型探索（补充图1）。使用真正的“测试”集可以对模型性能进行无偏估计，这不能仅通过交叉验证来实现，因为模型或模型参数的人为或自动优化会固有地将评分偏向于人为地提高分类精度。51训练并测试了两个单独的分类器，每个分类器用于关注的每个结果变量。使用scikit-learn Python模块执行了预处理，超参数优化，交叉验证和评分。52

对于恶性模型，实现了结合平衡逻辑回归和平衡随机森林基础模型的投票集成分类器（BLR-RF）。该BLR-RF分类器执行类似于均衡随机森林（BRF）24算法的随机欠采样过程，从而在训练数据集的随机选择的类平衡子样本上训练集合中的每个基本分类器。学习不平衡的Python软件包53用于执行随机欠采样，而MLxtend软件包用于构建整体投票分类器。54与BRF相比，我们发现在该数据集中，我们的BLR-RF分类器提供了更好的概率校准，并且不太容易过拟合（补充图1）。）。BRF算法是流行的随机森林算法55的扩展，该算法建立决策树集合并使用表决程序输出整体分类决策。我们的BLR-RF分类器和BRF都与标准随机森林区分开来，它们通过在随机自举样本（从训练数据中随机抽取的较小样本）中另外对数据进行重采样来解决类别不平衡的问题。24与常规逻辑回归或随机森林相比，我们发现此程序在此高度失衡的数据集中有效（即约95％的脑膜瘤是良性的）（补充图1）。）。在本研究中使用的实现方式中，我们对非少数类（即所有非恶性肿瘤）进行了重新采样，以使每个引导程序样本都包含大致相等数量的良性和非良性肿瘤。为了改善模型校准，我们使用了使用普拉特缩放比例56的第二个概率校准步骤，该步骤具有初始训练中未使用的数据子集（补充图1）。

使用scikit-learn 52中的方法，使用加权F1评分，使用随机的57个五重分层K折交叉验证的1000次迭代执行超参数优化。作为主要得分指标。我们选择此加权F1分数作为训练模型的评分标准，因为该模型在很大程度上惩罚了少数族裔类别（即非良性脑膜瘤）的错误分类，这在这个非常不平衡的数据集中至关重要（例如，我们可以获得95只需将所有脑膜瘤归类为良性即可得出％的准确性）。F1分数的范围从0（最差）到1（最佳），并且被定义为精度（PPV）和召回率（灵敏度）的谐波平均值。它比精度或接收器工作特性曲线下的面积更适合测量不平衡数据集中分类器的性能。58还使用从交叉验证集中获得的混淆矩阵来评估候选模型。混淆矩阵是表示真实类与预测类以及计算正确与错误肯定与否定比率的一种简单方法。对于生存模型，我们在生命线Python软件包中使用了Cox比例风险模型的实现。26该模型适用于审查的生存数据，并具有提供易于解释的预测概率的优势。

使用一系列指标对恶性模型进行模型评分，包括F1得分和混淆矩阵（如上所述），以及精确召回率和接收者操作特征（ROC）曲线，也可以通过平均精度进行总结（ AP）和AUC指标。在不平衡的数据集中，AUC倾向于提供过于乐观的性能估计，因此在这些情况下评估精确率调用曲线也很有用。59平均精度取决于患病率，因此应在基线人群患病率的背景下进行评估。我们报告机会级别值以说明此基准。对于生存模型，我们报告时间相关的平均精度（APt）7和曲线下面积（AUCt）60值，使用APtools软件包中的R实现8以及Uno的C统计量。9我们使用了scikit-survival Python软件包中提供的Uno C的实现。61除了Uno的C外，时间相关的AP和AUC值还为模型评估提供了有用的补充。有人认为APt对于评估低概率事件特别有价值，[ 8]但还取决于患病率，因此应在每个时间点根据基线事件发生率进行评估。除了上述指标以外，我们还提供了预测风险与观察风险的校准图。置信区间的计算方法是对测试集进行自举重采样，对精度调用，ROC，APt和AUCt值进行1000次迭代。