原标题：“AI算命”登上Nature子刊神秘顾客公司，Transformer新模子“Life2vec”得手瞻望不测失掉

AI 真实不错用来科学地算命了！？丹麦科学家用宇宙 600 万东说念主的公开数据侦查了一个基于 Transformer 的模子，得手瞻望了不测失掉和特性特色。

丹麦技巧大学 (DTU) 的议论东说念主员宣称他们如故缱绻出一种东说念主工智能模子，传闻不错瞻望东说念主们的生涯中的要紧事件和效果，包括每个东说念主失掉的苟简时刻。著作在前两天登上了 Nature 的子刊 Computational Science。

作家 Sune Lehmann 称，「咱们使用该模子来惩办一个基本问题：咱们不错在多大程度上把柄夙昔的条款和事件来瞻望将来的事件？」

看来作家议论的主义莫得别的，如实是想用 AI 来帮大家算命。

议论东说念主员将东说念主的生涯轨迹表征为时刻礼貌的生涯事件序列，这种表征设施与天然讲话具有结构相似性。

应用 Transformer 模子的表征学习智商，不错学习到生涯事件的语义空间，并生成个体生涯序列的紧凑向量表征。

议论东说念主员应用丹麦约 600 万东说念主口的健康和劳能源数据，构建了基于 Transformer 的模子「life2vec」。

模子的输入数据是个东说念主的降生时刻，场地、讲授、健康情景、行状和工资等，而输出数据包括了「不测失掉」和「特性的隐微相反」等和个东说念主生涯息息掂量的内容。

议论团队基于生涯序列对个东说念主的生涯事件伸开了瞻望，模子发达昭彰优于面前其他设施。

比拟于其他设施，life2vec 模子对于特性的隐微相反有愈加优秀的瞻望效果。

议论东说念主员在论文中进一步指出，模子的宗旨空间和个体表征空间齐是专诚旨和可解释的，不错用来生成新假说，为个体化烦闷提供可能。

东说念主的一世也许是不错瞻望的

东说念主类面前正在阅历的东说念主类瞻望期间的中枢原因是海量数据集和执意的机器学习算法的出现。

在夙昔的十年里，机器学习通过拜访越来越大的数据集，使越来越复杂的模子成为可能，从而使图像和文本处理鸿沟发生了改动性的变化。

讲话处剃头展得尽头快，Transformer 体捆绑构已被线路不错得手地拿获了无数非结构化单词序列中的复杂模式。

天然这些模子发源于天然讲话处理，但它们拿获东说念主类讲话中的结构的智商推行到其他序列，这些序列与讲话有着相似的属性。

然而由于缺少大范围数据，Transformer 模子尚未应用于行业外的多模态社会经济数据。

议论东说念主员的数据集改变了这少许。他们的数据集的繁密体量使议论团队好像构建个体人命轨迹的序列级别表征，其中详备证明了每个东说念主如安在时刻中挪动。

议论东说念主员不错在不同类型的事件中不雅察个东说念主生涯是奈何演变的 (对于腹黑病发作的信息与加薪或从城市搬到农村的信息搀杂在一说念)。

每个序列中的时刻离别率和序列的总额齐饱胀大，议论东说念主员不错专诚旨地应用基于 transformer 的模子来瞻望生涯事件的效果。

这意味着表征学习不错应用于一个全新的鸿沟，以发展对东说念主类生涯的进化和可瞻望性的新领略。

具体地说，议论东说念主员采纳了雷同 Bert 的架构来瞻望东说念主类生涯的两个相等不同的方面：失掉时刻和个性隐微远离。

议论东说念主员发现，议论东说念主员的模子不错准确地瞻望这些效果，在早期失掉的情况下，比面前起初进的设施高出∼11%。

为了作念出这些准确的瞻望，议论东说念主员的模子依赖于生涯中整个事件的单一民众镶嵌空间-轨迹。

正如议论讲话模子中的镶嵌空间不错提供对东说念主类讲话的新领略相同，议论东说念主员不错议论镶嵌空间的宗旨，以揭示生涯事件之间的非平常相互作用。

底下，议论东说念主员提供了对由此产生的生涯事件的宗旨空间的细察，并展示了该空间和模子自己的健壮性和可解释性。

基于 Transformer 的模子还产生了对个体的镶嵌 (讲话表征中的类比是转头整个这个词文本的矢量)。使用显赫图和宗旨激活向量 (TCAV) 等可解释性器具，议论东说念主员标明个东说念主节录亦然专诚旨的，并具有行为行径表型的后劲，不错纠正其他个东说念主水平的瞻望任务，举例，增强对医学图像的分析。

模子瞻望效果

议论东说念主员用一种浅易的象征讲话对丰富的数据进行编码。

复杂的多源时态数据的原始数据流带来了繁密的设施论挑战，举例不端正的采样率、数据的零碎性、特征之间的复杂交互以及无数的维度。

用于时刻序列分析的经典设施 (举例，解救向量机，ARIMA)[42，43] 变得繁琐，因为它们具有伸缩性，不活泼，而且需要无数的数据预处理来索求有效的特征。

使用颐养设施允许议论东说念主员幸免手工制作的特征，而所以一种应用与讲话的相似性的方式对数据进行编码。具体地说，在议论东说念主员的例子中，每一类碎裂特征和碎裂不息特征酿成一个词汇表。

这个词汇表 —— 连同期间的编码 —— 允许议论东说念主员将每个生涯事件 (包括其详备的限度信息) 表征为一个由合成词或宗旨象征组成的句子。

议论东说念主员在每个事件上齐附加了两个时刻方针。一个是指定个东说念主在事件发生时的年级，另一个是捕捉十足时刻，见下图。

因此，议论东说念主员的合成讲话不错捕捉到这么的信息：「2020 年 9 月，弗朗西斯科在埃尔西诺尔的一座城堡里当警卫时收到了 2 万丹麦克朗。」

或者「在投寄中学的第三年，赫敏插足了五门选修课」。在这个意旨上，一个东说念主的人命进度被表征为一串这么的句子，它们一说念组成了个东说念主的人命序列。

议论东说念主员的设施允许议论东说念主员编码对于个东说念主生涯中事件的平常的详备信息，而不罢休原始数据的内容和结构。

长期以来，宝马中国研发团队积极开展L3级自动驾驶的本土化研发，根据法规要求，已经为今后L3级自动驾驶功能在中国的适配和应用做好充分准备，满足中国复杂交通路况和中国客户的驾驶特性。即将上市的全新BMW 5系长轴距版在技术上就已经具备拓展至L3自动驾驶的能力。

我们总结了方运舟在大会上的分享的主要观点：

life2vec 模子

议论东说念主员使用 transformer 模子来酿成个东说念主生涯的紧凑表征。议论东说念主员称议论东说念主员的深度学习模子为 life2vec。

Life2vec 模子基于 transformer 架构。由于其压缩陡立文信息的智商以及谈判时刻和位置信息，Transformer 相等稳妥表征人命序列。

Life2vec 的侦查分为两个阶段。最初，议论东说念主员通过同期使用 (1) 一个瞒哄讲话模子（MLM）任务，神秘顾客暗访迫使模子使用标志表征和陡立文信息 (2) 一个序列排序瞻望（SOP）任务，照看序列的时刻连贯性来侦查模子。预侦查创建了一个宗旨空间，并熏陶模子人命序列结构中的模式。

接下来，为了创建个东说念主人命序列的紧凑表征，模子奉行了一个分类任务。模子在这临了一步学习的个东说念主转头取决于分类任务；它识别并压缩了为给定下流任务最大化笃定性的模式。

举例，当议论东说念主员要求模子瞻望一个东说念主的个性隐微远离时，东说念主物镶嵌空间将围绕着对个性孝敬的关节维度构建。

跨鸿沟的准确瞻望

任何模子的首要测试是瞻望性能。life2vec 不仅卓越了现存的 SOTA，同期还能在相等不同的鸿沟进行分类瞻望。议论东说念主员在两个不同的任务上测试了他们的框架。

瞻望早期失掉率

议论东说念主员估算一个东说念主在 2016 年 1 月 1 日之后四年内存活的可能性。这是统计建模中常用的任务。此外，失掉率瞻望与其他健康瞻望任务密切掂量，因此需要 life2vec 建模个东说念主健康序列的发展以及劳动历史，以得手瞻望正确的效果。

具体来说，给定一个序列示意，life2vec 推断出一个东说念主在议论东说念主员序列扫尾后的四年内（2016 年 1 月 1 日）存活的可能性。

议论东说念主员专注于对年青的群体进行瞻望，包括 30 至 55 岁的个东说念主，其中失掉率难以瞻望。

议论东说念主员展示了使用修正的马修斯掂量总共 C-MCC61，的模子的性能，该模子由于存在未标志的样本而颐养 MCC 值。

Life2vec 比基线高出 11%。请预防，加多 RNN 模子的大小并不成擢升它们的性能。

下图 2.D 还细分了多方法组的性能：基于年级和性别的交叉组，以及基于序列长度的组。

瞻望个性的隐微远离

失掉行为一个瞻望标的是明确界说的，也黑白常可量度的。

为了测试 life2vec 的多功能性，议论东说念主员当今瞻望「个性隐微远离」，这是测量光谱的另一端的效果，是个体里面的东西，经常不错通干预卷傍观来量度。

尽管很难测量，但个性是塑造东说念主们念念想、容貌和行径并瞻望生涯效果的迫切特征。具体地说，议论东说念主员照看内向-外向维度鸿沟中的东说念主格隐微远离 (为了浅易起见，底下是外向)，因为相应的东说念主格隐微远离是上个世纪 (在西方世界) 出现的基本东说念主格结构的险些整个综合模子的一部分。

行为议论东说念主员的数据集，议论东说念主员使用了在「丹麦个性和社会行径小组」(POSAP) 议论中为一大群有很大代表性的个体收罗的数据。

议论东说念主员随即选拔一个款式 (个性隐微远离) 每个外向方面，并瞻望个东说念主水平的谜底。

上图知道，将 Life2vec 应用于人命序列不仅允许议论东说念主员瞻望早期失掉率，而且具有饱胀的通用性，足以捕捉个性的隐微远离)。

Life2vec 在整个款式上的得分齐高于 RNN，但只消在款式 2 和 3 上相反有统计学意旨。为这一特定任务而侦查的 RNN 也好像索求个性周围的信号，这一事实突显出，尽管变压器模子很执意，但使 Life 2vec 如斯通用的很大一部分原因是数据集自己。

宗旨空间：领略宗旨之间的相干

议论东说念主员设施的新奇之处在于，该算法学习包含东说念主类生涯中可能发生的整个事件的单个集结多维空间。议论东说念主员从可视化初始议论东说念主员对这个空间的探索。

全局视线

在上图中，使用 PaCMAP 将原始的 280 维宗旨投影到二维图上，该图保留了高维空间的局部和全局结构。

在这里，每个宗旨齐把柄其类型进行着色。

这种神气明晰地标明，总体结构是把柄合成讲话的关节宗旨组织的：健康、责任类型等，但意念念的细节，将降生年份、收入、社会地位和其他关节的东说念主口统计信息分开。这个空间的结构是高度鲁棒的，并在一系列条款下可靠地重叠出现。

宗旨空间的详尽结构是专诚旨的。潜入挖掘全局布局，议论东说念主员发现该模子学习了近邻宗旨之间的散乱有致的关联。

议论东说念主员通过邻居分析来议论这些局部结构，该分析应用原始高维示意中宗旨之间的余弦距离行为相似性度量。

个东说念主节录

的节录是一个单一的向量，它详细了一个东说念主的整个这个词生涯事件序列的基本方面。

个东说念主节录跳跃了议论东说念主员的东说念主镶嵌的空间。为了酿成东说念主的节录，模子笃定哪些方面与手头的任务掂量。从这个意旨上说，东说念主称节录所以特定的瞻望任务为条款的。底下，议论东说念主员侧重于失掉可能性的东说念主称节录。

上图可视化了个东说念主纲目的空间。

相对于失掉率瞻望，该模子将个体组织在从低到高地意想失掉率 (D 组中的点云) 的不息体上。

在图中，议论东说念主员通过红色菱形知道真实的失掉，而瞻望的真实度通过点的半径来发达 (举例，具有小半径的点是低置信度瞻望)。

此外，使用从黄色到绿色的神气映射来知道意想的概率。

议论东说念主员看到，天然区域 2 大多数齐是老年东说念主，但仍然看到很大一部分年青东说念主 (图 5E)，它包含一小部分信得过的标的 (图 5F)。

B 区具有很大程度上相背的结构，大多数是年青东说念主，但也有异常数目的老年东说念主 (图 5E)，只消一东说念主践诺失掉 (图 5F)。

当议论东说念主员检察低概率区域的践诺失掉时神秘顾客公司，议论东说念主员发现距离区域 1 最近的 5 个失掉原因如下--两个不测，脑部恶性肿瘤，宫颈恶性肿瘤，心肌梗死。