第四十六章 机器猜测的因果
2026年,中国南方
新来的研究生许澈把模型结果发给程屿时,邮件标题写得十分兴奋:“这一次终于稳定了。”程屿在早上八点打开邮件,看到一张几乎没有明显波动的性能曲线,心里先是一动,随即问对方究竟使用了哪些特征。许澈回复说自己加入了更多临床和测序相关变量,又采用一种能够处理复杂交互关系的算法,在几个数据划分方案下得到很接近的结果。程屿让他把训练流程、预处理记录和每次划分的样本编号一同发过来,并提醒他暂时不要将图放进论文。
许澈刚读研不久,之前在计算机专业学习过机器学习,进入微生物组项目后觉得生物数据比课堂里的标准任务有趣得多。电脑里有数以万计的特征,某些模型能够从复杂数据中找到令人惊讶的组合。他在网上阅读人工智能的研究进展,常觉得传统统计方法太慢,研究者似乎只要使用更大的模型,便能减少人为假设带来的局限。程屿不反对使用新方法,但总担心年轻学生把性能提升当作唯一目标,忽略数据生成过程中的那些不容易看见的限制。
当天下午,两人开始核对模型。许澈最初无法理解为什么程屿对一张漂亮曲线没有表现出足够的兴奋,直到他们检查特征重要性时,发现有一组与采样和处理批次相关的变量在模型中占据了相当高的权重。许澈说这些变量只是技术背景信息,并没有直接把疾病标签送给模型。程屿解释,如果不同中心的疾病比例不同,而采样流程又与中心密切相关,即使没有把标签放进输入,模型也可能利用技术信息预测研究来源,再间接获得疾病分组的线索。真正需要检验的是,当换到新的中心或不同数据分布时,预测能力还能保留多少。
许澈把特征重要性的列表按大小排序,原本排在前面的几个微生物名称被与采样中心相关的编码挤到了后面。他起初觉得这或许只是算法计算方法的偏好,便尝试换一种解释工具。结果虽然有所变化,中心差异仍然十分突出。程屿让他把最简单的模型也跑一遍,看看仅使用非目标变量会得到怎样的性能。许澈看见那张出人意料的曲线,半天没有说话。他第一次明白,复杂模型获得好分数,有时只是把一个简单的偏差利用得更加彻底。
他们重新设计验证方案,将特征选择、数据转换与参数调整严格限制在相应训练阶段,并使用按研究中心分离的方式评估性能。结果没有前一轮漂亮,某些划分甚至明显下降。许澈盯着屏幕,问这是否说明模型完全没用。程屿说未必,但它至少说明之前的评估过于乐观。他让学生先写一份错误分析,不用急着换另一种算法。许澈皱着眉,说写错误报告似乎比做模型还费力。程屿告诉他,这种工作做得越清楚,后面越容易判断模型究竟在利用什么信息。
第二天早晨,罗慎来询问项目阶段汇报的准备情况。按照原先安排,许澈的模型本该成为介绍算法进展的重点。许澈把新的跨中心验证结果投在屏幕上,曲线比旧版低了不少,还附着一张说明预处理和特征选择如何在错误顺序中泄漏信息的流程图。罗慎读完问他,是否有把握证明这次下降全部来自同一个问题。许澈没有再急着回答,说他们识别出几种可能的偏差来源,仍需分别检验,当前只能确认旧的评估不足以支持原有结论。
会议室安静了一会儿。罗慎把原定宣传稿上“突破性精度”几个字划去,要求在正式对外材料里区分已经独立验证的结果和仍在探索的模型,同时不能因为失去一条漂亮曲线便无限推迟学生的阶段考核。许澈原以为自己会挨一顿训,听到最后一句才抬起头。程屿建议把复核流程和已发现的问题写成独立的技术记录,保留分析版本,给毕业计划设定清楚的边界。这样做没有把错误变成成功,却让接下来几个月的工作终于有了可以完成的范围。
回办公室后,许澈给参加项目汇报的同学发了新版幻灯片,特意把旧图放进附录并标明不宜用于性能比较。有人问为什么不干脆删掉,他说因为下一批学生可能还会碰到同样的陷阱。下午他用一张纸画出新的数据流,从受试者与研究中心开始,一直画到训练、调参和外部测试,每个可能互相泄漏信息的步骤都留出检查位置。那张纸没有鲜艳的配色,边上还有咖啡留下的一圈浅痕,他却把它贴在电脑旁,决定在下一次建模之前先从这张图开始。
晚饭时,杜然听说此事,忍不住笑起来,说几个月前自己也做过相似的事,只不过那时用的是另外一种方法。许澈有些不服气,觉得自己并没有犯低级错误,只是试图让模型利用更多信息。杜然说他也曾这样想,直到一个外部队列把自己花了几个月做出的曲线压得很难看。两人吃着饭,逐渐谈起各自在科研中犯过的错误。程屿坐在旁边听,发现杜然不知不觉已经能够向新学生解释许多原先总与自己争论的问题。
许澈曾经在校内一次竞赛中拿过机器学习的奖。那时题目要求把给定数据集分成训练和测试部分,排行榜上的分数每提高一点,队友便欢呼一次。进入真实科研以后,他仍不自觉地保留着那种习惯,看到性能增加便觉得向成功又靠近了一步。如今这次跨中心验证使他很不习惯,因为模型明明遵循了他熟悉的优化流程,却仍然学到研究者并不希望它利用的差异。程屿没有嘲笑他,只让他把竞赛任务与医学研究的目标写在纸上,看看哪些评价标准能够共用,哪些需要另行定义。
当天夜里,许澈打开从前参加竞赛的笔记,里面记着每次排行榜提升后的欢呼和截图。那时候题目规则清楚,优化目标也明确;如今研究问题涉及真实人的样本、诊断记录和临床解释,他不能再假设所有可以提升分数的信息都适合成为预测依据。他给自己写下一条新规则:先画出数据从采集到建模的流程,再决定模型应当学习什么。写完又觉得像一句口号,便把它拆成需要逐项核对的具体步骤。
第二天,叶岚邀请他们参加展览最后一部分的试讲。她原本想设置一面互动屏,让参观者输入几个生活习惯,便得到一个人工智能生成的微生物健康判断。程屿看完设计稿,建议不要使用这种模拟临床预测的方式,除非能够明确说明它完全是教学示例、没有个人医疗判断意义。他提出改成展示一个模型如何因为训练数据偏差而产生错误,参观者可以切换不同的数据来源,看到同一模型的评价结果发生改变。叶岚觉得这个方案既能让观众参与,也不会制造不必要的临床期待,便请设计人员修改。
互动展板修改后,叶岚让一位没有相关专业背景的保安试用。保安认真输入几组模拟数据,发现同样的模型换一个中心表现可能明显不同,便问是不是机器太笨。许澈解释不是机器理解力差,而是数据本身可能携带了研究者没有意识到的差别。保安点点头,说这有点像他值班时认人,白天从正门进来的熟面孔,换了帽子从侧门走,自己也可能一时认错。叶岚听见这个例子,把展签里一段拗口的话又改短了。
叶岚联系的互动展览设计师最初坚持,给屏幕加上一位会说话的卡通医生,能够使观众更加愿意参与。梁静看到草图后提出,如果形象像医生、输出又像诊断,容易令观众误把演示当成真正的医疗建议。几个人商量后改为展示两张来自不同采样中心的模拟数据表,由参观者选择训练方式,观察预测结果如何变化。设计师起初担心不够生动,试讲时却发现孩子们很喜欢反复切换选项,尤其对同一个模型在另一批数据上突然不灵感到惊讶。
许澈回到宿舍,把那张最初令自己兴奋的漂亮曲线重新打开,仔细检查当时留下的代码记录。他发现自己并不是不知道混杂和数据泄漏的概念,只是在那次性能提升后,很快便把这些检查推到了后面。第二天早晨,他给程屿发信承认这一点,并主动提出以后先完成数据划分和预处理审计,再讨论复杂模型。程屿只回复说,下周把新流程带到组会上,让大家一起检查。
试讲当天,有位高中生站在屏幕前问,机器为什么能找到人类没有想到的规律,却又可能被采样批次这种细节欺骗。许澈原本准备解释模型的优化目标和高维特征空间,见对方听得越来越迷糊,便换了一种说法:机器会按照训练时得到的信息寻找能够区分结果的办法,但它未必知道研究者真正关心的生物学原因是什么。学生听完又问,那是不是只要把所有无关变量删掉便行。程屿接过话说,真正难的是有些变量看起来与目标有关,却可能通过其他途径产生关联,研究者需要结合实验设计、统计验证和领域知识去判断。
试讲结束后,许澈回到实验室,把新模型的错误来源整理成一张简明表格。他第一次认真标注哪些结论来自真实独立验证,哪些只是探索阶段的结果。杜然看到以后,没有像从前那样劝他尽快画一张更复杂的网络,而是帮他核对样本划分记录。两个人为了一个数据处理步骤争论半天,最后发现是脚本里有一项默认参数没有被写进方法说明。许澈把参数补好,重新运行检查,虽然结果没有明显提高,却终于能够完整重现前一轮分析。
组会当天,许澈没有把表现最好的模型放在第一张幻灯片,而是从研究问题和数据来源讲起。杜然坐在后排,听他解释哪些结果来自内部划分、哪些来自真正独立的研究中心,忽然想起自己刚入组时第一次做汇报的紧张。散会后他把几处容易误解的术语圈给许澈,没有再提出增加新算法的建议。两个人一起把投影仪收好,顺路去楼下买晚饭,谈论的却是学院里即将举办的篮球赛。
晚上九点,程屿收到许澈的第二封邮件。标题不再写“终于稳定了”,而是“跨中心验证与错误分析”。附件中有两张不太好看的性能图,以及一份清楚的说明。程屿读完,在回复里标注了几处建议,又附上两篇有关数据泄漏和外部验证的参考文章。最后他在邮件末尾写道,明天组会上可以先讲这次检查发现了什么。发完邮件,他关上电脑,办公室里的灯只剩一盏亮着,走廊里听见清洁车缓慢经过的声音。
真实历史与科学解读
机器学习能够识别复杂统计模式,但高预测性能并不直接说明因果关系。研究中心、批次、样本来源等变量可能通过混杂与数据泄漏造成虚高表现;内部交叉验证不能替代符合目标使用情景的真正独立验证。本章人工智能模型、交互展览和人物全部虚构,具体结果仅为文学情节。