此前他用豆子分类任务做过背景替换、遮挡和手掌干扰,已经证明模型会利用许多人类不认为重要的线索。换一个来源以后性能下降,无非还是分布变化。他先把两批数据的亮度、背景纹理、尺寸和拍摄角度做了统计,接着写了一个简单程序逐项消除差异,再分别测试模型。亮度标准化以后提升了一点,裁掉背景以后又提升了一点,尺寸统一之后变化很小。每一步都符合预期,却没有哪一步真正解释剩下那一大块性能损失。
他开始不舒服。
对原既白来说,最难受的状态不是不会,而是手里已经有一个看起来足够高层的框架,却怎么都压不住底下那些零碎事实。他习惯先找到一个上层结构,再让局部归位;现在“分布变化”四个字当然没错,却像一把过大的伞,什么都能罩进去,也因此几乎什么都没解释。
宋弈坐在旁边写自己的版本,看他连续跑了第五组实验,问:“你是不是又想一次把它解释完?”
原既白没有抬头:“不然呢?”
“先找哪个样本最离谱不行吗?”
“单个样本说明不了什么。”
“那你先看十个。”
原既白停了一会儿,还是打开了错误样本列表。
前十个里面有六个让他觉得模型不该错。到了第二十个,他看见一个奇怪的共同点:新数据里不少样本边缘都有很细的压缩痕迹,肉眼很容易忽略,却不是随机出现。继续往下看,这种痕迹在某一类标签上略多,而旧数据里几乎没有。他没有立刻断定模型利用了它,而是把图像做了频域处理,又生成一批只改变压缩方式、不改变主体内容的对照样本。半小时后,模型输出真的开始系统性漂移。
宋弈凑过来看结果:“所以它学的是压缩?”
“不是只学压缩。”
“那是什么?”
原既白把几组对照结果排在一起,想了一会儿:“它学的是所有能帮它赢的东西。我们只是事后才决定哪些东西叫‘应该学’,哪些东西叫‘捷径’。”
宋弈说:“这不就是你以前说的‘它看见了什么’?”
“以前我以为把不该看的东西去掉就行。”原既白把背景、亮度、压缩、边缘、拍摄设备几个因素写在纸上,却没有再急着画统一框架,“现在可能不是。你去掉一条路,它会找另一条。”
叶老师在晚上十一点以后才回复他们上传的日志,只写了一句话:“你终于开始怀疑测试集,而不是只怀疑模型。”
原既白盯着这句话看了很久。
江遥那边的开放任务在第二天变得更麻烦。
训练中心给每组追加了两套数据,其中一套几乎完全支持他们前一天的判断,另一套却把它打得七零八落。局部相关确实提前变化,但提前的时间并不稳定;某些条件下甚至整体量先出现转折,随后局部团块才迅速长大。简宁第一反应是检查数据有没有抄错,沈策认为边界条件不同可能改变了传播方式,方禾则觉得他们定义的相关量太粗,混在一起的也许是两种完全不同的机制。
江遥最初反而是最想救原模型的人。
她把两组数据重新做了归一化,又尝试把横轴换成前一天找到的那个无量纲参数。第一套依然漂亮,第二套依然难看。她换了第二种表示,还是不行。第三次准备重画时,韩思遥把椅子转过来问:“你现在是在找规律,还是在找一种让昨天没错的画法?”
这句话不重,却让江遥手停了下来。
她没有反驳。
十分钟以后,她把昨天最满意的那张图移到屏幕最边上,重新问了一个更基础的问题:有没有可能他们把“提前预警”想得太简单?局部结构和整体变化也许不是谁先谁后的固定关系,而是由某个隐藏条件决定走哪条路径。如果这样,真正值得找的不是一个统一的提前指标,而是**什么条件决定系统从哪一种变化方式进入另一种变化方式。**
这个问题一出来,方禾立刻把两批数据的边界条件和尺寸重新列成表,沈策开始比较不同组的时间尺度,简宁则发现那套最不符合原模型的数据里,外部驱动变化得明显更快。五个人花了整个上午才确认,他们昨天把一个静态问题看成了动态过程,却没有认真处理“变化得有多快”这一件事。
午饭时江遥没怎么说话。
她脑子里一直在转那个错误。不是因为丢脸,而是因为它有一种让她非常熟悉的形状:先从少量现象里长出一个漂亮结构,然后下意识地希望后面的世界继续配合。只不过这一次,她没有等别人把它完全推翻才承认,而是在新数据进来以后自己拆掉了一半。
下午汇报时,她把第一页改了。
原来第一页写着:“局部相关能否预测整体转变?”
现在变成了:“什么决定局部重组与整体变化的先后关系?”