于淼 · Lab
语言 中文
04 · 领域认知

从最优传输到 LLM

换过三次赛道之后我才发现,跟着我走的不是工具,是一个问题。

· By 于淼 · #最优传输#技能迁移

十年前我在巴黎做的题目是全波形反演:给定地表记录到的地震波,反推地下的速度结构。十年后我每天在做的,是设计和 LLM 协作的流程。这两件事看上去毫无关系,但我越做越确定,中间那条路并没有断——只是接口不在你以为的地方。

一个关于“像”的问题

反演说到底是个优化问题:先猜一个地下模型,正演算出理论波形,再和实测记录比一比,按差别修正模型,如此反复。所有的难处都藏在“比一比”这三个字里。

最朴素的比法是逐点相减、求平方和。它的缺陷众所周知:如果猜的模型让理论波形整体晚到了一个周期以上,逐点比较会把两条本该对齐的波形当成完全不相干的东西,优化于是滑进一个漂亮的局部极小值,再也出不来。你的模型错了,而目标函数告诉你它挺好。

我博士做的是换一种比法:把波形看成质量的分布,问一句“要把这一堆质量搬成那一堆,得搬多少、搬多远”。这是最优传输给出的距离,配上熵正则才算得动。它天生对平移宽容——晚到一个周期,代价只是“搬了一段路”,而不是“完全不认识”。目标函数的地形因此变得平缓,优化才走得下去。

那几年我以为自己在学一个反演技巧。后来才明白,我真正学到的是一个问题:你说的“像”,究竟是怎么定义的?

同一个问题,换了身衣服

2019 年前后,我因为兴趣绕去做过一阵自然语言处理。当时最打动我的是词向量:把词放进一个空间,让距离去承载语义。现在回头看,那分明是老朋友换了身衣服,只是当时我没认出来。

再后来是 LLM 和 agent。评估一个 agent 的回答,最省事的做法是拿标准答案逐字符比对——这就是逐点平方和,一模一样的陷阱:换个说法、调个顺序,分数就崩了,而它其实答对了。凡是认真做过评测的人,最后都会走到同一步:去找一个对无关变化宽容、对真错误敏感的距离。

反演的另一半经验迁移得更直接:这是一个不适定问题。观测永远不够,解不唯一,所以必须靠先验和正则,把解拉回物理上合理的范围。我现在给 agent 写任务书、划边界、立验收标准,做的其实是同一件事——不是把答案告诉它,而是把解空间收窄到只剩合理的那部分。

所以什么才是可迁移的

十年前我在学习最优传输与测度理论的时候,就在琢磨这套思维能不能迁移到机器学习上——那几年 OT 在机器学习里正热,Wasserstein GAN 就是拿它当损失函数,把“两个分布有多像”重新定义了一遍;金融里的推土机距离也是同一套东西。后来它真的一路跟到了今天的大模型智能体系统。现在看,真正跟过来的有三样东西:

  • 对目标函数的警觉——先问在优化什么,再问优化得好不好;
  • 对不适定的坦然——解不唯一不是失败,是该引入先验的信号;
  • 以及在噪声里判断证据的纪律,这一条我在另一篇文章《信号与噪声》里写过。

换赛道的时候,你会舍不得那些练了很久的具体技能;但真正需要打包带走的,只是你问问题的方式。