章节目录 第一千零一章 比可塑层还早一年(1 / 2)

作品:《重生1998:从下岗工人到全球首富》

[全本小说]:qbxs. N e t 一秒记住!

陆远把那个电话号码揣在口袋里三天没动。

第四天中午,他去公用电话亭打了一个,响了两声就接了。

“喂。”

“李老师?我是陆远。上次会上问问题那个。”

“哦。陆远。”那边顿了一下,像是在回忆,“华清计算机系的?”

“对。”

“想好了?”

“想好了。课不多,能去帮忙。”

“行。明天下午三点,你到东四环这边来找我。地址记一下。”

陆远拿了纸笔记下来。

挂了电话,站在电话亭里看了那张纸条几秒。

东四环,某研究院信息技术研究所,离华清不算远,骑车半个多小时。

第二天下午,他准时到了。

研究所是一栋旧楼,灰色外墙,门口连个像样的牌子都没有。

只有一块小铜牌,上面刻着单位名称。

李副研究员在二楼楼梯口等他。

四十出头,瘦,头发有点乱,走路很快。

“来了。跟我来。”

实验室在走廊尽头,两间打通的大屋子。

机器不少,但比华清郑教授那间整齐。

二十几台工作站排成三排,屏幕上跑着各种训练任务。

十几个人坐在电脑前,大多很年轻,二十出头。

李副研究员带他走到最里面的一台机器前。

“你先看看这个。”

屏幕上是一个训练脚本,输入是多模态数据,图像、文本、语音三种。

模型要把它们映射到同一个语义空间。

文字描述“一只黄色的狗在草地上跑”,图像和语音要对应到同一个特征向量。

陆远看了几行,模型架构用的是双塔结构。

文本塔和图像塔分开编码,最后对比学习拉近正样本距离。

这个思路本身没问题。

可陆远注意到两个细节。第一,模型没有正则化项。第二,学习率固定。

“跑多久了。”

“两周。”

“损失降不下去?”

李副研究员愣了一下:“你怎么知道。”

“没正则化。过拟合了。学习率又固定,后期梯度震荡。”

李副研究员看了他几秒,然后转身喊了一声:“小赵,你过来。”

一个戴眼镜的女生跑过来。

李副研究员说:“把最近三天的损失曲线调出来。”

曲线出来。

果然,前五天稳定下降,从第六天开始震荡,最近两天几乎不降了。

李副研究员看着屏幕,又看看陆远。

“你以前做过多模态?”

“没有。”

“那你怎么一眼看出来的。”

“前面那张图,权重的分布太窄了。说明模型只记住了训练样本。再加正则就好了。”

“加什么。”

“L2。权重衰减设零点零零一。学习率改成余弦退火。”

李副研究员沉默了两秒,然后对小赵说:“按他说的改。重新跑。”

小赵看了陆远一眼,有点不服气,但还是坐下来改了代码。

重跑之后,损失曲线重新开始下降。

李副研究员把陆远叫到走廊。

“你大几。”

“大三。”

“什么背景。”

“修过几年电器。”

李副研究员笑了。

那笑很短,一闪而过。

“你以后每周来三天。这里的事不用往外说。项目是合作性质的,参与单位不止我们一家。有些东西你看到了,自己心里有数就行。”

“明白。”

“行。你去找小赵,让她给你开权限。”

陆远点头。

回实验室的路上,他扫了一眼墙上的项目进度表。

表格很大,用蓝色胶带贴在墙上。

横向是月份,纵向是任务节点。

在“多模态融合”这一栏里,他看到了两个熟悉的名字。

方立群。

孙志远。

他面上没变化。

走到小赵工位旁边,坐下来,开始调代码。

接下来两周,陆远摸清了研究所的基本盘。

项目分三个组。

𝚀 ℬ 𝑋 𝕊 . n e t