章节目录 第一千零一章 比可塑层还早一年(1 / 2)
作品:《重生1998:从下岗工人到全球首富》[全本小说]:qbxs. N e t 一秒记住!
陆远把那个电话号码揣在口袋里三天没动。
第四天中午,他去公用电话亭打了一个,响了两声就接了。
“喂。”
“李老师?我是陆远。上次会上问问题那个。”
“哦。陆远。”那边顿了一下,像是在回忆,“华清计算机系的?”
“对。”
“想好了?”
“想好了。课不多,能去帮忙。”
“行。明天下午三点,你到东四环这边来找我。地址记一下。”
陆远拿了纸笔记下来。
挂了电话,站在电话亭里看了那张纸条几秒。
东四环,某研究院信息技术研究所,离华清不算远,骑车半个多小时。
第二天下午,他准时到了。
研究所是一栋旧楼,灰色外墙,门口连个像样的牌子都没有。
只有一块小铜牌,上面刻着单位名称。
李副研究员在二楼楼梯口等他。
四十出头,瘦,头发有点乱,走路很快。
“来了。跟我来。”
实验室在走廊尽头,两间打通的大屋子。
机器不少,但比华清郑教授那间整齐。
二十几台工作站排成三排,屏幕上跑着各种训练任务。
十几个人坐在电脑前,大多很年轻,二十出头。
李副研究员带他走到最里面的一台机器前。
“你先看看这个。”
屏幕上是一个训练脚本,输入是多模态数据,图像、文本、语音三种。
模型要把它们映射到同一个语义空间。
文字描述“一只黄色的狗在草地上跑”,图像和语音要对应到同一个特征向量。
陆远看了几行,模型架构用的是双塔结构。
文本塔和图像塔分开编码,最后对比学习拉近正样本距离。
这个思路本身没问题。
可陆远注意到两个细节。第一,模型没有正则化项。第二,学习率固定。
“跑多久了。”
“两周。”
“损失降不下去?”
李副研究员愣了一下:“你怎么知道。”
“没正则化。过拟合了。学习率又固定,后期梯度震荡。”
李副研究员看了他几秒,然后转身喊了一声:“小赵,你过来。”
一个戴眼镜的女生跑过来。
李副研究员说:“把最近三天的损失曲线调出来。”
曲线出来。
果然,前五天稳定下降,从第六天开始震荡,最近两天几乎不降了。
李副研究员看着屏幕,又看看陆远。
“你以前做过多模态?”
“没有。”
“那你怎么一眼看出来的。”
“前面那张图,权重的分布太窄了。说明模型只记住了训练样本。再加正则就好了。”
“加什么。”
“L2。权重衰减设零点零零一。学习率改成余弦退火。”
李副研究员沉默了两秒,然后对小赵说:“按他说的改。重新跑。”
小赵看了陆远一眼,有点不服气,但还是坐下来改了代码。
重跑之后,损失曲线重新开始下降。
李副研究员把陆远叫到走廊。
“你大几。”
“大三。”
“什么背景。”
“修过几年电器。”
李副研究员笑了。
那笑很短,一闪而过。
“你以后每周来三天。这里的事不用往外说。项目是合作性质的,参与单位不止我们一家。有些东西你看到了,自己心里有数就行。”
“明白。”
“行。你去找小赵,让她给你开权限。”
陆远点头。
回实验室的路上,他扫了一眼墙上的项目进度表。
表格很大,用蓝色胶带贴在墙上。
横向是月份,纵向是任务节点。
在“多模态融合”这一栏里,他看到了两个熟悉的名字。
方立群。
孙志远。
他面上没变化。
走到小赵工位旁边,坐下来,开始调代码。
接下来两周,陆远摸清了研究所的基本盘。
项目分三个组。
𝚀 ℬ 𝑋 𝕊 . n e t