。”
沉默了两秒。“你是哪家公司的HR?”
“不是HR。”
“销售?”
“也不是。”
顾屿抬起眼皮,
“我是老板。”
任少卿把双肩包的带子往肩上提了提,往石柱方向靠了半步。
这是他多年来养成的习惯。
离不确定因素保持一定物理距离。
“行,”
他语气极其克制,
“算你有GPU。但你刚才说,我现在卡的瓶颈不是算力——”
“对。”
“那是什么?”
“是你对'规模'这件事的理解,停在一个错误的框架里。”
顾屿靠上椅背,右腿搭在左膝上,
“你现在的逻辑是:更大的模型,更多的数据,更强的算力,效果就会越来越好。这个方向本身没问题。但你少算了一件事。”
任少卿没说话。
“效率。”
顾屿吐出两个字,
“你的模型在做大量无效计算。它用同样的力气处理每一个输入,不管那个输入重不重要,不管当前任务简单还是复杂。这是架构设计上的浪费,不是数据和算力能补回来的。”
“你说的这个问题,”
任少卿的眉头拧了一下,
“在卷积结构里,局部感受野决定了模型必须平等对待每一个特征图的位置,这是结构本身的天花板,目前没有好的解法。除非……”
他沉默了两秒,
“你是想让模型学会‘选择性注意’?而不是对每个输入都倾尽全力?”
顾屿眉毛微微一挑。这家伙,触到边了。
“差不多。”
顾屿说。
任少卿彻底闭上了嘴。
顾屿靠在椅背上,目光落在走廊另一端透进来的夕阳上。
2025年初的那个冬夜,为了给公司续命而变卖了所有家产。
只能缩在北京一间阴冷逼仄的出租屋里盯着融资失败通知书的自己,做的也是这件事。
堆参数,堆数据,堆算力,堆到搭进去自己的一切,烧光了公司账上最后一分钱。
当时全球的AI大厂全都陷入了“算力霸权”的迷信里,像硅谷的OpenAI为了训练一个达到顶尖效果的GPT-4模型,光是纯硬件算力就疯狂烧掉了一亿多美金!
本章未完,请点击下一页继续阅读!