关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01268人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

黄紫昌:我相信拥有苏超这个赛事,江苏以后一定有顶级联赛球队

直播吧 浏览 455 09-01

特朗普"黄金股"介入 日铁关停美国工厂计划泡汤

澎湃新闻 浏览 427 09-23

高端汽车市场创2亿营收,「悉智科技」拓疆AIDC蓝海 |36氪首发

36氪 浏览 253 12-19

冯绍峰新恋情刚曝,陈晓赵丽颖就传二搭?

喜欢历史的阿繁 浏览 508 08-11

本田宣布将终止与通用汽车合资公司的燃料电池生产

IT之家 浏览 261 01-21

英超官方解释点球:裁判认为霍尔手臂抬起,不合理地扩大防守面积

直播吧 浏览 474 08-25

华熙生物股价跌去81%!“玻尿酸女王”赵燕出手了

包不同 浏览 402 09-20

"航站楼"搬进高铁站 空铁联运"一张网"正加速成型

环球网资讯 浏览 466 08-24

荣梓杉出轨约妹照曝光!与李禹熹控诉时间吻合,还曾要求对方删照

萌神木木 浏览 273 10-16

女子乘二等座买到"单人座":空间较宽敞 旁边能放行李

极目新闻 浏览 249 01-27

川青铁路在建大桥施工绳索断裂 已致7人遇难

人民日报客户端 浏览 350 08-23

卫衣+半裙=早秋流行混搭套路,时髦极了!

Yuki女人故事 浏览 318 09-20

牛弹琴:美国人大吃一惊 特朗普牵涉到了战争罪行

现代快报 浏览 327 12-02

专家:敏感时刻俄核演习展示肌肉 发出强烈威慑信号

澎湃新闻 浏览 303 10-25

被生活锤老实了,他们不再跟着吴京嗷嗷叫

老萧杂说 浏览 266 01-23

两女生称花90多元入住成都民宿 在空调管道发现摄像头

极目新闻 浏览 325 02-05

特朗普为“金穹”寻找SpaceX替代方案,马斯克暗指违法

澎湃新闻 浏览 7675 07-24

郑星源亲自下场,否认霸凌梓渝,谁在说谎?

文娱没有圈 浏览 4220 07-26

以军称已按加沙地带停火协议完成撤军

极目新闻 浏览 333 10-12

清华等联合开发"甜蜜点学习"算法:AI智能体训练效率提升2.5倍

科技行者 浏览 244 02-04

黄多多晒20岁生日照,美国公寓装修高档

揭秘世间万象 浏览 230 02-05
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11