关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1412人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

国防部:日方若胆敢铤而走险必将碰得头破血流

界面新闻 浏览 2464

连续被血洗!今年前十个月的涨幅,币圈一个月跌完了

华尔街见闻官方 浏览 2526

跟队:在无缘坎塞洛之后,国米目前并没有明确任何引援替代者

懂球帝 浏览 1760

聚焦AI+畜牧,刘松柏攻破鸡味密码,打造终身学习广东样本

南方都市报 浏览 930

张柏芝与向太的关系彻底崩塌?

涵豆说娱 浏览 3252

古特雷斯:联合国将全力支持加沙停火协议

环球网资讯 浏览 2859

曹骏舒畅世纪同框,蓝盈莹自食恶果,高低立判!

情感大头说说 浏览 1382

伊姐周日热推:电视剧《吴邪私家笔记》;电视剧《灼灼韶华》......

伊周潮流 浏览 3707

香港重磅活动,17日盛大开启!

中国基金报 浏览 2125

秦岚自曝身体出现情况,治疗结果不尽人意

乡野小珥 浏览 911

宝马5系车主揪出汽修店一个"意外疏忽":我气得吐血

1818黄金眼 浏览 5384

追梦:当勇士保持健康,我认为没有哪支球队是我们无法击败的

懂球帝 浏览 3005

委内瑞拉总统:美国编造荒诞借口以便入侵加勒比

国际在线 浏览 2390

官方:原海港、深足康复师克雷顿加盟广州豹,能用汉语沟通

懂球帝 浏览 1447

特朗普寻求加快大型电力项目,以满足AI需求

华尔街见闻官方 浏览 3404

广发证券:本轮港股春季躁动会缺席吗?

智通财经 浏览 2093

消息称鸿蒙智行均价近 40 万元,每 2 分钟卖一台车对市场冲击大

IT之家 浏览 2704

斯诺克英格兰公开赛决赛第一阶段:周跃龙2-6落后于马克-艾伦

直播吧 浏览 3551

炸了!古二再曝录音,王家卫称游本昌不是省油灯,还说唐嫣很装

娱乐圈笔娱君 浏览 2475

看完《逐玉》我承认我还是喜欢长剧

时尚COSMO 浏览 574

理想汽车,又打了一场翻身仗?

电动势 浏览 2672
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1