关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1409人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

俄无人机救下一名正遭乌军性侵女子 顾不上提裤子拔腿就逃

大象新闻 浏览 2801

90%的名酒在跌价,2026年酒企怎么活?

首席商业评论 浏览 1700

同样被网友玩梗,李湘给张纪中“上了一课”?

深析古今 浏览 2160

游客境外租车加错油"全额保险"被判失效 还被扣6000元

封面新闻 浏览 15056

海博思创400多亿市值背后,留美博士张剑辉的逆袭之路

尺度商业 浏览 2000

E句话| 李艺彤和丝芭居然和平解约了?

仙女事件簿 浏览 1578

央视发文悼念老戏骨许绍雄,原来这才是真实的他

娱乐圈笔娱君 浏览 2620

懂穿搭的女人,把“卫衣”收进衣柜,这3件单品才是时髦密码

静儿时尚达人 浏览 2792

建立互信和实现共赢,解读国有车企高层为何密集拜会任正非?

百姓评车 浏览 3498

非足联官方:强烈谴责决赛期间不当行为,目前正审查相关画面

懂球帝 浏览 1652

大兵压境时忽启谈判 特朗普“葫芦里卖的什么药”

看看新闻Knews 浏览 1493

撒贝宁随李白回加拿大探亲,俩人带着龙凤胎闲逛

二妹扯娱 浏览 2799

三星首发2nm移动芯片:为拔头筹,不惜“开倒车”

雷科技 浏览 1949

林允儿回应新剧争议,语带挑衅惹众怒,曝与韩方合作将全面收紧

扒虾侃娱 浏览 3583

莫斯科空域遭侵袭 多位中国游客滞留

极目新闻 浏览 990

美财长挑拨中阿关系称"米莱要将中国赶走" 阿根廷回应

澎湃新闻 浏览 6830

6.4万的特斯拉FSD将成为历史!

新车评网 浏览 1675

AI改变金融系统,周小川、肖远企发声

中国基金报 浏览 2671

拒15亿,Andrew Tulloch重返Meta,Thinking Machines Lab痛失联创

机器之心Pro 浏览 2893

“私募一哥”A股清零,大恒科技再临十字路口

每日资本论 浏览 3025

广州一变电站迎来全球首发机器人:可全向移动、双臂协作

南方都市报 浏览 2278
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1