关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1417人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

小S哽咽念不了台词!具俊晔「悄现身」低调陪伴

达达哥 浏览 2187

王晶大谈力捧谢霆锋原因,狄波拉是恩人,谢贤更是讲义气

温柔娱公子 浏览 2697

阿莱格里:有的球员值1亿有的值100万,让1亿的上就是容易赢

懂球帝 浏览 1738

防晒品穿"马甲"进药店 企业钻医保漏洞拿下9000万大单

央视财经 浏览 6646

俄称今年已控制205个居民点 乌称对俄港口及战机发动袭击

极目新闻 浏览 3325

闫学晶品牌终止合作账号被禁 老底全翻出来爆炒

小娱乐悠悠 浏览 1672

外媒称中国正建设第四艘航母 国防部回应

财联社 浏览 3301

独行侠内线再多也不够?浓眉小腿拉伤至少缺阵两场

体坛周报 浏览 2617

我国突破固态电池关键技术瓶颈

大象新闻 浏览 2840

自动驾驶真的来了 两款车型分别在北京/重庆获准上路

网易汽车 浏览 2045

李在明表态:韩国站美国一边 但要妥善处理对华关系

澎湃新闻 浏览 14278

搭2.9T插混动力 法拉利SC40官图发布

车质网 浏览 2698

南部战区:正告菲方停止在南海挑起事端

北京日报客户端 浏览 3605

抗癌不到一年,刘谦近况曝光,憔悴到认不出

乡野小珥 浏览 1609

鸿蒙智行首款MPV智界V9完成申报,采用7座布局

IT之家 浏览 1747

亚马尔和网红参加节目时说皇马偷窃还抱怨,皮克表示同意

懂球帝 浏览 2747

多位老人痴迷买保健品:有人甚至吞安眠药逼女儿妥协

新京报 浏览 5507

中国斡旋泰柬停火后又单独援助柬方 鲁比奥作奇怪表态

时时有聊 浏览 23584

宗馥莉将独立经营“娃小宗” 名下仍关联超200家企业

21世纪经济报道 浏览 2811

美财长挑拨中阿关系称"米莱要将中国赶走" 阿根廷回应

澎湃新闻 浏览 6839

曼联警告球迷:唱“切尔西租男”可能会被警方逮捕

直播吧 浏览 3544
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1