关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1324人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

21载热血传承!2025肯德基三人篮球赛燃动青春赛场

中国商报 浏览 2007

百度智能云公布两款自研AI芯片,昆仑芯比外界想象得更有野心

钛媒体APP 浏览 2399

智己LS9开启预售,33.69万元起颠覆大六座市场

林林Go 浏览 2451

马杜罗纽约"首秀"神态轻松 比"V字剪刀手"遭多方解读

红星新闻 浏览 7505

中方连对美"重拳出击" 特朗普这才看清楚中国留了一手

空天力量 浏览 2684

俄称已控制库皮扬斯克 正清缴乌军

每日经济新闻 浏览 1797

许利民末节DNP斯佩尔曼引热议:固执己见+无调整 杰曼8中1背锅

颜小白的篮球梦 浏览 1400

马斯克Grok 4.2炒股收益率夺冠

财闻 浏览 1534

活塞13连胜追平队史纪录!揭秘东部黑马再次蜕变:冲击队史第4冠

罗说NBA 浏览 2195

这才是50岁女人该有的冬季穿搭,既保暖又体面,想不优雅都难

静儿时尚达人 浏览 1901

知名折扣店好特卖被指大量闭店 曾4年开960家

每日经济新闻 浏览 23471

《王牌对王牌》:玩不到一起真尴尬

洲洲影视娱评 浏览 2365

打好价值战,吉利银河冲击「下一个百万」

网易汽车 浏览 1659

提升科技股估值容忍度 掘金AI“从1到10”爆发机遇

证券时报 浏览 3359

记者:阿布拉汗应该是河南第一签,阿奇姆彭难留

懂球帝 浏览 1705

普京与特朗普通电话 讨论伊朗局势

环球网资讯 浏览 612

32岁章泽天又有新动作!不愿当家庭主妇

娱乐圈圈圆 浏览 1627

刘晓庆怒批演员不背台词,被扒出疑似阿娇,季冠霖曾点名吐槽她

萌神木木 浏览 2326

小李子携27岁意大利女友首次亮相奥斯卡颁奖礼

时光在作祟 浏览 478

牛弹琴:中国1天内新部署1艘航母6艘军舰 法媒"醋"了

现代快报 浏览 7720

HWG!罗马诺:维拉1200万欧签下梅斯16岁前锋马乔已达成协议

懂球帝 浏览 1646
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1