关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1321人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

记者实测 多地办理电话卡需提供无犯罪证明和银行流水

澎湃新闻 浏览 8585

总投资约 2 亿元,长江首艘光伏发电豪华游轮“美维凯璇”首航

IT之家 浏览 3322

特朗普称可能将军事行动扩大到墨西哥和哥伦比亚

大象新闻 浏览 2028

英伟达砸20亿入股EDA巨头 黄仁勋赞"巨大扩展机遇"

华尔街见闻官方 浏览 2077

Stellantis,“分”或许比“合”好

禾颜阅车 浏览 2515

王玉雯激动发合照,评论区林一破防

鲁中晨报 浏览 2556

鞋子专场||穿了五年十年,掏心窝子说,最常穿的还是这一双!

黎贝卡的异想世界 浏览 1929

中山大学等九校联手突破:AI实现软件bug自动侦测与修复

科技行者 浏览 1481

留几手为闫学晶叫屈?称网友自卑敏感

小徐讲八卦 浏览 1652

旧金山大停电,谷歌无人车Waymo乱作一团,特斯拉赢麻了

华尔街见闻官方 浏览 1918

数十款超2米,新能源车越造越宽?车企有“小算盘”,车大还好开

小李车评李建红 浏览 1537

美陆军部长抵达阿联酋首都 与俄“秘密会谈”

环球网资讯 浏览 2192

国米本赛季11粒进球中4粒来自角球,身高超1.88米的球员有10位

直播吧 浏览 3388

路边停车累计欠费490元 车主拒缴:车被刮花没人管

封面新闻 浏览 7802

伊朗防长:美国"以武促和"实为强制屈服 各国不会接受

极目新闻 浏览 2839

郭德纲相声春晚访谈,透露最新计划

杨仔述 浏览 1586

聊聊全新奥迪A6L 也许豪华行政市场要换风向了

网易汽车 浏览 2884

54岁闫妮和27岁女儿同框,母女性格相似如姐妹

小咪侃娱圈 浏览 2702

华为跟广汽搞了个启境,它跟界字辈有啥区别?

差评XPIN 浏览 2785

李在明告诉CNN:不能将中国拒之门外

环球网资讯 浏览 5693

郝蕾说金敏喜是自己在亚洲的唯一对手

芊手若 浏览 2373
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1