您的位置:首页 >资讯 > 热点 >

大语言模型中的涌现现象是不是伪科学? 每日速递

2023-04-30 05:43:56    来源:程序员客栈

Datawhale干货


(资料图)

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

标签:

相关阅读

精彩放送

步入标准化发展轨道,柳州螺蛳粉实体店有了“身份证”

身边的榜样丨松原优秀志愿者——郑敬霏-环球实时

焦点信息:新一代产业工人践行工匠精神——技能精湛 人生精彩

香港金管局重磅发布!信息量大

各部门优化措施 服务“最热‘五一’假期” 保障出行畅通有序_环球速看

天天热推荐:中央宣传部、国家发展改革委联合发布2022年“诚信之星”

看热讯:hosts文件下载(hosts文件是什么)

全球新动态:长虹超羽速电视AWE发布:TCL华星4K屏最高刷新率288Hz

每日播报!一季度全国能源供需总体平稳(新数据 新看点)

热点聚焦:“旅游+”为留住“乡愁”注入新动能

当前观察:3月货物和服务贸易进出口39353亿元

触摸数字、感知数字 “AI+智慧”产品亮点突出

枪声不断、治安全面恶化,台湾正滑向“庆记之岛”?|百事通

世界微头条丨黄金暴跌的时刻到了!金价重演2008年经典反转形态 贵金属分析师:未来几个...

一场上海车展之后,为何大家都看好长城汽车?

K线之王:迎来窗口期,不骄不躁(节日快乐) 环球今日报

勇士半场命中5记三分&命中率27.8% 均为系列赛上半场最低!

全球百事通!在消费复苏中推动结构升级

“凌晨1点,深圳北站全是人” 今热点

环球播报:全球领先!打卡数字峰会“硬核”科技和前沿技术

大凉山油橄榄年产值4亿多 6800多户果农直接受益

精彩看点:民宿自称“因嫖娼被查封”退单后涨价?店家回应

天天快资讯:湖北启动百万大学生留鄂创业安居行动 武汉每年推超10万个高薪优岗

国联证券给予口子窖买入评级,稳步度过22年,23年喜迎开门红

南昌十三中高中部怎么样在哪里考喜报

即时:一季度物流需求加快恢复 实现平稳开局

天天观速讯丨各地精心准备迎接“五一”假期

国际油价28日大涨-世界百事通

加息概率达90%!美国3月核心PCE增长4.6% 黄金扶摇直上触及1990美元

【黄金收市】通胀高烧难退黄金顽强上升!下周两大考验来袭 大行情蓄势待发

当前播报:快开门式压力容器包括哪些(快开门式压力容器包括什么)

布兰特:错失了给南部球队施压的机会,生气误判但更恼火自己无能

“五一”出行游玩,这份服务集锦请收好!-热点聚焦

亚泰集团:本次计提资产减值准备,将影响公司本期利润总额约17.09亿元

股票行情快报:实朴检测(301228)4月28日主力资金净卖出95.57万元 速讯

长安马自达3昂克赛拉购车优惠活动 置换至高5500元补贴-环球热点评

国庆假期后返回肇庆注意事项(肇庆放假时间)

安正时尚(603839)2023年一季报简析:营收净利润双双增长

天天即时:酒店民宿频见恶意违约 乱局如何破解?

中国贸促会新闻发言人就日本拟修订半导体设备出口管制措施发表谈话

全球热资讯!匠心铸就梦想 技能成就人生——五个与工匠有关的奋斗故事

瑞信AT1债券未了局 世界速读

世界最新:教师贷款需要什么手续

长江防总:预计主汛期长江流域降水量总体偏少 旱重于涝-当前热议

今日视点:国家文物局:进一步强化文物安全管理

刀光剑影全45集_刀光

魅族20优惠:1元享36月超长质保-每日关注

每日消息!CBA季后赛半决赛:强势反弹!孙铭徽27+6+6打进制胜球,浙江东阳光99-94战胜辽宁本钢

娜高假体隆胸安全吗_娜高假体 天天微头条

焦点热门:三明机场开展通用航空器火灾事故应急演练

眉间雪剧情版故事_眉间雪讲的什么故事

键盘失灵怎么一键还原_键盘失灵一键修复wasd 全球观热点

伊朗导演开撕王俊凯设计师!怒斥抄袭狡辩,网友:丢人丢到国外

热推荐:郭艾伦5+1+5+1伤退,三个细节解读,对辽宁产生的重大影响

天天快消息!本以为是粉丝电影,没想到我却变成了《长空之王》和试飞员的粉丝

键盘发光按哪个键联想_键盘发光按哪个键

凌雄科技:建议委任中汇安达为新任核数师 环球快资讯

“菜篮子”产品量足价稳 “五一”假期农产品市场将购销两旺|速读

金市周评:金价震荡交投,美衰退担忧支撑但FED紧缩预期限制涨幅

金界传奇:黄金暂时跌不动,反手多!-世界今亮点

天天报道:华为一季度销售收入1321亿;滴滴副总裁:4月28日晚高峰打车成功率不足50%;蔚来...

孙小龙 全球观察

春秋Q传职业_春秋q传职业|动态焦点

世界快消息!152条全国乡村旅游精品线路伴您“五一”出游

中国星辰 | 教你怎么拍天宫-世界快消息

黄河防总:黄河中下游今夏降水较常年同期增多 防汛形势依然严峻 世界最资讯

今日热文:国家文物局:进一步强化文物安全管理

当前动态:黄河流域植被覆盖度提升 “绿线”向西移动约300公里

头狼:注意,注意,调整策略,黄金1984现价空,看1950_每日动态

Rookie回应聊天记录:别带节奏!你们这么搞小钰真会生气的|世界快报

建校110周年再出发 成都工业学院瞄准“全国一流、四川引领”的应用型高校目标_天天看点

时光:黄金就看今晚PCE数据!

要闻速递:快到贵州来看“海”

方萍萍:继续震荡调整运行蓄势待发

张良点金:晚间原油现价75.1附近多!

华邦健康:公司发生的关联交易严格按照深交所相关规定履行审批程序和信息披露义务

忍者神龟披萨大作战

天天头条:体彩23108期晒票:遇到困难,要懂得从容面对!

2023甘肃漳县文化旅游推介活动启动_世界新消息

全国戏曲(北方片)会演开幕 每日简讯

先睹为快!“2023中国网络媒体论坛”走进河海大学 天天微资讯

数字赋能为长江“黄金水道”发展提速|全球速讯

“多元阵地+多彩活动”让书香氤氲城市

贵阳自驾到梵净山多久(贵阳到梵净山自驾游玩需要多少钱)|热资讯

维他奶经典豆奶豆香浓郁、口感细滑,是休闲时刻必备饮品

全球观焦点:2022年全国农民工总量增加311万人

焦点速递!中国气象局:预计“五一”假期期间冷空气活跃

【全球报资讯】5月1日起 滨州市城区货车禁限行区域管理措施调整

全球观速讯丨劳动节将至,蔡英文挨轰政策破局:台湾劳工低薪过劳,职灾死伤多

山东高职高考分数线 山东职高本科分数线_当前热文

Swisse PLUS携手京东健康开启“超值大牌”活动,洞察高阶健康需求时代新趋势!

世界今日讯!北京假期消费提示:网络预订要确认 景区购物防陷阱中新社北京分社

速看:今日A股共85只个股发生大宗交易,赤峰黄金 奥特维 中文在线成交额居前

佳源服务(01153):预计5月25日公布2022年年度业绩

2023中华张姓拜祖大典举行

拜登手拿“小抄”卡片,被拍到了!

丘钛科技(01478)认购2亿元的中国工商银行理财产品

“五个一百”:汇点滴凝聚感动,以平凡传递力量

当前快讯:宾利添越PHEV配置差异解读,百万豪车配插混,零百加速5.3s

天天最新:向“数智”要动能 开辟增长新空间 ——从第六届数字中国建设峰会感受行业新风向

探馆Plog|走进第六届数字中国建设成果展

兴和集团开启超级造物节,带你开启购物新体验!

段雄伟:黄金1980分水岭 助涨静待PCE

“五一”假期去哪玩、怎么玩、哪里人最多?大数据告诉你_全球热议

一系列智慧城市新应用亮相 城市运行更智慧 环球热推荐

“五五购物节”抖音电商多措并举促消费,助力上海国货、老字号长效发展 每日热门

顺丰打造全链条物流服务,助力山东地理标志产品高质量发展

快讯|涉部分信贷资金用于增资入股等违规 武汉众邦银行领两张罚单被罚925万元