大语言模型中的涌现现象是不是伪科学? 每日速递
Datawhale干货
(资料图)
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签:
相关阅读
-
大语言模型中的涌现现象是不是伪科学?...
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,... -
传统工艺,让生活更有温度——浅谈非遗...
【学人谈】作者:陈岸瑛(清华大学美术学院艺术史论系主任、教授)... -
世界今头条!暴龙--终极指南系列_对于暴...
1、《暴龙--终极指南系列》是中国唱片深圳公司出版的一部作品。文章... -
精彩看点:塞瓦斯托波尔油库火灾已被全...
当地时间4月29日,塞瓦斯托波尔市长表示,塞瓦斯托波尔油库大火已经... -
在这个地区 美国正沦为旁观者!
从今年3月以来,中东多国良性互动,地区局势进一步趋向缓和。分析人... -
时讯:2010上海世博会会徽设计是(2010...
1、上海世博会是2010年召开的。2、21年没有所以不存在会徽。以上就...
精彩放送
-
大语言模型中的涌现现象是不是伪科学?...
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,... -
环球观察:苹果撤销对前芯片高管William...
集微网消息,据彭博社报道,苹果撤销了对前芯片高管GerardWilliamsI... -
安徽宿州发现一家超美帐篷营地,营地临...
近年来,帐篷露营非常火,或在碧波荡漾的湖边,或在郁郁葱葱的大草... -
传统工艺,让生活更有温度——浅谈非遗...
【学人谈】作者:陈岸瑛(清华大学美术学院艺术史论系主任、教授)... -
桡骨茎突腱鞘炎_桡骨茎突 世界快资讯
1、腱鞘炎、腱鞘囊肿疾病概述腱鞘是包绕肌腱的鞘状结构。2、外层为... -
官方证实:已离世
官方证实:已离世,小丫,国宝,离世,尿毒症,野生大熊猫,珍稀野生动物 -
世界今头条!暴龙--终极指南系列_对于暴...
1、《暴龙--终极指南系列》是中国唱片深圳公司出版的一部作品。文章... -
ttip是什么化学试剂 ttip是什么-焦点日报
今天来聊聊关于ttip是什么化学试剂,ttip是什么的文章,现在就为大... -
对比哈弗H6国潮版,瑞虎7超能版大秀高性...
在A级SUV市场,中国汽车品牌一直引领性价比,持续上演着价值内卷。... -
今日视点:鲸鱼搁浅为什么会死_世界上最...
欢迎观看本篇文章,小升来为大家解答以上问题。鲸鱼搁浅为什么会死... -
国防部新闻发言人谭克非就中国军队完成...
央视网消息:据“国防部发布”微信公众号消息,国防部新闻发言人谭... -
新消息丨一季度规模以上文化企业利润较...
央视网消息(新闻联播):国家统计局今天(4月29日)发布,一季度,... -
精彩看点:塞瓦斯托波尔油库火灾已被全...
当地时间4月29日,塞瓦斯托波尔市长表示,塞瓦斯托波尔油库大火已经... -
海底两万里作者的另外两部作品(海底两...
1、您好,楼主。2、看我能否帮您解决。3、海底两万里作者是儒勒·凡... -
观点:万锦晟4.30周评:黄金震荡收获满...
五一假期人山人海疫情憋了三年终于可以毫无顾虑的放心旅游火车发送... -
环球观热点:椰子怎么开壳 椰子如何开壳
1、首先将椰子表面擦干净,准备好一把拧螺丝的梅花起子。2、找到椰... -
“百城万企”民企高校携手促就业行动启...
新华社北京4月29日电(记者范思翔)由全国工商联、教育部、人力资源... -
科交会上的新生态:应用场景创新加速科...
新华社合肥4月29日电(记者何曦悦)“肠道生病了找医生,城市下水管... -
在这个地区 美国正沦为旁观者!
从今年3月以来,中东多国良性互动,地区局势进一步趋向缓和。分析人... -
掀起新一轮购物热潮 高新区超千商家...
本报讯(记者顾玲)昨天,“春惠苏城·乐享高新”2023年苏州高新区... -
山海杨阳:黄金4月积累丰厚利润,等待5...
山海杨阳黄金4月积累丰厚利润等待5月沉寂中爆发美元以守势开启4月最... -
《战争传说》阿拉扎修复术获取攻略及职...
《战争传说》是一款备受玩家喜爱的开放世界RPG游戏,阿拉扎修复术是... -
用菌草“圈粉”全球, 80岁的林占熺还...
林占熺,《山海情》中种蘑菇带动村民脱贫的教授原型。他发明的菌草... -
时讯:2010上海世博会会徽设计是(2010...
1、上海世博会是2010年召开的。2、21年没有所以不存在会徽。以上就... -
序齿排班的意思_齿序
1、意思是没有记入皇家宗谱,说大白话就是没长大而早夭。2、未序齿:... -
5G远程4地联动 跨越1700公里丨山东省民...
4月28日,通过青哈潍莞4地联动,青哈两地跨区域远程协同诊疗,借助5... -
【光明漫评】“五一”旅游市场持续升温...
作者:张鹏“五一”假期临近,中国国内旅游市场迎来出游热潮,文旅... -
5G远程4地联动 跨越1700公里丨山东省民...
4月28日,通过青哈潍莞4地联动,青哈两地跨区域远程协同诊疗,借助5... -
一季度毛利率再下探,万科缩表阵痛未消...
21世纪经济报道记者吴抒颖深圳报道 房地产市场缓慢回暖,龙头房... -
全球播报:自驾游成今年“五一”新亮点 ...
央视网消息:大数据分析显示,轻松、自由的自驾游成为今年“五一”... -
今日快讯:“五一”假期首日预计全国营...
新华社北京4月29日电(记者叶昊鸣)记者29日从交通运输部获悉,“五... -
中国海军再次从苏丹撤离转运出493人 其...
新华社北京4月29日电(黎云、莫小亮)记者29日从海军有关部门获悉,... -
“五一”假期,请把这份“防诈骗指南”...
新华社哈尔滨4月29日电(记者闫睿)人到老年尤为关注健康、惦念子女... -
各地交通运输系统全力保障“五一”假期...
新华社北京4月29日电(记者叶昊鸣)“五一”假期开始,国内人员流动... -
奈德丽外号 奈德丽是谁
今天来聊聊关于奈德丽外号,奈德丽是谁的文章,现在就为大家来简单... -
步入标准化发展轨道,柳州螺蛳粉实体店...
柳州螺蛳粉实体店图形商标启用仪式。人民网付华周摄人民网柳州4月28... -
【速看料】最新520对老婆表白情话句子100句
表白是需要勇气的。相爱是一种很完美的感觉,与你相识相知相爱成就... -
白酒两极分化加剧,茅五泸利润之和近千...
红星资本局注意到,4月28日晚,国内19家白酒上市公司2022年年报已发... -
祝贺Tony&tony’s品牌荣获深圳原创时装...
一直以来都是一个充满自由与非自由的领域,而深圳时装周却是一个非... -
身边的榜样丨松原优秀志愿者——郑敬霏-...
身边的榜样 传递志愿精神争做时代楷模 在松原,有这样一群人,... -
南水北调东线累计向山东调水逾60亿立方...
新华社北京4月29日电中国南水北调集团有限公司29日统计显示,南水北... -
天天观天下!扩容至17个城市 六部门部...
新华社北京4月29日电(记者邹多为)为进一步打造优化口岸营商环境示... -
“五一”假期来临 牢记这些出行健康提示
新华社北京4月29日电(记者李恒、顾天成)近期全国疫情总体继续保持... -
辽宁方大集团总投资65亿元辽宁方大医院...
据方大炭素(600516)新材料消息,4月27日,由辽宁方大集团(000055)投... -
中银协报告:2022年末全国汽车金融公司...
中国银行业协会近日发布的报告显示,截至2022年末,全国25家汽车金... -
江山欧派(603208)3月31日股东户数0.53万...
近日江山欧派(603208)披露,截至2023年3月31日公司股东户数为5290 ... -
焦点信息:新一代产业工人践行工匠精神—...
在“五一”国际劳动节即将到来之际,第十六届中华技能大奖获得者和... -
溢价发行是什么意思?_溢价发行是什么意思
1、你好,要弄懂什么叫股票溢价发行,得先了解什么叫溢价。2、溢价... -
香港金管局重磅发布!信息量大
4月28日,香港金融管理局(金管局)发布其《2022年年报》(《年报》... -
吉列菜有什么要求 吉列是啥意思
1、杂菜吉列是一道菜品,要求是需要有是洋葱、土豆、灯笼椒、芹菜、... -
焦点热讯:以高质量绿化助力高品质生活(...
北京市通州城市副中心绿心森林公园,这一地块原来是化工厂和“散乱... -
环球快看:街角添绿意,城市添活力
“城市是人民的城市,要多打造市民休闲观光、健身活动的地点,让人... -
特色经济点亮假日 博物馆里沉浸式体验...
央视网消息:随着近年考古文化不断融入现代生活,文化遗产变得愈发... -
天天观热点:人民财评:火热的五一档,...
今年“五一”怎么过?在人从众的旅游景区和躺平休憩的家里蹲之间,... -
中上协:2022年境内上市公司共实现营业...
中国上市公司协会4月29日发布中国上市公司2022年经营业绩分析报告。... -
今晚播出!《航拍中国》第四季台湾篇
《航拍中国》第四季台湾篇宣传片是在陆地的边沿,聆听海的呼唤,还... -
黄金上看2500美元!美国银行报告:坚定...
美国银行BofA首席投资策略师MichaelHartnett坚定看跌美国股市不仅在... -
各部门优化措施 服务“最热‘五一’假...
央视网消息:“最热‘五一’假期”4月29日开启,各地出行客流快速攀... -
视讯!玫瑰花粉的功效与作用
欢迎观看本篇文章,小勉来为大家解答以上问题。玫瑰花粉的功效与作... -
以青春之智 助乡村振兴|中建八局上海...
为响应浙江省建设新型帮扶共同体号召,中建八局上海公司浙江分公司... -
【全球快播报】国道之行 从雪山奔向大...
编者按:这是中国里程最长的公路,北起新疆喀纳斯,南至广西东兴,... -
天天热推荐:中央宣传部、国家发展改革...
为深入贯彻习近平总书记关于加强诚信建设的重要指示精神,广泛践行... -
焕然E新 领势未来,2023 伊顿电气电路...
日前,伊顿公司电气集团亚太区电路保护与控制事业部合作伙伴大会在云... -
中邮证券:给予牧原股份买入评级
中邮证券有限责任公司王琦近期对牧原股份进行研究并发布了研究报告... -
热文:“赏花游”“农舍游”成为开启乡...
央视网消息:近年来,我国多地盘活乡村闲置资源,创新乡村运营机制... -
万人说新疆丨笑在眼里 甜在心里
民以食为天,甜在最前面。香甜可口的东西总是能让人心情愉悦。新疆... -
环球最新:曝光!这家店被消费投诉警示
海报新闻记者潘俊宇日照报道门头名称:老地方海鲜饭店营业执照名称... -
热议:中国半导体行业协会严正声明:希...
日本计划扩大半导体制造设备出口管制范围,中国半导体行业协会严正... -
高质量发展看河南|中原农谷背后的科技...
央广网新乡4月28日消息(记者彭华见习记者张丽娜)仓廪实,天下安。... -
一季度国家铁路发送旅客7.53亿人次 同...
新华社北京4月29日电(记者樊曦)记者29日从中国国家铁路集团有限公... -
五一假期首日全国铁路预计发送旅客1950...
记者从中国国家铁路集团有限公司获悉,4月29日,全国铁路迎来五一小... -
今日要闻!化解误会优美句子 化解误会优...
1、人遇误解休怨恨,物过严冬即回春。——《格言集锦》2、以不变应... -
看热讯:hosts文件下载(hosts文件是什么)
1、Hosts是一个没有扩展名的系统文件,可以用记事本等工具打开,其... -
金界传奇:黄金跌势不变,下周继续空!
本周黄金处于过山车走势而我们接连依托201020031992做空黄金虽说中... -
金汇得手:下周行情预测20230429 全球快资讯
首先祝愿大家五一节快乐美元指数本月收长影阴线下个月还是有回落风... -
5天打卡10个省,旅游特种兵全出动了 微头条
30小时往返1300公里游6个景点、5天游6个省、24小时极限游遍北京……... -
石重英
1、石重英(?-936年7月23日)。2、后晋宗室。3、高祖石敬瑭长子。 -
全球新动态:长虹超羽速电视AWE发布:TC...
网易家电讯4月27日,长虹电视联动AWE展会发布新品D7Pro系列和D8Max... -
【三年来,我国国际客运航班日均实际执...
【三年来,我国国际客运航班日均实际执行量首次破千】“中国国际客... -
【焦点热闻】土地供应 | 五一节前第二...
引言第一批集中供地刚结束,月底迎来今年第二批集中供地挂牌。4宗经... -
微信怎么设置主题皮肤软件(微信怎么设...
微信怎么设置主题皮肤软件,微信怎么设置主题皮肤很多人还不知道,... -
天天视讯!帕萨特实际油耗多少 帕萨特...
帕萨特工信部油耗帕萨特280TSI工信部综合油耗5 7L 100km。帕萨特3... -
【环球聚看点】【央广时评】快递业市场...
快递物流,连接千城百业,畅通供需两端,是经济发展的“晴雨表”。... -
全球今热点:国家减灾委员会办公室 应...
近日,国家减灾委员会办公室、应急管理部会同自然资源部、水利部等... -
环球热推荐:去哪玩?玩什么?“五一”...
央视网消息:4月29日是“五一”假期第一天,来看看,这个假期大家都... -
世界快资讯丨金汇得手:下周行情预测20230429
首先祝愿大家五一节快乐!!!美元指数本月收长影阴线,下个月还是... -
【世界新视野】【环球财经】芝加哥农产...
当天,玉米7月合约收于每蒲式耳5 85美元,比前一交易日上涨0 6%;... -
环球新消息丨中国气象局:“五一”假期...
央视网消息:昨天(4月28日)上午,中国气象局发布,从整体天气情况... -
“五一”假期多彩活动 城市焕发不一样...
央视网消息:“五一”假期前夕,文化和旅游部推出“大美春光在路上... -
凉山州喜德县“乡村振兴2.0”:荒地变“...
村民在标准化苹果产业园内除草。(何川摄)央视网消息(记者何川):... -
回家真好!从苏丹撤离的中方人员用镜头...
4月15日,苏丹武装部队和快速支援部队发生武装冲突,当地局势迅速恶... -
“五一”假期旅游市场将迎高峰 预计旅...
今天是“五一”假期第一天,记者从中国旅游研究院了解到,今年“五... -
全球看热讯:AI医生、AI书法家、AI情绪...
第六届数字中国建设峰会昨天(27日)开幕,作为数字中国建设峰会的... -
当前资讯!“传统”邂逅“摩登”有多神奇...
人民网福州4月28日电(钱嘉禾、叶青卿)当数字技术邂逅传统、温暖人... -
天天关注:第四届联合国世界数据论坛成...
4月24日至27日,来自世界各地的上千名数据和统计界专家学者相聚浙江... -
杜康:黄金1983多完美收官,下周继续低...
黄金现在继续维持区间内震荡运行昨日杜康多次提示依托1970的支撑看... -
立陶宛求和,中方收手?呼唤下个卢沙野!
以下文章来源于戎评 ,作者戎评卢大使一抬国际法,欧洲被翻了个底... -
19家白酒上市公司公布年报及一季报 行...
28日晚,国内19家白酒上市公司公布2022年年报及2023年一季报,整体... -
全球观点:衣服下面的结怎么打_衣服下面...
1、衣服下面的打结的方法2、如果衣服不扣纽扣,可以将衣服的两侧下... -
全球今日讯!“五一”假期旅游市场将迎...
今天是“五一”假期第一天,记者从中国旅游研究院了解到,今年“五...