您的位置:首页 >资讯 > 热点 >

大语言模型中的涌现现象是不是伪科学? 环球观点

2023-05-06 14:51:19    来源:程序员客栈

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:


(资料图片仅供参考)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

标签:

相关阅读

精彩放送

世界上最大的宫殿是什么?卢浮宫和故宫哪个大?

gmc是什么车啊?gmc房车多少钱一辆?

荣耀手机有红外线吗?荣耀手机怎么录屏?

观察:淄博烧烤背后的高端局,你的城市学不会

叉车证怎么样在网上查询真假?叉车证在哪里办理?

一支乡村振兴投资引导基金发展记-天天热讯

日本本州6.3级地震,实拍画面曝光

世界热资讯!餐饮业迎来强势复苏(大数据观察)

指标生是什么意思能加多少分_指标生是什么意思

每日短讯:电脑启动f1才能进入系统_电脑开机要按f1才能进入系统解决方法

23.5万!靓丽非农引发对美联储暂停加息“新的怀疑” 黄金“断崖下跌”超30美元

每日看点!陈阿牛:黄金56空08平;反抽继续做空

2023年Q1全球储能电池出货量TOP10

将进酒周报 | 上市白酒企业一季度整体营收增速放缓;五粮液将持续高比例分红;啤酒板块调整

石库门海派黄酒与星期广播音乐会强势携手,邀您品美酒赏佳音

天天动态:青春中国丨潜心寻古周强 最是坚韧系传承

大北农:4月生猪销售收入7.92亿元 世界讯息

张良点金:原油69.5多单获利减仓!镑日169.5可多! 今热点

天天俯卧撑有什么好处_俯卧撑有什么好处|环球新要闻

今日辟谣(2023年5月5日) 当前关注

码 当前短讯

明天五一调休要上班!安卓用户喊话iPhone:苹果没节假日闹钟 果粉别睡过了

头狼:黄金2009继续多

金价非农后市场大跌,继续反弹后做空逻辑。_世界球精选

世界动态:王杨:非农大利空,黄金反弹空!

阴艺术人休图片欣赏_147yin艺术人休图片欣赏

男子头疼自行在家针灸,3公分针头遗留体内扎破心脏住进ICU-今日聚焦

【环球报资讯】4天两轮涨价!特斯拉又“搞事情”?

【环球聚看点】我国消费品工业规上企业增至18万家

两部门公布2022年度智能体育典型案例名单 焦点消息

中央纪委国家监委通报5起“四风”问题典型案例_世界热推荐

报告:应届毕业生求职“求稳”偏好明显-全球百事通

【五四特别致敬·我还是从前那个少年】五四青年节 听他们说......|天天资讯

来,数一数图中共有几个铁路桥洞

男子吐槽酒店客房空调插头被上锁 酒店:房费便宜,空调费一天就得十几块-环球热门

江子晨(5.5)—非农空袭周五收线,变数之间暗流涌动

当前关注:万人说新疆|看乌苏驾校白加克哈子的教练生活

科学家根据“祝融号”返回的沙丘表面特征提出现代火星存在水

何小冰:5月5日晚间非农,黄金关注时间循环和空间切换 每日信息

好评中国|看,他们这样诠释最美青春的样子-精彩看点

张丹峰烤羊洪欣担忧

环球热议:王导:黄金上行趋势结束,2040附近空

天天新资讯:2小时可直达香港!广州琶洲港澳客运口岸开通了

5月5日外交部例行记者会全文|观热点

外汇百晓生:非农数据有望利空,黄金反弹2046空

胆战心惊是成语吗_胆战心惊中的战字是什么意思

五一热经济丨消费券助推“最旺五一” 多地发放消费券给假日经济添火 热闻

中国神华:公司业绩波动性远小于单纯的煤炭公司

聊起这些,“闯队”一下打开话匣子

“五一”期间全国营业性演出票房收入同比增962.2%

周冬雨演过的电影有哪些_这三部电影不容错过_播报

藏格矿业:公司正在国内外积极寻找优质的锂矿资源-今日热文

5-6日湘中湘南暴雨来袭 防范雷电及山洪、地质灾害 全球观焦点

铜川市2023年建设工程质量安全生产暨文明施工观摩会举办

焦点短讯!交通运输部:4月共54个城市开通运营城市轨道交通线路292条

南水北调开展突发水污染应急演练 当前视点

南昌县气象台发布雷电黄色预警信号|速看

市值跌破2000亿、 北向资金连续抛售,昔日“白马股”不香了?|世界看热讯

洛阳附近一日自驾游(洛阳周边自驾游一天)

老人和保姆二婚,6个月后喜得贵子,被4个女儿联手赶出家门

雅化集团:公司总产能还包括一些其他锂盐产品,现已基本不生产 天天播资讯

TCL中环下调单晶硅片价格 全球新资讯

奉贤警方开展“水陆空”多维度联合演练

长乐文旅五一放大招!这些活动你都去过了吗?

全球播报:分数加法计算题100道_分数加法

双鱼乒乓再现奥运赛场,聚力体育产业高质量发展

图灵波浪5.5晚-黄金高位修复、迎接非农数据

上汽集团最新公告:4月整车合计销量同比增长124.52%

文商旅融合激发消费新体验 沪上阿姨鲜果茶以公益融合城市之美

每日简讯:国际油价本周跌近9%,美国利空频出,亚洲也浮现负面苗头

动能强劲!中国假期消费旺盛 利好世界经济

黄力晨:市场等待非农数据 黄金回调修正整理_世界最新

创意微视频|青年警察“上场”-全球独家

天天讯息:黄金大跌行情突袭!金价跳水失守2040 非农恐引爆市场 欧元、英镑、加元和黄...

北青:中国女足5月18日集结备战世界杯,将与国内男足梯队热身|环球观天下

环球观速讯丨没有金刚钻别揽瓷器活相近话语_没有金刚钻别揽瓷器活下一句简介介绍

荣耀 90 手机通过国家质量认证,支持 66W 快充 焦点关注

全球动态:空中用5G!工业和信息化部批复5G地空通信试验频率

创意微视频|青年警察“上场”

首届中国企业零碳诚信工作启动发布会在浙江举行

每日速递:6日到访的宝瓶座η流星雨,为啥有个“怪名字”?

沪铜低开反弹 需求疲软压制反弹高度

全球热点!又一场国际盛会召开在即

甘肃拓宽合作渠道、推动联合创新,让科技成果供给对上产业发展的“胃口” 环球热推荐

环球时讯:人才“强磁场”发力!山东新引进515名博士 新增青年人才11.3万人

“深切感受到中国现代科技的魅力”

斗罗大陆徐星驰_徐新驰斗罗大陆_热资讯

国际锐评 | “五一”假期的人气见证中国经济的底气-当前时讯

邓一杰:非农来袭,黄金下看1950!

张良点金:午后原油现价或69.5多!|环球消息

禁止外传,分享19个G付费资源,6小时删_快看

“追梦中华·感知新重庆”2023海外华文媒体重庆采访行启动

【全球速看料】协创数据(300857)5月5日主力资金净买入355.94万元

环球实时:五部门联合开展医保领域打击欺诈骗保专项整治工作

飞流直下三千尺是哪个风景区?飞流直下三千尺运用了什么修辞手法?

达拉斯沃思堡的租金仍然远低于其他大都市 全球观焦点

《西游记》四大天王名字叫什么?四大天王分别拿什么武器?

世界热消息:本周黄金飙升至历史新高的背后:美债违约风险飙升!金价恐创3月中旬来最佳单...

白银成功达成首个看涨目标!白银日内交易分析:若突破该位 银价恐再飙升逾3%_全球快讯

厦门机场通报摆渡车撞进航站楼:无旅客受伤

方萍萍:黄金2060一线出现多头主力减仓动作|当前焦点

银河系有多少恒星?银河系和太阳系哪个大?

螺旋测微器的读数方法是什么?螺旋测微器估读到哪一位?

魅族20 PRO比iPhone14更香,比iPhone14更流畅

面包会有的是什么意思?面包算不算垃圾食品?

王八看绿豆下一句是什么?有哪些形容爱情的歇后语?

文化和旅游部推出10条长江主题国家级旅游线路 环球热消息

逝者已矣生者如斯的意思是什么?简短哀悼语八个字有哪些?