首页 >资讯 > > 正文

【环球新要闻】大语言模型中的涌现现象是不是伪科学?

来源:程序员客栈 2023-06-13 12:49:38

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士


(资料图片仅供参考)

今天晚上,花了一点儿时间看了两篇文章:

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

上一篇:因“饭量太大”入职两天被解雇?“劳动碰瓷”使不得 全球今亮点 下一篇:最后一页
x
推荐阅读

【环球新要闻】大语言模型中的涌现现象是不是伪科学?

2023-06-13

因“饭量太大”入职两天被解雇?“劳动碰瓷”使不得 全球今亮点

2023-06-13

摩根大通:下调东方海外国际(00316)和中远海运(01919)目标价 评级均为“增持” 天天新动态

2023-06-13

天天最新:能投却传!迈阿密NFL记者:巴特勒打得像西蒙斯!

2023-06-13

《双向奔赴》——关爱新就业形态劳动者②:孤旅-全球观点

2023-06-13

中企高管在德被带走?中国光伏行业协会深夜发声

2023-06-13

环球即时:欧林生物:6月12日融券卖出2.37万股,融资融券余额1.38亿元

2023-06-13

“小修小补”回归百姓生活 细节惠民生 小修补见温情

2023-06-13

前4月完成交通固定资产投资1万亿元(新数据 新看点) 环球看热讯

2023-06-13

真相大白!周琦飞往纽约是为了治病,去尼克斯试训根本没有的事 天天资讯

2023-06-13

美国州际公路坍塌事故现场发现遇难者遗骸 宾州进入灾难状态

2023-06-13

炖羊排的做法大全家常_炖羊排的做法

2023-06-13

每日快报!铂金和白金的区别符号_铂金和白金的区别

2023-06-13

今日要闻!定婚收继_关于定婚收继介绍

2023-06-13

热点在线丨思茅区气象台发布暴雨橙色预警信号【Ⅱ级/严重】【2023-06-13】

2023-06-13

每日热文:5月高端轿车销量出炉,E级卖不过比亚迪汉,特斯拉Model 3排第五

2023-06-13

组图|湖南常宁:青山绿水美如画_看热讯

2023-06-12

微动态丨价格更低配置缩水,苹果Vision Pro头显“青春版”曝光

2023-06-12

天天微头条丨外交部:无论美国如何造谣抹黑,都破坏不了中古之间的真诚友谊

2023-06-12

【全球热闻】欧冠小组赛分组(欧冠淘汰赛分组)

2023-06-12

都想去踢亚洲杯!曝国足名单公布前多名球员打探会否入队

2023-06-12

安全为重!梅西除球赛外的活动全部取消

2023-06-12

天天看热讯:“昆明城投专家纪要”余威!滇池投资融资步履维艰,金融机构作壁上观,承销商招标已三次流标,债务形势如何?

2023-06-12

世界通讯!小鸡宝宝考考你《水浒传》中的“一百单八将”里,有几位女性

2023-06-12

生物医药板块跌0.4% 退市辅仁涨9.88%居首|今日热讯

2023-06-12

北京银行战略签约湖南省政府,三年不低于1000亿元投融资支持 当前头条

2023-06-12

镇平县2023年普通高中招生计划 当前热门

2023-06-12

学费补偿代偿申请表流程_学费补偿代偿申请表-焦点关注

2023-06-12

瑞银集团宣布完成对瑞信的收购

2023-06-12

得益酸奶品种_得益牛奶有哪些品种吗|每日速读

2023-06-12

摩根士丹利调查显示 ChatGPT 和 Google Bard 的使用率并不高

2023-06-12

天天热推荐:【赤安ABO】(三)活着就行,对吧

2023-06-12

当前看点!丰田Hilux拖车被渲染为中置发动机

2023-06-12

看热讯:中文系专科在江苏有哪些学校260左右的业推荐

2023-06-12

火热开赛!鄂州助力“斩落六冠”

2023-06-11

考生专属福利!这些景区免费、优惠!沈阳也有

2023-06-11

学制苗族银饰 传承非遗之美

2023-06-11

vcu故障有哪些(vcu故障是什么意思?) 全球快播报

2023-06-11

分解反应的定义和特征(分解反应的定义) 全球微资讯

2023-06-11

轰天炮光电科技有限公司_轰天炮

2023-06-11

水晶兰为什么是冥界之花_水晶兰-当前聚焦

2023-06-11

黑龙江12件涉黑涉恶案件集中公开宣判85人获刑

2023-06-11

被狼咬死的羊肉能不能吃?_世界聚焦

2023-06-11

VR穿越古今 文旅IP出圈——文化赋能为旅游消费市场高质量发展开启新引擎 全球新消息

2023-06-11

个人境外汇款新规2020(个人境外汇款最新规定)

2023-06-11

消息!国铁集团今起在12306网站(含App)试行在线选铺服务

2023-06-11

运费险需要买吗_运费险是什么意思是不是不用掏运费

2023-06-11

丰田发布零排放GR H2 Racing概念车,专为勒芒赛事设计 聚焦

2023-06-11

久事美术馆“传统文化在当代”展览季启幕 应届高考生可免费观展

2023-06-11

圈圈圈住大神(圈圈圈住大神txt) 每日资讯

2023-06-11

白宫再抛“橄榄枝”、竞争对手接连“投诚”,特斯拉充电有望“一统北美”

2023-06-11

环球微动态丨我是大运火炬手丨艾克森:我会像保管足球奖杯一样保管火炬

2023-06-11

梦想中的同事!乒乓球选手陈梦在海信新风空调正式入职? 全球微资讯

2023-06-11

环球视讯!亚共析钢和过共析钢的区别_亚共析钢

2023-06-11

“海峡组合”晋级法网女双决赛,王欣瑜说还没有爱上红土

2023-06-11

丢失sldinnerdispatchproxyu.dll的修复方法

2023-06-11

每日短讯:2023端午节股市休市几天

2023-06-11

中阿两国央行续签双边本币互换协议 有效期三年 全球关注

2023-06-11

世界今日报丨落花有意随流水无情下一句(落花有意随流水)

2023-06-11

环球即时看!莫扎特的一句话(关于莫扎特的话例如说他天真)

2023-06-11

原神龙蛇藏归辑录位置 今日热门

2023-06-11

央行研究局局长王信:统筹用好支持绿色低碳发展的价格型和非价格型工具_全球速讯

2023-06-11

聚焦:为什么图片发到朋友圈就模糊了(为什么图片)

2023-06-11

虞书欣方否认与吴建豪恋情:不再陷入自证危机_世界滚动

2023-06-11

新加坡羽毛球公开赛:王祉怡无缘半决赛|全球关注

2023-06-11

微头条丨小孩多高需要买火车票卧铺(小孩多高需要买火车票)

2023-06-11

世界微资讯!“两展一节”在京启动,北京茶业交易中心平台预计年底运行

2023-06-11

rrna寡核苷酸编目(Oligo DNA RNA 是什么 寡聚核苷酸)

2023-06-11

科普图解 | 筑牢生态屏障!一图看懂我国防沙治沙新成就-天天报资讯

2023-06-11

热讯:爆笑虫子第二季

2023-06-11

微软准备在加拿大新建实验室 将配备公司在中国和世界各地的AI专家_焦点信息

2023-06-11

【共同缔造安全江夏⑫】做好安全江夏的“共同”文章-聚看点

2023-06-11

麻烦请静音漫画

2023-06-11

宽带怎么设置连接人数(怎么设置wifi连接人数限制)-环球热闻

2023-06-11

《坏妈妈》大结局,李到晛&安恩真求婚合照超甜 全球报资讯

2023-06-10

珠海网络电视台在线直播_珠海网络电视台 当前速递

2023-06-10

高考落幕——

2023-06-10

世界新动态:全新途观曝光!外观神似小途锐 这颜值可不输豪车?|世界热门

2023-06-10

中国新能源汽车走向国际市场,连德国都顶不住,中国制造越来越强|天天速看 环球微头条

2023-06-10

人工智能冲击:美国5月失业岗位近4000个

2023-06-10

6万元能办“提前退休”?警惕新型养老诈骗案 当前简讯

2023-06-10

支付宝账号是什么呀(支付宝账号是什么)-全球播报

2023-06-10

鼠标dpi多少最舒服(鼠标dpi)

2023-06-10

厦门启动2023年“文化和自然遗产日”非遗宣传活动:近200场活动 邀你共享多彩非遗_今日热议

2023-06-10

每日讯息!msconfig设置处理器个数有什么用(msconfig)

2023-06-10

每日看点!linux关机命令(linux重启命令)

2023-06-10

东北人解说麦迪时刻视频_东北人解说麦迪时刻|焦点快播

2023-06-10

预计2025年突破万亿元规模 产学研各方共议储能大赛道

2023-06-10

天天资讯:天津夏季达沃斯论坛期间将举办主题城市论坛

2023-06-10

新突破、国际首次 中国科学技术领域成果频出

2023-06-10

13只创业板股最新股东户数降逾5% 环球聚看点

2023-06-10

高校食堂“鼠头鸭脖事件”背后:10万能拿下一个档口? 世界快报

2023-06-10

湖北省夷陵区发布高温橙色预警

2023-06-10

全球快看点丨以港促业兴城 港产城相互赋能

2023-06-10

今明两天西安有超1200套房源登记,港务6盘同时推出,怎么选?

2023-06-10

梅西乘私人飞机抵达北京,开启第七次访华之旅

2023-06-10

莫兰德疯狂示好辽篮,外界猜测,换人风波即将来临?-每日精选

2023-06-10

九毛九:苏淡满获委任为执行董事兼首席财务官_世界观天下

2023-06-10

国羽组合张殊贤/郑雨,李汶妹/刘玄炫,陈清晨/贾一凡晋级女双半决赛

2023-06-10

社会教育包括哪些教育类型 社会教育包括哪些教育

2023-06-09