首页 >热点 > > 正文

大语言模型中的涌现现象是不是伪科学?|世界信息

程序员客栈 2023-05-02 20:54:14

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:


(资料图)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

上一篇:今热点:为攫取利润 美国企业扩大移民童工雇佣规模 下一篇:最后一页
x
推荐阅读

大语言模型中的涌现现象是不是伪科学?|世界信息

2023-05-02

今热点:为攫取利润 美国企业扩大移民童工雇佣规模

2023-05-02

最新排名!国乒包揽5项世界第一,林高远锁定世乒赛八号种子 全球关注

2023-05-02

中国上市公司协会:2022 年央企上市公司净利同比增近 5%-环球快资讯

2023-05-02

如何管控孩子玩手机游戏 孩子玩手机怎么办|全球即时

2023-05-02

焦点要闻:岸田文雄与加纳总统会谈:将提供5亿美元援助 合作促进基建开发

2023-05-02

湖湘文化的精神特质_湖湘文化的精髓是什么

2023-05-02

“卖茶翁”老周18年写了5部作品 三年级开始读《三国演义》 古稀之年仍笔耕不辍

2023-05-02

南宁举行2023年“五一”升国旗仪式致敬劳动者|环球观焦点

2023-05-02

今日狮子座今年运气不好吗?

2023-05-02

房屋拆迁协议纠纷要怎么样解决

2023-05-02

雷达RD6创业版上市 官方指导价14.58万元_通讯

2023-05-02

高考倒计时一个月,如何冲刺更有效? 全球热点评

2023-05-02

没结婚生孩子分手了孩子会判给谁_精彩看点

2023-05-02

快看:张雨生个人资料简介身高体重 张雨生个人资料简介

2023-05-02

世界短讯!【原油收市】中国经济数据引发担忧,国际油价结束涨势小幅下跌

2023-05-02

【环球新要闻】美丽诗句_意境优美的诗词

2023-05-02

vivo Y36 4G手机通过蓝牙SIG认证:配骁龙680处理器,支持蓝牙5.0|世界资讯

2023-05-02

焦点精选!4月北京住宅租赁市场量跌价稳 或将进入“旺季”预热期

2023-05-01

老旧小区改造拆违“回头看” 市区虹桥街道200多处违建将被拆 世界信息

2023-05-01

全球观天下!节能车和普通车的区别_节能车

2023-05-01

73.51万人次!北京市属公园接待游客量创“五一”假期单日新高

2023-05-01

天天快资讯丨“五一”假期 连云港消费市场火爆

2023-05-01

“没人比我更懂全球经济”!马斯克警告经济严重衰退即将来临……-天天热文

2023-05-01

A股研发支出创历史!34家公司拿出超一半营收搞研发

2023-05-01

1-0武磊前东家爆发,掀翻劲旅,终结8轮不胜,一夜仅差保级区2分

2023-05-01

音乐剧《一封陌生女人的来信》2023全国巡演5月开启!

2023-05-01

乌媒:基辅、基辅州和第聂伯罗彼得罗夫斯克州发生爆炸_世界焦点

2023-05-01

铁观音茶的正确泡法(铁观音的泡法完整视频)

2023-05-01

杰忱镜花缘是哪个国家的品牌_什么档次怎么样

2023-05-01

宋贶-短讯

2023-05-01

望仙谷景区车流人流已饱和,请错峰出行!

2023-05-01

愚园路起点将崛起又又中心,打造有独特社交属性的第三空间

2023-05-01

德甲最新积分榜:拜仁超越多特1分重返榜首,狼堡3球完胜攀升第7!

2023-05-01

lol花木兰是什么英雄_lol花木兰

2023-05-01

3名小学生发现笑气果断报警获奖,网友:收到奖励的终于不是试卷了|精选

2023-05-01

深夜两位老人猛然“开炮”!|世界时讯

2023-04-30

长肉“最猛”的6种主食,注重身材的朋友一定要注意呢!_焦点报道

2023-04-30

七秒巫哲txt下载_巫哲轻狂txt下载 天天简讯

2023-04-30

关注:家长:仿佛所有教育手段到了青春期都将失效 | 首都名校长名师谈家教

2023-04-30

第23110期福彩体彩晒票:凡事适可而止,莫要影响正常的生活!

2023-04-30

每日讯息!黄山景区回应“游客在厕所过夜”:未超限接待 劝导无效

2023-04-30

2023南充中考总分及各科分数是多少

2023-04-30

世界热议:最高优惠1万,首付2万多贷款买1.5L+5MT的小型SUV名爵ZS怎么样?

2023-04-30

激光去痣多少钱_激光去痣要多少钱

2023-04-30

外媒

2023-04-30

美监管机构将公布接管第一共和银行及出售事宜

2023-04-30

西安宜宾重庆贵阳自驾游(西安-重庆-贵阳-南宁自驾)-当前时讯

2023-04-30

一季度江苏社会消费品零售总额11706.8亿元 同比增长7.8%

2023-04-30

精卫的别称的含义(精卫的别称的含义是什么)

2023-04-30

商务部:“五一”假期首日消费市场大幅升温 世界聚看点

2023-04-30

世界今亮点!各不相一的意思_各不相犯是什么意思

2023-04-30

【速看料】上海车展掀起新豪华浪潮,全新林肯冒险家带来新升级

2023-04-30

天天即时:国有四维礼义廉耻四维不张国乃灭亡_四维不张国乃灭亡

2023-04-30

志高KFR-32GW/A104+N2

2023-04-30

焦点速看:将军肚的由来 将军肚

2023-04-29

天天视讯!哈登受到篮网主教雅克·沃恩的称赞!

2023-04-29

巨型笑脸成广州游客祈福打卡地:来追求那份确定的美好

2023-04-29

第十四届中国成都体育舞蹈国际公开赛选拔赛举行

2023-04-29

“五一”假期旅游市场将迎高峰 预计旅游人次达24000万人次|天天实时

2023-04-29

当前热讯:亚士创能(603378):建设经销主航道 产能布局助力市占率提升

2023-04-29

23047期大乐透晒票:从容面对现实,捷径大多都有坑

2023-04-29

特色经济点亮假日 博物馆里沉浸式体验千年文化

2023-04-29

50升水等于多少斤 1升水等于多少吨 新资讯

2023-04-29

世界新资讯:松阳县召开“三改一拆”工作月例会暨“无违建村(社)”创建工作推进会

2023-04-29

房租终止合同范本(合集14篇)|热讯

2023-04-29

天津师范有编导专业怎么样大学大学排名|每日热议

2023-04-29

快看点丨东北“85后”牟生以守正创新的姿态打造长沙的“第三杯茶”

2023-04-29

聚焦:雪莲果的功效与作用

2023-04-29

皇庭国际:2022年归属股东净亏损12.3亿元

2023-04-29

世界头条:30万左右的中型SUV排行榜,购车指数选车:大家最喜欢什么车?

2023-04-29

国睿科技:4月28日融资买入1764.29万元,融资融券余额3.83亿元

2023-04-29

回家真好!从苏丹撤离的中方人员用镜头记录沿途经历_要闻速递

2023-04-29

成语醍醐灌顶是什么意思_成语醍醐灌顶的意思-全球速看料

2023-04-29

不止变胖久坐带来的“内伤”了解下_全球微头条

2023-04-29

热点!代号夜市官网在哪下载 最新官方下载安装地址

2023-04-29

每日焦点!满汉全席音乐团队解散了吗_满汉全席音乐团队解散

2023-04-29

泛海控股:2023年一季报净利润发生亏损

2023-04-29

热议:蓝科中国出席“对标名企:财务数字化转型实践之路高级研修班”

2023-04-28

“五一”假期临近 多地旅游热度提升|热点评

2023-04-28

【世界新要闻】湖北丹江口市六里坪镇:一校一品一特色 风清气正育桃李

2023-04-28

win77601密钥_永久版windows7密钥生成器

2023-04-28

湖南机场恢复多条国际客运航线 焦点热文

2023-04-28

新动态:巴南区气象局发布大风蓝色预警【Ⅳ级/一般】【2023-04-28】

2023-04-28

4月28日龙虎榜:13.4亿抢筹昆仑万维 机构净买入25只股

2023-04-28

世界微速讯:消失的光芒2:人与仁之战

2023-04-28

天天热点!《崩坏星穹铁道》巡猎类光锥效果分析 巡猎类光锥有什么效果?

2023-04-28

腾讯或将加大海外投资:去欧洲收购游戏工作室

2023-04-28

网络游戏板块涨7.58% 掌趣科技涨20.08%居首

2023-04-28

环球看热讯:图集丨豪车亮相,你喜欢谁

2023-04-28

一眼惊艳的古风句子 悲伤的句子古风|当前看点

2023-04-28

AH股追踪 | 中芯国际A股涨5.64%,H股现涨4.39% 天天关注

2023-04-28

今日讯!开源证券给予鲁商发展买入评级,公司信息更新报告,近期获15份券商研报关注,目标均价涨幅23.91%

2023-04-28

星际上将的元素精灵王txt_星际上将的元素精灵王 天天观天下

2023-04-28

重庆民心佳园夜市搬“新家”迎“五一”-天天快资讯

2023-04-28

习作:中国的世界文化遗产评课说课稿教学反思

2023-04-28

《蜘蛛侠:纵横宇宙》内地定档6月2日

2023-04-28

年产值突破300亿元 “智改数转”助力威海纺织服装打出“拳头产业”

2023-04-28

被低估的三国名将,被当权者所青睐,最终也得以善终-当前快播

2023-04-28

机构:2023年将是充电桩销量高增之年_环球热讯

2023-04-28