Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图片)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
大语言模型中的涌现现象是不是伪科学？
6000人穿越林间花海畅快开跑
交通肇事罪被逮捕能私下和解吗（刑事辩护律师费用一般多少钱）
海贼王里娜美喜欢路飞吗_海贼王娜美会喜欢谁
吴宣仪父母照片_吴宣仪父母 全球动态
热议：广西南宁通报法院与企业合作收停车费：5人被停职检查
欧派家居(603833.SH)：以集中竞价交易方式回购36.92万股
世界简讯:001696 001696股票
【世界新要闻】何赛飞为工资1500的年轻戏曲演员发声，突然就能理解郭德纲了
环球快播：香飘飘(603711.SH)：1-4月营业收入8.74亿元 同比增长43.4%
【天天速看料】英国前外交官收藏17世纪中国瓷器古董，50英镑买入半世纪升值有价有市
公共 | 主题亲子音乐营亮相郎园，优质文创点燃京城“微度假”热情_环球视讯
钢珠碎窗！利器划擦！沪上小区多辆私家车屡遭“黑手”！
华春莹对比中国-中亚峰会和G7峰会：加强团结合作VS煽动分裂对抗 当前速看
“温州十大名瀑”网络票选重磅开启，快来选出你心中最喜爱的瀑布！|环球今热点
不到一年跌748元！华为P50 Pro通信壳史低价：4G变5G仅需51元
岚图的AB面-全球快消息
吃酵素果冻真能减肥吗_喝酵素真能减肥吗
天天热消息：炖猪肚需要放什么料酒 炖猪肚的做法
热文：葡萄牙语100句——青春与世博同行外语(关于葡萄牙语100句——青春与世博同行外语的简介)
科技感浓郁 捷途大圣内饰官图正式发布
当前时讯：怎样使用谷歌搜索引擎打开网页_怎样使用谷歌搜索引擎
移动硬盘可以当电脑硬盘用吗24小时-移动硬盘可以当电脑硬盘用
共和报：穆帅是巴黎新帅名单唯一候选，最近几天与巴黎老板见了面|天天视点
环球讯息：南安石井镇：推动“村社分账”，助力乡村振兴
“熊孩子”深夜离家出走，民警耐心教育劝回家
黄杨盆景的养护方法（黄杨盆景的养护）
520领证现场：有人带铺盖彻夜排队 各地排队场面壮观|世界快播
千里之外有爱的陪伴和“家”的温暖
焦点热议:算法工程师待遇变化_算法工程师待遇
储存时间的溶洞
茶香满山（逐梦）
贴合需求的暖心事越来越多（消费视窗）
