<samp id="tgzrj"><video id="tgzrj"><nav id="tgzrj"></nav></video></samp>

    <samp id="tgzrj"></samp>
    <legend id="tgzrj"><font id="tgzrj"><tr id="tgzrj"></tr></font></legend>

      大語(yǔ)言模型中的涌現現象是不是偽科學(xué)? 當前視點(diǎn)

      來(lái)源:程序員客棧時(shí)間:2023-06-17 07:19:25

      Datawhale干貨


      (相關(guān)資料圖)

      作者:平凡@知乎,諾桑比亞大學(xué),在讀博士

      今天晚上,花了一點(diǎn)兒時(shí)間看了兩篇文章:

      《Emergent Abilities of Large Language Models》[1]

      《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

      這兩篇講的都是emergent behavior,即涌現現象。

      大規模神經(jīng)網(wǎng)絡(luò )下的涌現現象

      在機器學(xué)習中使用大規模神經(jīng)網(wǎng)絡(luò )時(shí),由于增加了參數數量、訓練數據或訓練步驟等因素,出現了定性上的新能力和性質(zhì),這些能力和性質(zhì)在小規模神經(jīng)網(wǎng)絡(luò )中往往是不存在的。

      第一篇文章舉了這個(gè)例子,每個(gè)圖都可以理解為一個(gè)任務(wù),橫軸是神經(jīng)網(wǎng)絡(luò )的規模,而縱軸是準確率,可以理解為模型的性能。

      我們拿圖一來(lái)看,在10的22次方前,這些模型基本上的性能基本上都很穩定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個(gè)任務(wù)上都表現出類(lèi)似的特征。

      意想不到的效果

      第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:

      作者發(fā)現,當我們訓練用網(wǎng)絡(luò )計算同余加法 a+b = ? (mod c) 時(shí),網(wǎng)絡(luò )在某個(gè)時(shí)間突然獲得了 100% 準確率。分析發(fā)現,神經(jīng)網(wǎng)絡(luò )實(shí)際上“頓悟”了使用傅立葉變換來(lái)計算同余加法!這個(gè)算法可以證明是正確的, 反人類(lèi)直覺(jué)的。

      從這倆例子里面我的感受是,只要數據量足夠且真實(shí),且模型沒(méi)有硬錯誤的前提下,不斷的訓練說(shuō)不定真的能夠產(chǎn)生一些意想不到的效果。

      還有就是我覺(jué)得人類(lèi)現在積累的知識并不少,但是系統的少,零星的多,如果類(lèi)似ChatGPT這樣的大模型可以拿所有的人類(lèi)已有知識進(jìn)行不斷學(xué)習的話(huà),我覺(jué)得有很大概率會(huì )讓它涌現出意想不到的能力。

      甚至可能把人類(lèi)的生產(chǎn)力解放提前很多。

      參考

      1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

      標簽:

      責任編輯:FD31
      上一篇:全球新消息丨vivo全系列型號大全:從旗艦到入門(mén)級,一網(wǎng)打盡!
      下一篇:最后一頁(yè)

      精彩圖集(熱圖)

      熱點(diǎn)圖集

      最近更新

      信用中國

      • 信用信息
      • 行政許可和行政處罰
      • 網(wǎng)站文章

      久爱免费观看在线精品_亚洲综合一区二区三区_最新国产国模无码视频在线_中文字幕无码精品亚洲资源网久久

      <samp id="tgzrj"><video id="tgzrj"><nav id="tgzrj"></nav></video></samp>

      <samp id="tgzrj"></samp>
      <legend id="tgzrj"><font id="tgzrj"><tr id="tgzrj"></tr></font></legend>