用AI數(shù)據(jù)訓(xùn)練AI效果怎樣？國(guó)際最新研究稱(chēng)可能最終導(dǎo)致崩潰 　

　　中新網(wǎng)北京7月27日電 (記者 孫自法)國(guó)際學(xué)術(shù)期刊《自然》最新發(fā)表一篇計(jì)算機(jī)科學(xué)論文指出，用人工智能(AI)生成的數(shù)據(jù)集訓(xùn)練未來(lái)幾代機(jī)器學(xué)習(xí)模型可能會(huì)污染它們的輸出，這個(gè)概念稱(chēng)為“模型崩潰”。

　　該研究顯示，原始內(nèi)容會(huì)在AI數(shù)代內(nèi)變成不相關(guān)的胡言亂語(yǔ)，顯示出使用可靠數(shù)據(jù)訓(xùn)練AI模型的重要性。

　　生成式AI工具越來(lái)越受歡迎，如大語(yǔ)言模型等，這類(lèi)工具主要用人類(lèi)生成的輸入進(jìn)行訓(xùn)練。不過(guò)，隨著這些AI模型在互聯(lián)網(wǎng)不斷壯大，計(jì)算機(jī)生成內(nèi)容可能會(huì)以遞歸循環(huán)的形式被用于訓(xùn)練其他AI模型或其自身。

　　論文第一作者兼共同通訊作者、英國(guó)牛津大學(xué)Ilia Shumailov和同事及合作者一起，用數(shù)學(xué)模型演示了AI模型可能會(huì)如何出現(xiàn)模型崩潰。他們證明了一個(gè)AI可能會(huì)忽略訓(xùn)練數(shù)據(jù)中的某些輸出(如不太常見(jiàn)的文本)，導(dǎo)致其只用一部分?jǐn)?shù)據(jù)集來(lái)自我訓(xùn)練。

　　隨后，論文作者還研究了AI模型會(huì)如何應(yīng)對(duì)主要用人工智能生成的訓(xùn)練數(shù)據(jù)集。他們發(fā)現(xiàn)，給模型輸入AI生成的數(shù)據(jù)會(huì)減弱今后幾代模型的學(xué)習(xí)能力，最終導(dǎo)致模型崩潰。他們測(cè)試的幾乎所有遞歸訓(xùn)練語(yǔ)言模型都容易出現(xiàn)重復(fù)短語(yǔ)。比如，一個(gè)用中世紀(jì)建筑文本作為原始輸入的測(cè)試到第九代的輸出已經(jīng)是一串野兔的名字。

　　論文作者指出，為了讓人工智能成功使用其自身輸出進(jìn)行訓(xùn)練，本次研究認(rèn)為用AI生成數(shù)據(jù)訓(xùn)練一個(gè)模型并非不可能，但必須對(duì)數(shù)據(jù)進(jìn)行嚴(yán)格過(guò)濾。與此同時(shí)，依賴(lài)人類(lèi)生成內(nèi)容的科技公司或許能比競(jìng)爭(zhēng)對(duì)手訓(xùn)練出更高效的AI模型。(完)