國(guó)內(nèi)多數(shù)模型訓(xùn)練使用中文數(shù)據(jù)占比超60%
來(lái)源： 人民日?qǐng)?bào)
2025-08-19 07:35:00
記者從國(guó)家數(shù)據(jù)局獲悉：中文數(shù)據(jù)在國(guó)內(nèi)大模型的訓(xùn)練性能提升方面發(fā)揮著重要作用。國(guó)內(nèi)多數(shù)模型訓(xùn)練使用的中文數(shù)據(jù)占比已經(jīng)超過(guò)60%，有的模型達(dá)到80%。中文高質(zhì)量數(shù)據(jù)的開(kāi)發(fā)和供給能力持續(xù)增強(qiáng)，推動(dòng)我國(guó)人工智能模型性能快速提升。
在人工智能時(shí)代，Token（通常所說(shuō)的詞元）是處理文本的最小數(shù)據(jù)單元。國(guó)家數(shù)據(jù)局局長(zhǎng)劉烈宏介紹，2024年初，我國(guó)日均Token的消耗量為1000億，截至今年6月底，日均Token消耗量已經(jīng)突破30萬(wàn)億，1年半時(shí)間增長(zhǎng)了300多倍，反映了我國(guó)人工智能應(yīng)用規(guī)模的快速增長(zhǎng)。