中國電信發布全球首個單體稠密萬億參數語義模型Tele-FLM-1T
文章來源：中國電信集團有限公司 發布時間：2024-06-21
近日，在北京智源大會上，中國電信人工智能研究院（TeleAI）聯合北京智源人工智能研究院發布全球首個單體稠密萬億參數語義模型Tele-FLM-1T，成為國內首批發布稠密萬億參數大模型的機構。
針對大模型訓練算力消耗高的問題，TeleAI與智源基于模型生長和損失預測等關鍵技術聯合研發出的Tele-FLM系列模型僅使用了業界普通訓練方案9%的算力資源。基于112臺A800服務器，用4個月完成3個模型總計2.3T tokens的訓練。模型訓練全程做到了零調整零重試，算力能效高且模型收斂性和穩定性好。Tele-FLM-1T版本即將開源，期望為社區訓練萬億稠密模型提供技術參考，避免萬億模型訓練收斂難等問題。
作為最早布局并首先開源大模型的央企機構，TeleAI在中國電信CTO、TeleAI院長李學龍帶領下，堅持全鏈路完全自主研發創新，去年便發布了千億參數“星辰”語義大模型，性能處于國內同級別參數模型的前列。今年2月，TeleAI自主研發的星辰大模型首次通過了“境內深度合成服務算法備案”。隨后，在5月15日，根據北京市生成式人工智能服務備案信息公告，星辰大模型再次通過產品備案。“雙備案”標志著星辰大模型可正式對外提供生成式人工智能服務。
同時，TeleAI也積極通過開源推動大模型技術進步和大模型國產化進程，加快研發創新，接連開源7B、12B、52B參數規模大模型，吸引國內外開源社區開發者廣泛討論和使用，開源模型下載量過萬，積累超40W+用戶。隨著TeleChat系列模型的發布，TeleAI也同步對多個大模型落地項目進行了能力升級，顯著提升了項目交付的質量。在某市民生訴求場景項目上，通過引入TeleChat-52B模型能力，整體應用效果提升40%，達到了行業內領先水平。同時，在長文生成和知識采編等多個應用領域，也取得了顯著的進步。
此外，依托中國電信在多個行業深耕多年的深厚優勢與豐富經驗，攜手行業領軍者共同打造了覆蓋教育、政務、應急等超過20個行業的大型模型。并通過不斷升級的語音、視覺以及多模態大模型技術能力，共同推動大模型技術與各行業的深度融合，助力千行百業轉型升級。未來，TeleAI也將進一步為客戶、生態伙伴、開發者及個人用戶等提供前沿的AI能力，賦能千行百業變革的同時也提升個人工作效率和日常生活便利性，切實推進國內AI技術進步及落地應用，加速全社會邁向通用人工智能時代。
【責任編輯：石運來】
掃一掃在手機打開當前頁
