復旦大學計算機科學技術學院教授邱錫鵬:發揮上海自身優勢,建設國際算法創新基地
來源:文匯報
時間:2024-01-22 13:09:18
如果用一個詞來概括2023世界人工智能大會(WAIC2023)的熱點,那么大模型當之無愧。百度文心、阿里通義、華為盤古、訊飛星火、商湯日日新、復旦MOSS……國內外30余款大模型將同臺競技,背后的核心開發團隊也將悉數亮相。
這是一條“狂飆”的新賽道。去年底,對話式大型語言模型Chat GPT火爆出圈,激起AI領域“千層浪”,也帶動大模型這一重要的底層基座變得炙手可熱。今年以來,國內“百模大戰”趨于白熱化,那么下一步是重技術還是重應用?自主研發大模型,對于上海科創中心建設有著怎樣的意義?2023世界人工智能大會開幕之際,記者采訪了復旦大學計算機科學技術學院教授邱錫鵬。
出生5個月,MOSS更強了
作為學界頂尖研究者,邱錫鵬還有一個更讓人關注的身份——復旦大學MOSS系統負責人。今年2月,邱錫鵬團隊發布MOSS,成為國內首個發布的類ChatGPT模型。
復旦大學MOSS系統亮相WAIC2023,將是該大模型首次現身大型展會。邱錫鵬告訴記者,過去5個月來,MOSS系統日夜成長,不斷迭代優化,比如:4月20日,第三輪迭代版本MOSS003大模型上線,成為國內首個插件增強的開源對話語言模型。“相比2月‘出生’時,如今的MOSS系統性能提升不少,主要表現在邏輯能力、無害性、有用性等方向。”邱錫鵬總結道,大模型靠大量語料來訓練,一些能力已超越大部分成年人。
“圍繞大模型,我們做的不僅僅是模型本身,還有很多挑戰要解決。”邱錫鵬舉例說,其中一個就是普惠化,即將大模型巨大算力成本降下來,“過去優化一個百億參數量級的大模型,需要數個A100芯片做硬件支撐,一臺機器就要100多萬元,并非普通研究機構承擔得起。”5個月來,這也是邱錫鵬的主要研究方向之一。就在上個月,他帶領團隊發布了低內存優化技術(LOMO),可將大模型訓練內存使用量降低到之前的10.8%,新方法能夠在一臺消費級顯卡的機器上,對650億參數大模型進行全參數微調,大大降低了使用門檻。
技術與應用,兩手都要抓
隨著ChatGPT火遍全球,國內“大模型之戰”也已打響。中國科學技術信息研究所發布的《中國人工智能大模型地圖研究報告》顯示,截至5月底,國內10億級參數規模以上的大模型已發布79個,互聯網大廠、人工智能公司、行業頭部企業、高校及科研機構、大數據及云計算供應商都參與到大模型的比拼中。如果算上垂直應用方向,說“千模大戰”并不過分。
那么,走出實驗室階段的大模型,未來發展應該更重技術還是更偏應用?在邱錫鵬看來,技術與應用兩手都要抓。作為一線科研工作者,他對于當下國內的大模型技術并不滿意,“雖然是‘百模大戰’‘千模大戰’,但國內競逐者的大模型基座比較雷同,從技術到模型架構,再到能力,沒有讓人特別眼前一亮的產品。競爭者未來一定要結合自主研發,做出更多有創新性的產品。”
邱錫鵬也提到了應用驅動的重要性,正如中國在移動互聯網應用領域領跑全球,應用是我們的優勢項。“任何技術走出實驗室,在下游落地應用的過程中,都會遇到很多挑戰,以應用驅動技術發展是一種很好的方式。”但他指出,目前國內缺少的是支撐高級應用的功能,比如一些高級的插件以及推理能力,特別是在有用性方面,缺少能真正幫助人們提升效率的殺手級應用。
他透露,目前復旦大學MOSS系統在開源社區里的下載量排名靠前,“截至目前,我們已收到幾百家企業的使用申請,覆蓋智能信息服務、金融、醫療、教育等行業,不少企業在使用后也給出反饋,絕大部分希望在垂直領域有進一步優化。”
做好技術基座助力科創中心建設
作為生成式人工智能的技術底座,大模型無疑是兵家必爭之地。從《報告》數據來看,國內大模型的“出產地”集中在北京、上海、廣東和浙江等省市,這4個地方也是近3年人工智能服務器采購數量最高的地區。
在邱錫鵬看來,爭奪大模型的技術底座話語權,對于上海科創中心建設的意義重大。相比于國外技術實力,目前國內大模型還有一定差距,體現在語料清洗、工程、算法等方面,對自主研發的要求很高。再往生態圈延伸,國內大模型需要從頭到底有一套自主研發的技術,適配國內的配套硬件,保障在任何環節不被卡脖子。邱錫鵬認為,上海在前沿科技領域有獨特的優勢,體現在人工智能企業數量多、能級高,從底層技術到大模型、算力,從系統設計到應用,全鏈條企業都有涉及,更容易從生態上做規劃。
就在近日,《上海市推動制造業高質量發展三年行動計劃(2023-2025年)》出爐,其中對大模型、算力等多方面作出指引,提出“瞄準人工智能技術前沿,構建通用大模型,面向垂直領域發展產業生態,建設國際算法創新基地”。邱錫鵬認為,上海應發揮自身優勢,在AI大模型領域走出有中國特色的創新路。











