45億參數科學(xué)大模型一天訓完

6月27日，國內高校最大的云上科研智算平臺CFFF（Computing for the Future at Fudan）在復旦大學(xué)正式上線(xiàn)。這臺為發(fā)現和解決復雜科學(xué)問(wèn)題而建的科研“超級計算機”由復旦大學(xué)與阿里云、中國電信共同打造，以先進(jìn)的公共云模式提供超千卡并行智能計算，支持千億參數的大模型訓練——這在國內高校中尚屬首例，也領(lǐng)先于斯坦福大學(xué)等國際知名高校。

(資料圖)

目前，首個(gè)基于CFFF平臺訓練的科學(xué)大模型成果已正式發(fā)布，45億參數大模型一天訓完。

復旦大學(xué)校長(cháng)、中國科學(xué)院院士金力表示，在數據和智能技術(shù)驅動(dòng)的“大科學(xué)時(shí)代”，如何在日新月異的科技創(chuàng )新環(huán)境中贏(yíng)得主動(dòng)，在關(guān)鍵領(lǐng)域取得創(chuàng )新突破，是時(shí)代給予高校的命題。以CFFF平臺為代表的智算平臺作為一種新興的科研超算架構，將成為科研的重要支撐力量，極大提升科研效率、降低科研成本，加速科學(xué)原理發(fā)現和技術(shù)突破，并有力推動(dòng)科學(xué)大模型的落地。

延續復旦大學(xué)“博學(xué)而篤志，切問(wèn)而近思”的校訓，CFFF平臺由面向多學(xué)科融合創(chuàng )新的AI for Science智能計算集群“切問(wèn)”一號和面向高精尖研究的專(zhuān)用高性能計算集群“近思”一號兩部分組成。

復旦大學(xué)浩清教授、人工智能創(chuàng )新與產(chǎn)業(yè)研究院院長(cháng)漆遠介紹，基于百G高速數據傳輸網(wǎng)和阿里云全球領(lǐng)先的大規模異構算力融合調度技術(shù)、分級存儲技術(shù)、AI與大數據一體化技術(shù)，部署在復旦校內的“近思”一號和托管在1500公里外阿里云烏蘭察布數據中心的“切問(wèn)”一號連成了一臺真正意義上的“超級計算機”，復旦四校區的所有實(shí)驗設備都能高速接入，做到異構算力統一管理，計算任務(wù)統一調度，滿(mǎn)足不同應用場(chǎng)景下的科學(xué)智能研究與應用需求。

它還擁有國內高校最大規模的多級數據冷熱分層存儲集群，解決了海量科研數據無(wú)法長(cháng)期備份的痛點(diǎn)，并支持云上高速傳輸。

位于“東數西算”節點(diǎn)上的阿里云烏蘭察布數據中心，以公共云模式為復旦校內多學(xué)院的多個(gè)科研項目提供更高性能、更具彈性、更低成本和更綠色的智能計算服務(wù)。漆遠表示，有賴(lài)于公共云模式，跑在CFFF平臺上的項目可享受到超千卡并行的智能算力，千卡并行的有效算力達到行業(yè)領(lǐng)先的92%，可拓展性達到萬(wàn)卡，萬(wàn)卡并行有效算力也可達90%。

同時(shí)，CFFF平臺更加低碳。阿里云綠色數據中心技術(shù)結合烏蘭察布當地天然的氣候優(yōu)勢，CFFF平臺可實(shí)現年平均PUE小于1.2，每年節省總電力超過(guò)2000千瓦，節省電費500萬(wàn)元，年均節碳量達15噸。

據悉，CFFF平臺從開(kāi)始建設的第一天起，就收到了來(lái)自復旦不同院系的多種研究需求，不僅涵蓋生命科學(xué)、大氣科學(xué)、材料科學(xué)領(lǐng)域，也包括金融系統分析等社會(huì )科學(xué)研究。平臺上的云原生與低代碼工程化AI開(kāi)發(fā)平臺，進(jìn)一步降低了AI與科研融合的門(mén)檻。

目前，CFFF平臺上的第一個(gè)科研成果已經(jīng)誕生。復旦大學(xué)人工智能創(chuàng )新與產(chǎn)業(yè)研究院李昊團隊近期發(fā)布了45億參數量的中短期天氣預報大模型，預測效果在公開(kāi)數據集上首次達到業(yè)界公認的ECMWF（歐洲中期天氣預報中心）集合平均水平，并將預測速度從原來(lái)的小時(shí)級縮短到了3秒內。

這也是CFFF平臺上孕育出的第一個(gè)大模型。金力表示，復旦希望基于CFFF平臺建成一批具有世界級影響力的科學(xué)大模型，例如生命科學(xué)大模型、材料科學(xué)大模型、大氣科學(xué)大模型、集成電路大模型等。

標簽：