AI創業公司MosaicML發布其語言模型MPT-30B 具有300億參數

6 月 25 日消息，AI 創業公司 MosaicML 近日發布了其語言模型 MPT-30B，該模型具有 300 億參數，訓練成本“僅有其他同類競品模型的零頭”，有望促進行業逐步降低此類模型訓練成本，擴大 AI 模型在更廣泛領域的運用。

MosaicML 公司的首席執行官兼聯合創始人 Naveen Rao 表示，MPT-30B 的訓練成本為 70 萬美元(約 502.44 萬元人民幣)，遠低于 GPT-3 等同類產品所需的數千萬美元訓練成本。此外，由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓練，并且更適合部署在本地硬件上。

據悉，MosaicML 使用了 Alibi 和 FlashAttention 技術來優化模型，可以實現更長的文本長度和對 GPU 計算的更高利用率。MosaicML 也是少數幾個能夠使用 Nvidia H100 GPU 的實驗室，相比以往成果，當下每塊 GPU 的吞吐量增加了 2.4 倍以上，可帶來更快的完成時間。

除了讓 AI 技術更容易獲得之外，MosaicML 還專注于提高數據質量并提高模型性能。他們目前正在開發一款工具，可以幫助用戶在預訓練過程中分層加入特定領域的數據，以確保訓練中開業實現多樣化和高質量的數據組合。

MosaicML 公司表示，將模型擴展到 300 億參數只是第一步，接下來他們將以降低成本為前提，推出體積更大、質量更高的模型。

IT之家注意到，目前開發者可以從 Hugging Face 下載并使用開源的 MPT-30B 基礎模型，開發者還可以在本地硬件上使用自己的數據，對模型進行微調。

標簽：