(資料圖片)

站長之家(ChinaZ.com) 4月13日消息:微軟日前宣布開源 Deep Speed Chat，（https://github.com/microsoft/DeepSpeed）可幫助用戶輕松訓練類 ChatGPT 等大語言模型。

據(jù)介紹，Deep Speed Chat 基于微軟 Deep Speed 深度學習優(yōu)化庫開發(fā)，具備訓練、強化推理等功能，使用 RLHF（人工反饋機制的強化學習）技術，可將訓練速度提升 15 倍以上，并大幅降低成本。例如，一個 130 億參數(shù)的類 ChatGPT 模型，只需 1.25 小時就能完成訓練。

Deep Speed Chat 是一款能夠解決訓練類 ChatGPT 模型的資源和算法難題的技術，它能夠輕松、高效的訓練數(shù)千億參數(shù)的最先進的類 ChatGPT 模型。使用 Deep Speed Chat，用戶只需一個腳本即可實現(xiàn)多個訓練步驟，包括使用 Huggingface 預訓練的模型、使用 DeepSpeed-RLHF 系統(tǒng)運行 InstructGPT 訓練的所有三個步驟，生成屬于自己的類 ChatGPT 模型。

此外，Deep Speed Chat 還提供了一個易于使用的推理 API，用于在模型訓練后測試對話性能。Deep Speed Chat 具有強化推理、RLHF 模塊、RLHF 系統(tǒng)三大核心功能，能夠支持訓練擁有數(shù)千億參數(shù)的模型，并在多節(jié)點多 GPU 系統(tǒng)上展現(xiàn)出卓越的擴展性。

Deep Speed Chat 在成本、效率、擴展性等方面非常優(yōu)秀，在 Azure 云上只需花費不到 300 美元和 600 美元即可完成對 OPT-13B 模型和 OPT-30B 模型的訓練。

微軟此次開源 Deep Speed Chat 對整個 ChatGPT 生態(tài)發(fā)展起到了至關重要的推動作用，簡單來說，用戶通過 Deep Speed Chat 能以最短的時間、最高效的成本訓練類 ChatGPT 大語言模型，這標志著一個人手一個 ChatGPT 的時代要來了。

（舉報）