編程客棧（）6月26日 消息:微軟的人工智能研究人員發(fā)布了一種新的、輕量級的代碼生成模型 phi-1，并且其性能優(yōu)于 ChatGPT 背后的大型語言模型 GPT-3.5。

據了解， 這個基于 Transformer 的模型僅擁有13億個參數，相比之下，Codex擁有120億個參數。

微軟的研究人員僅用了四天時間就使用 Nvidia 的8個 A100芯片來訓練 phi-1。該模型使用來自網絡的60億個token以及使用 GPT-3.5生成的另外10億個token進行訓練。

(資料圖片僅供參考)

在性能方面，phi-1在HumanEval基準測試中獲得了50.6% 的 pass@1準確率。盡管模型小得多，但微軟模型擊敗了 Hugging Face 和 ServiceNow 的 StarCoder （33.6%）、OpenAI 的 GPT-3.5(47%) 和谷歌的 PaLM2-S 編程客棧(37.6% ) 。

在MBPP pass@1測試中，phi-1表現(xiàn)更好，取得了55.5% 的分數。上述許多模型尚未發(fā)布該基準測試的結果，但 WizardLM 的WizardCoder在本月早些時候進行的測試中得分為51.5%。WizardCoder 是一個150億個參數模型，而 phi-1的參數模型為13億個。

高質量數據帶來差異

微軟的研究人員認為，正是“高質量數據的力量”讓 phi-1表現(xiàn)如此出色。為了說明這一點，研究人員將他們模型的論文js命名為“教科書就是你所需要的”。

他們寫道:“正如一本全面、精心制作的教科書可以為學生提供掌握新學科所需的知識一樣，我們的工作展示了高質量數據在磨練語言模型在代碼生成任務中的熟練程度方面的顯著影響。” 。

“通過制作‘教科書質量’數據，我們能夠訓練出一個模型，盡管模型大php小縮小了10倍，數據集大小縮小了100倍，但在編碼基準（例如 HumanEval 和 MBPP）上，該模型超越了幾乎所有開源模型。”

與其他可用的編碼模型相比，Phi-1僅限于 python 編javascript碼。他們表示，該模型的局限性還在于它缺乏大型模型的特定領域知識，例如使用特定 API 進行編程。

為了擴展他們的工作，微軟的研究人員建議使用 GPT-4而不是 GPT-3.5來生成用于模型訓練的合成數據。

研究人員還將尋求提高數據集的多樣性和非重復性，盡管該團隊表示，他們必須找到方法“在數據生成過程中注入隨機性和創(chuàng)造力，同時仍然保持示例的質量和連貫性?！?/p>

關鍵詞：