DoNews9月12日消息,微軟研究院 11 日發布了名為 phi-1.5 的全新預訓練語言模型,共有 13 億個參數,適用于 QA 問答、聊天格式和代碼等等場景。
phi-1.5 采用來自 StackOverflow 平臺關于 Python 板塊的 Q&A 內容、code_contests 中的競爭代碼、合成 Python 教科書,gpt-3.5-turbo-0301 生成等各種數據集,此外還包括各種 NLP 合成文本組成的新數據源。
微軟表示在測試常識、語言理解和邏輯推理的基準下,phi-1.5 的表現超出了大部分參數低于 100 萬的模型。phi-1.5 在 AGIEval 得分上超過了擁有 70 億參數、來自 Meta 的 llama-2;在帶 LM-Eval Harness 的 GPT4AL 跑分套件中,可以媲美 70 億參數的 llama-2。