DoNews7月19日消息,據機器之心報道,剛剛,OpenAI 突然宣布了「Mini」版本的 GPT-4o 模型。該公司表示,新的輕量級版本旨在讓更多公司和項目能夠獲得最先進的技術。
這款名為 GPT-4o mini 的新模型立即上線,它在 MMLU 上的得分為 82%,目前在 LMSYS 排行榜的聊天方面分數優于 GPT-4。
除了立即在 ChatGPT 免費版、付費版上可用以外,GPT-4o mini 的商用價格是每百萬輸入 token 15 美分,每百萬輸出 token 60 美分 —— 比之前的 SOTA 模型便宜一個數量級,比 OpenAI 此前最便宜的 GPT-3.5 Turbo 還要便宜 60% 以上。
GPT-4o mini 在文本智能和多模態推理方面,在學術基準上超越了 GPT-3.5 Turbo 和其他小型模型,并支持與 GPT-4o 相同范圍的語言。
GPT-4o mini 還在函數調用方面表現出強大的性能,使開發人員能夠構建應用程序,以獲取數據或執行操作。
值得注意的是,與 GPT-3.5 Turbo 相比,GPT-4o mini 提高了長上下文性能。
GPT-4o mini 已在多個關鍵基準測試中進行了評估,包括:
-
推理任務:GPT-4o mini 在涉及文本和視覺的推理任務上優于其他小型模型,在文本智能和推理基準 MMLU 上得分為 82.0%,而 Gemini Flash 為 77.9%,Claude Haiku 為 73.8%。
-
數學和編碼能力:GPT-4o mini 在數學推理和編碼任務方面表現出色,優于以前的小型模型。在 MGSM 上,對于數學推理任務,GPT-4o mini 得分為 87.0%,而 Gemini Flash 為 75.5%,Claude Haiku 為 71.7%。編碼性能方面,GPT-4o mini 在 HumanEvalji'zhun 上得分為 87.2%,而 Gemini Flash 的得分為 71.5%,Claude Haiku 的得分為 75.9%。
-
多模態推理:GPT-4o mini 在多模態推理評估 基準 MMMU 上表現出強勁的性能,得分為 59.4%,而 Gemini Flash 為 56.1%,Claude Haiku 為 50.2%。
GPT-4o mini 內置了與 GPT-4o 相同的安全緩解措施,OpenAI 根據 Preparedness Framework 和自愿承諾,通過自動和人工評估對其進行了仔細評估。
70 多名社會心理學和錯誤信息等領域的外部專家對 GPT-4o 進行了測試,以確定潛在風險,這些問題的解決方法會在即將發布的 GPT-4o system card 和 Preparedness 記分卡中分享。這些專家評估得出的見解有助于提高 GPT-4o 和 GPT-4o mini 的安全性。
OpenAI 表示,GPT-4o mini 現在可在 Assistant API、Chat Completions API 和 Batch API 中作為文本和視覺模型使用。每 100 萬輸入 token 價格為 15 美分,每 100 萬輸出 token(大約相當于一本標準書的 2500 頁)價格為 60 美分。
OpenAI 也計劃在未來幾天推出 GPT-4o mini 微調版本。