GPT4o迷你版 发布比35更便宜但有计费Bug

在这篇发出的时候

GPT-4o mini 发布了

性能上，比 GPT4-0125 更好

（基于 LMSYS 竞技场信息）

GPT-4o mini 优于 GPT4-0125

价格上，比 3.5 还便宜 60%

4o mini 输入：$0.15

4o mini 输出：$0.6

堪称不讲武德

目前，GPT-4o mini 以 API 的方式发布

支持图片和文字，最长 128k

后续也会支持支持视频和音频

训练截数据截止到 2023 年 10 月

并对非英文更加友好

标准化测试

推理任务 ：GPT-4o mini 在涉及文本和视觉的推理任务中优于其他小型模型，在 MMLU 上得分为 82.0%，而 Gemini Flash 为 77.9%，Claude Haiku 为 73.8%。

数学和编码能力 ：GPT-4o mini 在数学推理和编码任务方面表现出色，超过了市场上先前的小型模型。在衡量数学推理的 MGSM 上，GPT-4o mini 得分为 87.0%，而 Gemini Flash 为 75.5%，Claude Haiku 为 71.7%。在衡量编码性能的 HumanEval 上，GPT-4o mini 得分为 87.2%，而 Gemini Flash 为 71.5%，Claude Haiku 为 75.9%。

多模态推理 ：GPT-4o mini 在多模态推理评估 MMMU 上也表现出色，得分为 59.4%，而 Gemini Flash 得分为 56.1%，Claude Haiku 得分为 50.2%。

上手（对比4o）

结论：和4o差不多，但便宜很多！

只有 4o 3%的价格

以及：4o-mini 有个恶性 bug

仔细看我最后一张图

token 计算有误，凭空多了 2 万个 token

对此我调试了下代码，能看到 token 多了不少

确实，在多模态模式下

有严重的计费 BUG

不确定会不会真的计入账单

（已同步反馈给 OpenAI 的朋友了）