Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

为OpenAI 最新的GPT-4o模型提供支持 #1430

Closed
5 tasks done
HChaZZY opened this issue May 13, 2024 · 15 comments · Fixed by #1431 or #1446
Closed
5 tasks done

为OpenAI 最新的GPT-4o模型提供支持 #1430

HChaZZY opened this issue May 13, 2024 · 15 comments · Fixed by #1431 or #1446
Labels
enhancement New feature or request

Comments

@HChaZZY
Copy link

HChaZZY commented May 13, 2024

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

功能描述
OpenAI 于近期更新了GPT-4o模型,并向所有付费开发者开放其API。
相比于GPT-4 Turbo, GPT-4o能使用更少的Token,便宜50%,速度更快。同时支持语音、图像和文本的同时输入和输出。
希望one-api予以适配。

应用场景
在模型选择,能力列表以及API转接中加入对GPT-4o的支持

@HChaZZY HChaZZY added the enhancement New feature or request label May 13, 2024
@RexWzh
Copy link

RexWzh commented May 13, 2024

Issue 列表有类似的,你翻一下,你在渠道那手动添加即可。


实测调用方式一样,只是加个模型名称而已

validmodels

@mwnu
Copy link

mwnu commented May 14, 2024

可以用自定义模型的方式添加,但不知道能不能语音输入和图片、语音输出,没测试成功。

@RexWzh
Copy link

RexWzh commented May 14, 2024

可以用自定义模型的方式添加,但不知道能不能语音输入和图片、语音输出,没测试成功。

没测试成功指的是?

这个项目对 API 支持能力很灵活,我这里测的图文对话是正常的。。。

image

@RexWzh
Copy link

RexWzh commented May 14, 2024

不过 gpt-4o 是真的快到飞起。。。。网页端也是肉眼可见的快,像复制粘贴

@yaoyi098
Copy link

mwnu

4o api支持文字图片输入,文字输出。

见API文档
WXWorkLocal_1715657109492

你看到的发布会中语音的输入输出是基于4o tts stt 等组合起来的桌面应用。

@RexWzh
Copy link

RexWzh commented May 14, 2024

我看有帖子提到了:

Audio support is coming in the future, but not available today.
音频支持将在未来推出,但目前不可用。

应该还没上线,可以持续关注。

@awwaawwa
Copy link

GPT-4o 换了词表,本项目应该是得更新一下来支持的吧

@yaoyi098
Copy link

GPT-4o 换了词表,本项目应该是得更新一下来支持的吧

不太懂,纯调用api的需要做本地分词和序列化吗?不是只有本地推理才用吗。

@awwaawwa
Copy link

GPT-4o 换了词表,本项目应该是得更新一下来支持的吧

不太懂,纯调用 api 的需要做本地分词和序列化吗?不是只有本地推理才用吗。

额度 = 分组倍率 * 模型倍率 * (提示 token 数 + 补全 token 数 * 补全倍率)

不更新词表,token 数就是错的(一般来说是偏高)

@RexWzh
Copy link

RexWzh commented May 14, 2024

这个号商用的,计费功能,自用影响不大。

https://platform.openai.com/tokenizer

@yaoyi098
Copy link

GPT-4o 换了词表,本项目应该是得更新一下来支持的吧

不太懂,纯调用 api 的需要做本地分词和序列化吗?不是只有本地推理才用吗。

额度 = 分组倍率 * 模型倍率 * (提示 token 数 + 补全 token 数 * 补全倍率)

不更新词表,token 数就是错的(一般来说是偏高)

哦懂了 计费这块可能回有偏差。

@ylck
Copy link

ylck commented May 14, 2024

Issue 列表有类似的,你翻一下,你在渠道那手动添加即可。

* [强烈希望增加实用功能,谢谢 #1347](https://github.com/songquanpeng/one-api/issues/1347)

实测调用方式一样,只是加个模型名称而已

validmodels

图片里是什么cli?

@RexWzh
Copy link

RexWzh commented May 14, 2024

图片里是什么cli?

pip install askchat

命令行运行的 ChatGPT 交互工具,项目地址:github.com/cubenlp/askchat

除了日常使用,调试渠道时也会用:

test

p.s. 项目是开源的,但知道的人很少,基本就我们实验室几个人在使用和维护(

@HChaZZY
Copy link
Author

HChaZZY commented May 17, 2024

如果需要在one-api中添加对gpt-4o的支持,只需要在模型列表中添加即可。主流OpenAI API 的前端页面已经支持gpt-4o的图形输入。
请注意gpt-4o以及gpt-4o-2024-05-13的补全倍率应设置为3。

@haso2007
Copy link

怎样设置 补全倍率应设置为3,当然我自用的无什么实际作用。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

Successfully merging a pull request may close this issue.

7 participants