使用Openai_api_server.py,进行推理出现RuntimeError

[xiaoToby]

提交前必须检查以下项目

• 请确保使用的是仓库最新代码（git pull）
• 已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• 第三方插件问题：例如llama.cpp、text-generation-webui等，建议优先去对应的项目中查找解决方案。

问题类型

模型推理

基础模型

Llama-3-Chinese-8B-Instruct（指令模型）

操作系统

Linux

详细描述问题

# 请在此处粘贴运行代码（请粘贴在本代码块里）

为什么会出现这个问题和该如何解决这个问题

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

# 请在此处粘贴运行日志（请粘贴在本代码块里）

[xiaoToby]

RuntimeError: probability tensor contains either inf, nan or element < 0

@ymcui @iMountTai

[ymcui]

不太清楚。colab上都能跑通，不知道你这个是因为版本问题还是什么总出错。
你参考我跑的colab记录，自行debug吧。

https://colab.research.google.com/drive/1mbHo-kAL_zP-JX8TIdLcYYidpTryw6KP?usp=sharing

[CodeDevMasterPro]

@xiaoToby 你好，我也遇到此类问题，请问你解决了吗？什么情况呢？又是如何解决呢？

[xiaoToby]

@CodeDevMasterPro 可以参考一下

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.