为什么我用你的示例生成的结果和你的不一样

[HUSTHY]

response中带有特殊字符
['<|reserved_special_token_167|>assistant<|reserved_special_token_191|>\n\n
User：你是谁
Llama3-Chinese：<|reserved_special_token_167|>assistant<|reserved_special_token_191|>\n\n我是LLama3-Chinese，是由ShareAI开发的语言模型。我的目的是帮助用户生成文本和回答问题。我可以提供各种话题的信息，包括历史、科学、技术等等。

[CrazyBoyM]

需要使用&nbsp;tokenizer&nbsp;的解码，开始&nbsp;special&nbsp;token&nbsp;替换。可以使用或者参考网页部署那个方案里的&nbsp;tokenizer.decode&nbsp;那

…

---原始邮件--- 发件人: ***@***.***&gt; 发送时间: 2024年4月21日(周日) 下午5:53 收件人: ***@***.***&gt;; 抄送: ***@***.***&gt;; 主题: [CrazyBoyM/llama3-Chinese-chat] 为什么我用你的示例生成的结果和你的不一样 (Issue #4) response中带有特殊字符 ['<|reserved_special_token_167|&gt;assistant<|reserved_special_token_191|&gt;\n\n User：你是谁 Llama3-Chinese：<|reserved_special_token_167|&gt;assistant<|reserved_special_token_191|&gt;\n\n我是LLama3-Chinese，是由ShareAI开发的语言模型。我的目的是帮助用户生成文本和回答问题。我可以提供各种话题的信息，包括历史、科学、技术等等。 &mdash; Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***&gt;

[HUSTHY]

已收到！谢谢！                          ——黄洋