LLaMA3-8B-Instruct+lora使用A800（80GB显存）微调长度8192

[12915494174]

LLaMA3-8B-Instruct+lora微调，单张A800（80GB显存）能否8192长度的token微调，我的任务场景较为特殊，需要使用较长的文本来微调。我使用了该代码库提供的代码，在微调过程中遇到了显存溢出的问题？

[KMnO4-zx]

这个长度的训练我们确实没有尝试过，可以试一下XTuner训练框架，我们的仓库仅作为学习使用，不建议用在生产环境。
XTuner：https://github.com/InternLM/xtuner

[WEXIJUE]

这个长度的训练我们确实没有尝试过，可以试一下XTuner训练框架，我们的仓库仅作为学习使用，不建议在生产环境中使用。XTuner ： https: //github.com/InternLM/xtuner

作者您好，我在基于Xtuner微调llama3模仿您基于XTuner框架微调InterLM2的代码的时候，遇到了数据集格式不对，找不到inputs_ids和labels的列名的问题，还有就是我下载的权重是safetensors格式，但是出现了这样的错误。

非常感谢