训练出错

[loki1017]

参数详情：
--do_train
--do_eval
--train_file
/Work/.../train.json
--validation_file
/Work/.../valid.json
--preprocessing_num_workers
10
--prompt_column
instruction
--query_column
input
--response_column
output
--overwrite_cache
--model_name_or_path
/Work/pre_model/chatglm2-6b
--output_dir
output/IM-04
--overwrite_output_dir
--max_source_length
256
--max_target_length
256
--per_device_train_batch_size
4
--per_device_eval_batch_size
4
--gradient_accumulation_steps
1
--predict_with_generate
--num_train_epochs
1
--logging_strategy
steps
--logging_steps
10
--eval_steps
50
--evaluation_strategy
steps
--save_steps
1000
--save_strategy
steps
--learning_rate
2e-5
--lora_r
8
--model_parallel_mode
True
--warmup_ratio
0.05
--weight_decay
0.05
--max_train_samples
500000
--max_eval_samples
10000

我的训练集大约90W左右，测试集大约10W左右，我分别设置了不同的样本量，在设置--max_train_samples 200000
--max_eval_samples 2000 的时候模型可以正常训练，但是当--max_train_samples 500000 --max_eval_samples 10000的时候，却出现了下面的错误：
Traceback (most recent call last):
File "/Work/zhanglongji7036/chatglm_sft/ptuning/main.py", line 566, in
main()
File "/Work/zhanglongji7036/chatglm_sft/ptuning/main.py", line 492, in main
train_result = trainer.train(resume_from_checkpoint=checkpoint)
File "/home/zhanglongji7036/anaconda3/envs/loki/lib/python3.10/site-packages/transformers/trainer.py", line 1664, in train
return inner_training_loop(
File "/home/zhanglongji7036/anaconda3/envs/loki/lib/python3.10/site-packages/transformers/trainer.py", line 2019, in _inner_training_loop
self._maybe_log_save_evaluate(tr_loss, model, trial, epoch, ignore_keys_for_eval)
File "/home/zhanglongji7036/anaconda3/envs/loki/lib/python3.10/site-packages/transformers/trainer.py", line 2300, in _maybe_log_save_evaluate
metrics = self.evaluate(ignore_keys=ignore_keys_for_eval)
File "/Work/zhanglongji7036/chatglm_sft/ptuning/trainer_seq2seq.py", line 78, in evaluate
return super().evaluate(eval_dataset, ignore_keys=ignore_keys, metric_key_prefix=metric_key_prefix)
File "/home/zhanglongji7036/anaconda3/envs/loki/lib/python3.10/site-packages/transformers/trainer.py", line 3029, in evaluate
output = eval_loop(
File "/home/zhanglongji7036/anaconda3/envs/loki/lib/python3.10/site-packages/transformers/trainer.py", line 3318, in evaluation_loop
metrics = self.compute_metrics(EvalPrediction(predictions=all_preds, label_ids=all_labels))
File "/Work/zhanglongji7036/chatglm_sft/ptuning/main.py", line 444, in compute_metrics
scores = rouge.get_scores(
File "/home/zhanglongji7036/anaconda3/envs/loki/lib/python3.10/site-packages/rouge_chinese/rouge.py", line 116, in get_scores
return self._get_scores(hyps, refs)
File "/home/zhanglongji7036/anaconda3/envs/loki/lib/python3.10/site-packages/rouge_chinese/rouge.py", line 129, in _get_scores
sc = fn(
File "/home/zhanglongji7036/anaconda3/envs/loki/lib/python3.10/site-packages/rouge_chinese/rouge.py", line 54, in
"rouge-1": lambda hyp, ref, **k: rouge_score.rouge_n(hyp, ref, 1, **k),
File "/home/zhanglongji7036/anaconda3/envs/loki/lib/python3.10/site-packages/rouge_chinese/rouge_score.py", line 253, in rouge_n
raise ValueError("Hypothesis is empty.")
ValueError: Hypothesis is empty.
0%| | 50/125000 [06:11<258:02:21, 7.43s/it]

Process finished with exit code 1

同时，我打印了模型的输出内容，发现完全没有生成任何内容，对此我非常困惑，不知道是否有人遇到同样的问题：
hypothesis: []
reference: ['约翰', '是', '一名', '软件', '工程师', '，', '居住', '在', '旧金山', '。', '他', '在', '一家', '科技', '公司', '工作', '了', '5', '年', '，', '业余时间', '喜欢', '打网球', '。']

---

hypothesis: ['《']
reference: ['《', '时间', '旅行者', '的', '妻子', '》', '是', '我', '的', '最', '爱', '之一', '，', '因为', '它', '不仅仅', '是', '一部', '科幻小说', '，', '而是', '一部', '强烈', '的', '情感故事', '。', '它', '讲述', '了', '一位', '时间', '旅行者', '和', '他', '的', '妻子', '之间', '的', '爱情', '，', '跨越', '时空', '交织', '在', '一起', '。', '小说', '的', '结构', '非常', '独特', '，', '以', '非线性', '的', '方式', '呈现', '了', '两位', '主人公', '的', '故事', '，', '让', '读者', '能够', '体会', '到', '他们', '内心', '的', '情感', '和', '思绪', '。', '此外', '，', '作者', 'Audrey', ' ', 'Niffenegger', '深入', '探索', '了', '人类', '的', '情感', '、', '时间', '、', '家庭', '以及', '命运', '等', '主题', '，', '使', '小说', '变得', '更加', '深刻', '和', '有', '意义', '。']

---

hypothesis: []
reference: ['自然风光', '如此', '迷人', '，', '冬日', '里', '的', '雪花', '在', '阳光', '下', '闪耀', '，', '春天里', '的', '草木', '吐露', '新芽', '，', '秋季', '的', '枫叶', '像', '火焰', '一般', '绚烂', '多彩', '，', '让', '人', '不由得', '沉醉', '其中', '。']

---

hypothesis: []
reference: ['日本', '发生', '大规模', '地震', '，', '紧急', '启动', '预防措施']

---