fix batch infer
#10
by
kuaizhirui
- opened
解决左pad之后 batch infer总是输出unk的问题 或者 和单条样本推理结果不一致的问题,本质上精度不一致的问题,由expanded_attn_mask和combined_attention_mask相加导致的,因此先换成torch.finfo(dtype).min的一半
解决左pad之后 batch infer总是输出unk的问题 或者 和单条样本推理结果不一致的问题,本质上精度不一致的问题,由expanded_attn_mask和combined_attention_mask相加导致的,因此先换成torch.finfo(dtype).min的一半