def track_and_norm_grad(self, optimizer):
    grad_norm_dic = self._track_gradient_norm()
    self.trainer.accelerator.clip_gradients(optimizer, self.trainer.gradient_clip_val, gradient_clip_algorithm=self.trainer.gradient_clip_algorithm)
    self._cur_grad_norm_dict = grad_norm_dic
def track_and_norm_grad(self, optimizer):
    grad_norm_dic = self._track_gradient_norm()
    self.trainer.accelerator.clip_gradients(optimizer, self.trainer.gradient_clip_val, gradient_clip_algorithm=self.trainer.gradient_clip_algorithm)
    self._cur_grad_norm_dict = grad_norm_dic