cocoa cocoa

Machine Learning/Foundation

• [Loss Landscape 시각화] PyHessian: Neural Networks Through the Lens of the Hessian

  Machine Learning/Foundation 2022. 4. 25. 16:19

  Deep neural networks의 Hessian(second-order derivative) information을 빠르게 계산할 수 있는 PyHessian에 대한 간략한 소개 및 이를 활용한 Loss Landscape 시각화 방법을 설명하겠습니다. Hessian 정보를 활용하면 DNN 모델의 중요한 weights에 perturbation을 주어 Loss landscape을 그릴 수 있습니다. 예를 들어, 저희는 [ paper / code ]를 참고해 loss landscape을 3차원으로 그려 새롭게 제안한 방법이 이전 method 및 모델과 비교해 wide 한 landscape을 형성함을 강조했습니다. [ CPR: Classifier-Projection Regularization for Cont..

  Read More