Machine Learning
-
[CS231n] 4. BackpropagationMachine Learning/CS231n 2022. 4. 27. 16:13
Keywords : chain rule interpretation, real-valued circuits, patterns in gradient flow 1) Introduction Intuitive understanding of backpropagation A way of computing gradients of expressions through recursive application of chain rule. Understanding of this process is critical to understand, and effectively develop, design and debug neural networks. Think of the training data as given and fixed, a..
-
[CS231n] 3. OptimizationMachine Learning/CS231n 2022. 4. 27. 15:17
Keyword : Stochastic Gradient Descent 1) Introduction Two key components in context of the image classification task: A (parameterized) score function mapping the raw image pixels to class scores (e.g. a linear function) A loss function that measured the quality of a particular set of parameters based on how well the induced scores agreed with the ground truth labels in the training data.(e.g. S..
-
[PyTorch] Deep learning with PyTorch - IntroMachine Learning/PyTorch 2022. 4. 27. 13:12
PyTorch로 딥러닝 하기: 60분 만에 끝장내기의 초간단 정리입니다. 학습 및 정리 과정에서 들었던 의문이나 궁금한 사항에 대한 답도 설명에 추가했습니다. 실습은 구글 코랩(Google Colab) 을 통해 쉽게 따라 하실 수 있습니다. Pytorch Python 기반의 연산 패키지, 오픈 소스 Machine Learning 프레임워크 GPU 이용 연산 필요한 경우 사용 (Numpy 대체) 신경망 구현에 유용한 라이브러리 제공 TensorFlow와 양대산맥을 이루는 딥러닝 연구 플랫폼 / 실제 서비스와 프로덕션 배포에도 사용 Tensors 배열이나 행렬과 유사한 자료구조 / Numpy의 ndarray와 유사 / GPU를 사용한 연산 가속 가능 import torch import numpy as np ..
-
[CS231n] 2. Linear ClassificationMachine Learning/CS231n 2022. 4. 26. 18:49
Keywords : Support Vector Machine, Softmax parameteric approah, bias trick, hinge loss, cross-entropy loss, L2 regularization Intro of Linear Classification In the last section we introduced the problem of Image Classification. K-Nearest Neighbor (kNN) classifier - it has a number of disadvantages. → The classifier must remember all of the training data and store it for future comparisons with t..
-
[Loss Landscape 시각화] PyHessian: Neural Networks Through the Lens of the HessianMachine Learning/Foundation 2022. 4. 25. 16:19
Deep neural networks의 Hessian(second-order derivative) information을 빠르게 계산할 수 있는 PyHessian에 대한 간략한 소개 및 이를 활용한 Loss Landscape 시각화 방법을 설명하겠습니다. Hessian 정보를 활용하면 DNN 모델의 중요한 weights에 perturbation을 주어 Loss landscape을 그릴 수 있습니다. 예를 들어, 저희는 [ paper / code ]를 참고해 loss landscape을 3차원으로 그려 새롭게 제안한 방법이 이전 method 및 모델과 비교해 wide 한 landscape을 형성함을 강조했습니다. [ CPR: Classifier-Projection Regularization for Cont..
-
[코드 분석] ALBEF - Align before Fuse: Vision and Language Representation Learning with Momentum Distillation (NeurIPS 2021, Spotlight)Machine Learning/Multimodal Learning 2022. 4. 21. 19:59
논문 리뷰를 통해 NeurIPS 2021의 spotlight 논문인 ALBEF에 대해 살펴보았습니다. 이번 포스트에서는 ALBEF 코드 중 핵심적인 부분 분석 및 Vision-Language Pretraining(VLP) 학습 경험을 공유하겠습니다. [ Paper / Code ] Outline - ALBEF의 핵심을 담고 있는 ALBEF/models/model_pretrain.py 설명 및 분석 1) Model parameter initialization Image, text, multimodal encoder momentum model 2) Objectives ITC(Image-Text Contrastive learning) ITM(Image-Text Matching) MLM(Masked Languag..