분류 전체보기
-
[PyTorch] Deep learning with PyTorch - IntroMachine Learning/PyTorch 2022. 4. 27. 13:12
PyTorch로 딥러닝 하기: 60분 만에 끝장내기의 초간단 정리입니다. 학습 및 정리 과정에서 들었던 의문이나 궁금한 사항에 대한 답도 설명에 추가했습니다. 실습은 구글 코랩(Google Colab) 을 통해 쉽게 따라 하실 수 있습니다. Pytorch Python 기반의 연산 패키지, 오픈 소스 Machine Learning 프레임워크 GPU 이용 연산 필요한 경우 사용 (Numpy 대체) 신경망 구현에 유용한 라이브러리 제공 TensorFlow와 양대산맥을 이루는 딥러닝 연구 플랫폼 / 실제 서비스와 프로덕션 배포에도 사용 Tensors 배열이나 행렬과 유사한 자료구조 / Numpy의 ndarray와 유사 / GPU를 사용한 연산 가속 가능 import torch import numpy as np ..
-
공간의 미래 _ 유현준Personal Story/Book 2022. 4. 27. 03:30
몸집이 너무 커져서 뼈가 부러지면 새로운 재료의 뼈대가 필요하다. 목재에서 철근 콘크리트로 바뀌는 정도의 '사고의 혁명'이 필요하다. 특히 철학적, 종교적 개념의 혁신이 필요하다. 존엄사 같은 민감한 사안들도 허심탄회하게 말할 수 있는 분위기가 조성될 필요가 있다. 백세 시대에 맞는 결혼과 출산의 새로운 제도와 정의도 생각해 봐야 한다. 공간적으로는 새로운 집, 새로운 업무 환경, 새로운 학교, 새로운 상업 시설, 새로운 도시 공간 구조가 필요해 보인다. 전염병에 강하면서도 사회 계층 간의 양극화를 줄이고 갈등을 해소할 수 있는 공간 구조가 절실한 상황이다. p8 관계는 사람 간의 거리를 결정한다. 그리고 사람 간의 거리는 공간의 밀도를 결정한다. 공간의 밀도는 그 공간 내 사회적 관계를 결정한다. 사람..
-
열두 발자국 _ 정재승Personal Story/Book 2022. 4. 26. 19:28
인지적 유연성이란 '상황이 바뀌었을 때 나의 전략을 바꾸는 능력'을 말합니다. 가진 것이 망치뿐인 사람은 세상의 모든 문제가 못으로 보입니다. 내 앞에 놓인 모든 문제를 망치질하는 것으로 해결하려고 하죠. 그렇지만 상황이 바뀌고 문제가 바뀔 때 내 연장을 바꿔야 하는 건 아닌가 생각해보는 것, 그것이 바로 인지적 유연성입니다. p4 우주가 아름다운 까닭은 다양한 현상 가운데에도 통일된 하나의 법칙이 있기 때문이기도 하겠지만, 통일된 법칙이 놀랍도록 다양한 현상을 만들어내기 때문일 수도 있다고 대답했다 - 움베르토 에코 p21 뇌의 각 영역들은 서로 다른 관점과 기준으로 상황을 파악하며 그것들이 서로 순식간에 상호작용을 함으로써 최종 결정에 도달한다 p59 집단적 선택 안에 있을 때 나약한 개인은 안전함을..
-
[CS231n] 2. Linear ClassificationMachine Learning/CS231n 2022. 4. 26. 18:49
Keywords : Support Vector Machine, Softmax parameteric approah, bias trick, hinge loss, cross-entropy loss, L2 regularization Intro of Linear Classification In the last section we introduced the problem of Image Classification. K-Nearest Neighbor (kNN) classifier - it has a number of disadvantages. → The classifier must remember all of the training data and store it for future comparisons with t..
-
호모데우스 _ 유발하라리Personal Story/Book 2022. 4. 26. 02:04
역사학의 가장 큰 목표는 우리가 평상시 고려하지 않는 가능성들을 인지시키는 것이다. 역사학자들이 과거를 연구하는 것은 그것을 반복하기 위해서가 아니라, 그것에서 해방되기 위해서이다. p37~39 인간은 가진 것에 만족하는 법이 없다. 뭔가를 이루었을 때 인간이 보이는 가장 흔한 반응은 만족이 아니라 더 갈구하는 것이다. 인간은 항상 더 낫고 더 크고 더 맛있는 것을 찾는다. p58~63 두 개의 튼튼한 기둥이 행복의 유리천장을 떠받치고 있는데, 하나는 심리적인 것이고 다른 하나는 생물학적인 것이다. 심리적 수준에서 보면, 행복은 객관적 조건보다 기대치에 달려 있다. 우리는 평화와 번영을 누릴 때 만족하지 않는다. 실제와 기대가 일치할 때 만족한다. 나쁜 소식은, 조건이 나아질수록 기대가 부풀어 오른다는 ..
-
[Loss Landscape 시각화] PyHessian: Neural Networks Through the Lens of the HessianMachine Learning/Foundation 2022. 4. 25. 16:19
Deep neural networks의 Hessian(second-order derivative) information을 빠르게 계산할 수 있는 PyHessian에 대한 간략한 소개 및 이를 활용한 Loss Landscape 시각화 방법을 설명하겠습니다. Hessian 정보를 활용하면 DNN 모델의 중요한 weights에 perturbation을 주어 Loss landscape을 그릴 수 있습니다. 예를 들어, 저희는 [ paper / code ]를 참고해 loss landscape을 3차원으로 그려 새롭게 제안한 방법이 이전 method 및 모델과 비교해 wide 한 landscape을 형성함을 강조했습니다. [ CPR: Classifier-Projection Regularization for Cont..