분류 전체보기
-
Brain Rules: 의식의 등장에서 생각의 실현까지 _ John MedinaPersonal Story/Book 2022. 5. 9. 23:06
기억은 과거를 위해서가 아니라 미래를 위해 존재하는 것이다. p9 기억상실증 환자들이 미래를 상상하는 데 어려움을 겪는다는 연구 결과를 통해 기억의 존재 이유를 새롭게 해석한다. 기억은 과거에 일어난 사건을 기록해 두는 대뇌 활동이 아니라, 매순간 변하는 현재와 다가올 미래에 대비하기 위한 '경험의 질료'라는 것이 신경과학자들의 주장이다. 그러니 상황이 바뀔때마다 기억도 얼마든지 바뀔 수 있다는 것이다. 기억은 과거를 위해서가 아니라 미래를 위해 존재하는 것이다. p58 상징추론(symbolic reasoning) : 상징적인 형상을 지닌 물체를 보면서 동시에 다른 어떤 것을 떠올림 → 이중표상 이론(dual representational theory) : 여러 가지 떠올림 → 어떤 사물이 실제로 소유하..
-
[논문 리뷰] DALL-E 2 : Hierarchical Text-Conditional Image Generation with CLIP LatentsMachine Learning/Multimodal Learning 2022. 5. 8. 00:36
최근 OpenAI에서 발표한 Text-to-Image 모델 DALL-E 2의 논문을 리뷰합니다. 작년에 발표한 DALL-E 1 보다 더 사실적이면서, 캡션을 잘 반영하는 고해상도(4x) 이미지를 생성해 많은 관심을 받았습니다. 리뷰에서는 논문의 다양한 이미지 생성 예시와, 제안한 모델의 구조적 특징 및 관련 연구들을 소개합니다. 추가로, 서비스에서 활용 가능한 이미지 조작(image manipulation)에 대해서도 자세히 다루겠습니다. [ Blog / Paper / Instagram ] Abstract CLIP과 같은 contrastive model들은 이미지의 robust 한 representation(semantic, style 등)을 잘 학습합니다. 저자들은 이 representation을 '이..
-
[CS231n] 7. Neural Networks Part 3 : Learning and EvaluationMachine Learning/CS231n 2022. 5. 5. 16:34
gradient checks, sanity checks, babysitting the learning process, momentum(+nesterov), second-order methods, Adagrad/RMSprop, hyperparameter optimization, model ensembles Learning This section is devoted to the dynamics, the process of learning the parameters and finding good hyperparameters Gradient Checks Use the centered formula finite difference approximation when evaluating the numerical gr..
-
[개념 정리] 딥러닝 클러스터 - 1. GPU Cluster, ParallelismBig Data/Distributed Deep Learning 2022. 5. 5. 13:45
개인적인 공부를 위해 초고성능 딥러닝 클러스터 구축하기를 정리한 것임을 미리 밝힙니다. 기업에서 진행한 딥러닝 클러스터 구축에 대한 경험을 자세히 공유해주신 글로 자세한 내용이 궁금하신 분들께는 위의 포스트 직접 읽어보시는 것을 추천드립니다. GPU Cluster 딥러닝 학습 인프라의 de facto standard(사실상의 표준)으로, 다수의 GPU가 장착된 딥러닝 서버들을 대역폭이 일반 1G 회선의 10배~200배인 고속 네트워크로 엮은 분산 처리(distributed processing) 시스템 멀티 노드 분산 학습 딥러닝 학습에 필요한 계산을 수십~수백 개의 GPU에 나누어 동시에 처리, 고속 네트워크 통해 결과를 합산하는 기법 모델 학습의 병렬성(parallelism)을 최대한 활용, 시간과 공..
-
[논문 리뷰] 🦩 Flamingo: a Visual Language Model for Few-Shot Learning - 1. 핵심 특징 및 예제 설명Machine Learning/Multimodal Learning 2022. 5. 4. 03:49
구글 딥마인드에서 발표한 Visual Language Model로, 이미지와 텍스트로 구성된 input을 받아 텍스트 output을 생성합니다. 다양한 Vision-Language task에서 적은 수의 example로 학습해 fine-tuned model의 SotA에 가까운 성능을 보입니다. 정량적인 결과 외에도 흥미로운 예제들이 많기 때문에 이를 천천히 살펴보고, 실제 어떤 서비스에 적용 가능할지 고민해봅니다. 또한 Flamingo가 새롭게 제안한 구조와 method에 대해서도 관련 연구와 함께 살펴봅니다. [ paper | blog ] Abstract 🦩Flamingo : 소수의 예제(few-shot)로 다양한 task를 빠르게 적응 및 수행할 수 있는 Visual Language Model 구조적..
-
[CS231n] 6. Neural Networks Part2 : Setting up the DataMachine Learning/CS231n 2022. 5. 3. 01:23
preprocessing, weight initialization, batch normalization, regularization (L2/dropout) 1) Data Preprocessing We will assume matrix X is of size [N x D] (N is the number of data, D is their dimensionality) 1.1) Mean subtraction most common form of preprocessing Subtracting the mean across every individual feature in the data It has the geometric interpretation of centering the cloud of data aroun..