분류 전체보기
-
[개념 정리] 클러스터 해부학 (FLOPS, GPU memory, 대역폭, Interconnect, PCIe, RDMA)Big Data/Distributed Deep Learning 2022. 6. 2. 01:03
Keyword : FLOPS, GPU memory, 메모리 용량, 메모리 대역폭, Interconnect, PCIe, RDMA 개인적인 공부를 위해 초고성능 딥러닝 클러스터 구축하기를 정리한 것임을 미리 밝힙니다. 기업에서 진행한 딥러닝 클러스터 구축에 대한 경험을 자세히 공유해주신 글로 자세한 내용이 궁금하신 분들께는 위의 포스트 직접 읽어보시는 것을 추천드립니다. 클러스터 해부학 딥러닝 클러스터의 목표 : 학습 과정을 빠르게 하는 것 → 시스템의 한 부분에서 병목 발생하지 않도록, 최상단 소프트웨어와 최하단 하드웨어까지 모든 단계 고려 GPU 서버 성능 지표 알아보기 1. FLOPS - GPU가 1초 동안 몇 개의 부동소수점(floating-point) 연산할 수 있는 지를 나타내는 성능 척도 - F..
-
[논문 리뷰] Imagen: Photorealistic Text-to-Image Diffusion Models with Deep Language UnderstandingMachine Learning/Multimodal Learning 2022. 5. 25. 00:02
최근 구글에서 발표한 Text-to-Image diffusion model 입니다. (최근 diffusion model의 강세가 주목할 만합니다) OpenAI에서 공개한 DALL-E 2와 같이 텍스트를 기반으로 사실적인 이미지를 생성해내는 모델로, "Unprecedented photorealism × Deep level of language understanding" 라는 슬로건으로 전례없이 사실적인 이미지를 생성하며, 언어에 대한 깊은 이해가 가능함을 강조했습니다. 예시를 통해 Imagen의 생성 능력을 살펴보고, 논문을 통해 어떻게 이런 능력을 가질 수 있는지 알아보겠습니다. [ paper | blog ] Abstract Imagen은 두 개의 강력한 모델로 이루어져 있습니다. 바로 뛰어난 언어 이해..
-
[코드 분석] GLIDE 코랩 데모 : Text-guided Image Editing(feat. in-painting)Machine Learning/Multimodal Learning 2022. 5. 24. 02:38
지난 포스트에서 DALL-E 2의 디코더로 사용된 GLIDE에 대해 알아보았습니다. Diffusion models을 Text-to-Image에 적용했으며, 그 결과 텍스트를 잘 반영하는 사실적인 이미지를 생성했습니다. 추가로 텍스트를 기반으로 이미지의 부분적인 영역을 편집하는 기능을 소개했습니다. 이번 포스트에서는 해당 기능에 대한 예제 코드를 분석하며 코랩을 이용한 데모도 소개하겠습니다. [ paper | code ] Recap 저자들은 GLIDE 모델의 악용(DeepFake 등)을 막기 위해 필터링된 데이터로 학습한 작은 모델을 공개했습니다. 논문의 이미지를 생성한 original 모델은 3.5B(35억) 파라미터를 가지고 있지만 GLIDE (filtered) 모델은 385M(약 4억) 파라미터를 가..
-
-
[개념 정리] 하둡 MapReduce 이해 (1)Big Data/Hadoop 2022. 5. 20. 01:49
Keyword : MapReduce, InputSplits, Mapper, Combiner, Partitioner, Shuffling&sorting, Reducer 개인적인 공부를 위해 강의를 정리한 내용입니다. 이번 글에 포함되어 있는 많은 이미지 또한 해당 강의에서 발췌했습니다. 하둡을 처음 공부하시는 분들은 강의 시청을 추천드립니다. MapReduce란 무엇인가? 2004년 구글에서 논문으로 발표했으며, Large Cluster에서 Data processing을 하기 위한 알고리즘입니다. Hadoop MapReduce는 이러한 구글 알고리즘을 소프트웨어 프레임워크로 구현한 구현체입니다. Key-Value 구조가 이 알고리즘의 핵심이며, 데이터의 분산 처리가 가능한 연산에 적합합니다. MapReduc..
-
[개념 정리] 3. 하둡 분산 파일 시스템(HDFS) 이해 (2)Big Data/Hadoop 2022. 5. 17. 23:19
Keyword : Rack Awareness, Safe mode, Block corruption, Hadoop 2.0 Cluster Architecture, High Availability 개인적인 공부를 위해 강의를 정리한 내용입니다. 이번 글에 포함되어 있는 많은 이미지 또한 해당 강의에서 발췌했습니다. 하둡을 처음 공부하시는 분들은 강의 시청을 추천드립니다. Rack Awareness 블록을 저장할 때, 2개의 블록은 같은 Rack에, 나머지 하나의 블록은 다른 Rack에 저장하도록 구성합니다. 이는 전원이나 스위치 고장 등 Rack 단위의 장애가 발생했을 때 전체 블록이 유실되는 것을 방지합니다. HDFS 세이프 모드 세이프 모드(safemode)는 데이터 노드를 수정할 수 없는 상태를 뜻합니다...