MINED

Knowledge for Linear Algebra

Knowledge for Computer Science

Knowledge for Ensemble

• 

  [Ensemble] XGBoost, 극한의 가성비 XGBoost, 극한의 가성비 Ensemble XGBoost까지의 흐름 Decision Trees를 Bagging이라는 앙상블기법을 이용하여 성능을 높였고, 여기에 Random성을 부여하여 Random Forest를 만들었습니다. 이 후에는 Stumps Tree를 베이스로하는 Adaptive Boosting이 있었고, Gradient를 이용해서 Boosting을 하는 법을 알아보았습니다. 이번 포스트에서는 XGBoost(eXtreme Gradient Boosting)에대해 알아보겠습니다. XGBoost는 Gradient의 방법을 따라가지만, 더 많은 데이터를 한번에 다룰 수 있고 더 빠르게 처리할 수 있습니다. Ada Boost와 Gradient Boosting에대해 잘 모르시는 분은 아래 포스트를 참고.. 2021.02.14

• 

  [Ensemble] Light GBM, 마이크로소프트의 부스팅 Light GBM, 마이크로소프트의 부스팅 Ensemble GBM은 최적의 Information Gain을 갖기위해서 모든 split point를 살펴봐야했습니다. XGBoost에서는 전체데이터를 버킷단위로 나누고 버킷안에서 split point를 찾음으로써 워크로드를 줄였습니다. Light GBM에서는 이를 줄이기 위한 방법으로 GOSS와 EFB를 제시합니다. 논문을 같이보고싶으신 분은 여기를 클릭하세요 Abstract GOSS (Gradient-Based One-Side Sampling) 일반적으로 개별적인 데이터들은 다른 Gradient를 갖고 있습니다. 여기서 Gradient가 큰 객체들은 더 중요한 역할을 합니다. 그래서 Information gain을 계산할 때, gradient가 작은 객체들.. 2021.02.14

최신 글

• 

  [논문리뷰]CLIP : Learning Transferable Visual Models From Natural Language Supervision Motivation & Contribution 종래의 CV task들에 대해서는 사전에 정의된 category에 대해서만 훈련되어왔다. 이런 방법은 확장성이 적어 새로운 category에 대해서는 데이터를 새로 모아야 된다는 어려움이 있으며 일반성을 저해한다. CLIP은 웹 상에서의 Image-Text 쌍을 이용한 4억개 규모 데이터 셋을 활용하여 이미지의 caption으로 학습한다. 이를 통해 자연어로 통제가능한 멀티모달 모델을 가능하게 해 zero-shot이 가능해졌다. Approach Natural Language Supervision supervision learning이 가능하도록, 자연어 자체를 label로 두었다. 이 방법은 추가적인 labeling을 안해도 된다는 장점과 더불어 이미지와 텍.. 2022.07.01

• 

  [논문리뷰]Dall-E : Zero-Shot Text-to-Image Generation 해당 페이지에서는 Dall-E의 수학적인 개념(ELB, KL 등)은 제외하고 컨셉에 대해서만 기술하였습니다. High-level idea Transformer를 활용하여 Text2Img를 Auto-regressive하게 모델링 한다. 이렇게 한다고 자연어로 통제 가능할까? → 데이터로 해결하자. 2억 5천만개의 이미지-텍스트 쌍에대해서 학습했다. 모델이 2억 5천만개를 학습할만한 구조를 갖고 있는가? → 120억개의 파라미터를 가지고있다. Motivation & Contribution 텍스트-이미지 생성은 전통적으로 고정 데이터 세트에 대해 더 나은 모델링을 찾는 데 초점을 맞췄다 → 이러한 시도들은 구조를 복잡하게 만들고, 손실함수를 덕지덕지 붙이고, segment mask와 같은 부차적인 정보들을 사.. 2022.07.01

• 

  [논문리뷰] CoCa: Contrastive Captioners are Image-Text Foundation Models CoCa: Contrastive Captioners are Image-Text Foundation Models 개요 BERT와 같은 사전학습된 large-scale pretrained foundation models 기반으로 자연어처리 분야에서 괄목할 발전을 이루어 냈습니다. 최근에는 CV에서도 문제를 해결해나가고 있습니다. CoCa에서는 비전분야에서 적용할 수 있는 foundation models을 제안합니다. 해당 모델은 Representation learning에서 효과적인 성과를 내었던 Contrastive loss와 멀티모달 모델을 위한 Captioning loss를 적용하였습니다. 이렇게 훈련시킨 CoCa 모델은 CV 분야에서 다양한 Task(datasets)에 대해서 SOTA를 달성하였습니다.. 2022.06.06

• 

  인공지능이 만드는 폰트 [ HAN2HAN : Hangul Font Generation] 인공지능이 만드는 폰트 HAN2HAN : Hangul Font Generation 서대문형무소서 보낸 서신 위 그림은 이연호 선생님이 서대문 형무소에서 보낸 서신을 '그새 학교잘 다니냐','나는 잘있다' 두 문장을 발췌하여 폰트를 생성한 예시글이다. 발췌한 문장에서 글자는 13글자이지만, '잘'과 '다'가 중복되어 사실 상 모델이 활용할 수 있는 글자는 11글자이다. 이연호 선생님 글씨체는 부드럽게 흘리는 것 같으면서도 깨끗한 느낌을 주는 것이 특징이다. 생성된 '8호 감방의 노래 '를 보면 그 특징이 잘 살아있는 것을 확인할 수 있다. 특히 초성에서는'ㅎ'과 'ㅇ'이 특징을 잘 살린 것을 확인 할 수 있고,중성 및 종성에서 'ㄹ'과 'ㄴ'받침또한 특징을 잘 잡았다고할 수 있다. 반면 초성 'ㄷ'는 흐려.. 2021.11.13

• 

  GAN에서의 미분 (Pytorch) GAN에서의 미분 (Pytorch) https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html Pytorch에서 제공하는 DCGAN Tutorial에서 훈련스텝은 아래 코드와같다. for epoch in range(num_epochs): # For each batch in the dataloader for i, data in enumerate(dataloader, 0): ############################ # (1) Update D network: maximize log(D(x)) + log(1 - D(G(z))) ########################### ## Train with all-real batch netD.zero.. 2021.10.13