본문 바로가기

인공지능/CV12

[논문리뷰]CLIP : Learning Transferable Visual Models From Natural Language Supervision Motivation & Contribution 종래의 CV task들에 대해서는 사전에 정의된 category에 대해서만 훈련되어왔다. 이런 방법은 확장성이 적어 새로운 category에 대해서는 데이터를 새로 모아야 된다는 어려움이 있으며 일반성을 저해한다. CLIP은 웹 상에서의 Image-Text 쌍을 이용한 4억개 규모 데이터 셋을 활용하여 이미지의 caption으로 학습한다. 이를 통해 자연어로 통제가능한 멀티모달 모델을 가능하게 해 zero-shot이 가능해졌다. Approach Natural Language Supervision supervision learning이 가능하도록, 자연어 자체를 label로 두었다. 이 방법은 추가적인 labeling을 안해도 된다는 장점과 더불어 이미지와 텍.. 2022. 7. 1.
[논문리뷰]Dall-E : Zero-Shot Text-to-Image Generation 해당 페이지에서는 Dall-E의 수학적인 개념(ELB, KL 등)은 제외하고 컨셉에 대해서만 기술하였습니다. High-level idea Transformer를 활용하여 Text2Img를 Auto-regressive하게 모델링 한다. 이렇게 한다고 자연어로 통제 가능할까? → 데이터로 해결하자. 2억 5천만개의 이미지-텍스트 쌍에대해서 학습했다. 모델이 2억 5천만개를 학습할만한 구조를 갖고 있는가? → 120억개의 파라미터를 가지고있다. Motivation & Contribution 텍스트-이미지 생성은 전통적으로 고정 데이터 세트에 대해 더 나은 모델링을 찾는 데 초점을 맞췄다 → 이러한 시도들은 구조를 복잡하게 만들고, 손실함수를 덕지덕지 붙이고, segment mask와 같은 부차적인 정보들을 사.. 2022. 7. 1.
[논문리뷰] CoCa: Contrastive Captioners are Image-Text Foundation Models CoCa: Contrastive Captioners are Image-Text Foundation Models 개요 BERT와 같은 사전학습된 large-scale pretrained foundation models 기반으로 자연어처리 분야에서 괄목할 발전을 이루어 냈습니다. 최근에는 CV에서도 문제를 해결해나가고 있습니다. CoCa에서는 비전분야에서 적용할 수 있는 foundation models을 제안합니다. 해당 모델은 Representation learning에서 효과적인 성과를 내었던 Contrastive loss와 멀티모달 모델을 위한 Captioning loss를 적용하였습니다. 이렇게 훈련시킨 CoCa 모델은 CV 분야에서 다양한 Task(datasets)에 대해서 SOTA를 달성하였습니다.. 2022. 6. 6.
인공지능이 만드는 폰트 [ HAN2HAN : Hangul Font Generation] 인공지능이 만드는 폰트 HAN2HAN : Hangul Font Generation 서대문형무소서 보낸 서신 위 그림은 이연호 선생님이 서대문 형무소에서 보낸 서신을 '그새 학교잘 다니냐','나는 잘있다' 두 문장을 발췌하여 폰트를 생성한 예시글이다. 발췌한 문장에서 글자는 13글자이지만, '잘'과 '다'가 중복되어 사실 상 모델이 활용할 수 있는 글자는 11글자이다. 이연호 선생님 글씨체는 부드럽게 흘리는 것 같으면서도 깨끗한 느낌을 주는 것이 특징이다. 생성된 '8호 감방의 노래 '를 보면 그 특징이 잘 살아있는 것을 확인할 수 있다. 특히 초성에서는'ㅎ'과 'ㅇ'이 특징을 잘 살린 것을 확인 할 수 있고,중성 및 종성에서 'ㄹ'과 'ㄴ'받침또한 특징을 잘 잡았다고할 수 있다. 반면 초성 'ㄷ'는 흐려.. 2021. 11. 13.
GAN에서의 미분 (Pytorch) GAN에서의 미분 (Pytorch) https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html Pytorch에서 제공하는 DCGAN Tutorial에서 훈련스텝은 아래 코드와같다. for epoch in range(num_epochs): # For each batch in the dataloader for i, data in enumerate(dataloader, 0): ############################ # (1) Update D network: maximize log(D(x)) + log(1 - D(G(z))) ########################### ## Train with all-real batch netD.zero.. 2021. 10. 13.
YOLOv3를 이용한 턱스크찾기 프로젝트 YOLOv3를 이용한 턱스크찾기 프로젝트 마스크 / 턱스크 / 마스크를 쓰지않은사람을 찾아내고 분류하기 소개 실시간으로 마스크 쓴 사람과 쓰지 않은 사람을 구분할 수 없을까하는 생각에 이 프로젝트를 진행하고 되었고, 마스크를 제대로 쓰지 않은 사람까지 구별해 보자가 이 프로젝트의 목표입니다. 방법은 이미지에서 사람의 얼굴이 어디 있는지 탐지하고 그 다음에 분류를 하면 될 거라고 생각했습니다. 저는 마스크를 쓴 사람을 0 마스크를 제대로 쓰지 않은 사람을 1 마스크를 쓰지 않은 사람은 2로 분류했습니다. 그리고 이 분류가 초당 30장씩 가능하다면 실시간으로 가능하겠죠 사용한 알고리즘과 환경 그래서 객체탐지에서 매우 빠르고 정확하다는 욜로라는 알고리즘을 사용했고, 코랩 기반으로 진행했습니다. 기존에 학습된 .. 2021. 5. 1.
객체탐지 (Object Detection) 2. YOLO !! (v1~v3) 객체탐지 (Object Detection) YOLO !! (v1~v3 간단리뷰) YOLO Joseph Redmon에 의해 개발된 YOLOv3는 Github에서 다크넷을 클론해서 쓰는 방식으로 굉장히 편리하게 사용할 수 있습니다. 구글 코랩에서도 쉽게 작동합니다. YOLO가 정확하면서도 빠르다보니 군사목적으로 많이 사용이 되었는데, 이 때문에 더 이상 CV를 멈추신다는 글을 남기셨습니다. 논문도 굉장히 재밌고 유머러스하게게 쓰시던 분이었는데 안타깝습니다. YOLO는 Alexey라는 분이 이어서 개발을 진행중이시고 이후에 나온 욜로도 성능이 굉장히 뛰어납니다. Github보시면 포크된 것을 볼 수 있고, v4는 이 곳에 업데이트 되어 있습니다. 물론 v3로 함께 사용할 수 있습니다. YOLO v1 YOLO에.. 2021. 5. 1.
객체탐지 (Object Detection) 1. YOLO 이전 까지 흐름 객체탐지 (Object Detection)YOLO 이전 까지 흐름 컴퓨터 비전의 과제 컴퓨터 비전의 과제는 크게 세 가지로 볼 수 있습니다. Classification(분류)과 Object Detection(객체탐지), Instance Segmentation입니다. 예를 들어 Classification은 고양이사진을 받았을 때 컴퓨터가 이게 고양인지 아닌지 분류할 수 있어야 하고, Object Detection은 Classification과 Localization이 합쳐진 개념인데 고양이가 어디에 위치해 있는지 알아낼수있어야합니다. 마지막으로 Instance Segmentation은 사실상 궁극적인 형태로 개를 개의 형태로 개라고 인지할 수 있어야합니다. 이 포스트에서는 Object Detection의 .. 2021. 5. 1.
MASK RCNN 실행시 버전오류 https://github.com/matterport/Mask_RCNN matterport/Mask_RCNN Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow - matterport/Mask_RCNN github.com MASK RCNN에서 실습을 위해 위 레포를 클론하였습니다. 환경은 Colab입니다. 코랩에서 git clone을 했을때의 화면입니다. 루트 디렉토리를 코랩환경에 맞게 다시 설정해주어야 합니다. 루트디렉토리가 맞지 않으면 모듈을 불러올 수 없습니다. 모델을 객체화하는데 문제가 생겼습니다. tensorflow에는 log라는 속성이 없습니다. 1년전에 작성된 레포이기때문에 버전문제라고 짐작할 수 .. 2021. 4. 20.
[CODE] EfficientNetB7 5.EfficientNetB7 ## Import import numpy as np import tensorflow as tf from tensorflow.keras.datasets import cifar100 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten from tensorflow.keras.layers import Conv2D, MaxPooling2D, BatchNormalization from tensorflow.keras.utils import to_categorical from tensorflow.keras.preprocessing.image impor.. 2021. 4. 10.
[CODE] VGG19 4. VGG19 ## import import numpy as np import keras import tensorflow as tf from tensorflow.keras.datasets import cifar100 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten from tensorflow.keras.layers import Conv2D, MaxPooling2D, BatchNormalization from tensorflow.keras.utils import to_categorical from tensorflow.keras.preprocessing.image .. 2021. 4. 10.
[CODE] ANN, K-fold CV, CNN 1. ANN ## Load Data from sklearn.model_selection import train_test_split X=df y=df_label.replace(2,0) X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.3, random_state=42) ## Build model import tensorflow as tf from tensorflow.keras.metrics import Precision, Recall model = tf.keras.models.Sequential([ tf.keras.layers.Dense(12, input_dim=69, activation='relu'), tf.keras.layers... 2021. 4. 10.

티스토리툴바