학부/논문 리뷰 (9) 썸네일형 리스트형 Learning to Prompt for Vision-Language Models (CoOp 논문 리뷰) [논문 링크]https://arxiv.org/pdf/2109.01134 이번 논문은 Prompt learning과 관련된 논문을 리뷰하고자 한다."CoOp"라고 많이들 알고 있을텐데, prompt를 learnable paramter로 설정하여 class에 맞는 알맞은 prompt를 자동으로 학습할 수 있도록 만드는 것을 의미한다. 크게 어려운 내용은 없었던 것 같다.키워드는 읽는 데에 도움이 되는 정도로만 가볍게 참고하자. Keyword: CoOp pipeline, learnable prompt vectors Abstract" data-ke-type="html">HTML 삽입미리보기할 수 없는 소스CLIP과 같은 large pre-trained vision-language model은 다양한 dow.. Language Models are Few-Shot Learners (GPT-3 논문 리뷰) [논문 링크] https://arxiv.org/pdf/2005.14165.pdf 이번엔 GPT-3 논문에 대해서 리뷰 해보고자 한다. 이미 GPT라는 모델은 굉장히 유명해졌으며, 어떻게 보면 전 세계적으로 AI라는 분야를 널리 알린 논문이 아닐까 생각한다. GPT 논문 시리즈는 처음부터 하나씩 읽어보면 좋은데, GPT-3는 이전 논문들과 어떤 차이 점이 있는 지를 생각해보면서 읽어보면 좋다. 이 논문을 읽은 후기를 먼저 말씀 드리자면, 테크니컬한 접근보다 리소스를 키운 접근 방법으로 모델의 성능을 향상 시킨 것이 주된 내용인 것 같았다. 키워드는 가볍게 참고만 하자. Keyword: Zero-shot, One-shot, Few-shot learning HTML 삽입 미리보기할 수 없는 소스 NLP 모델이.. Learning Transferable Visual Models From Natural Language Supervision (CLIP 논문 리뷰) CLIP 모델을 제시한 논문으로 유명한 "Learning Transferable Visual Models From Natural Language Supervision" 논문을 읽어보고자 한다. 이미 예전에 읽었었고, 최근에는 다른 모델들도 많이 나오고 있지만 기본부터 하나씩 다시 다지자는 의미에서 리뷰한 내용들을 공유하고자 한다. Keyword는 가볍게 참고만 해보자! Keyword : CLIP architecture, CLIP training loss, CLIP training dataset [논문 링크] https://arxiv.org/pdf/2103.00020.pdf HTML 삽입 미리보기할 수 없는 소스 meta data : data 안에서 원하는 정보를 효율적으로 찾을 수 있도록, 구조화된 데이.. BLIP-Diffusion: Pre-trained Subject Representation for Controllable Text-to-Image Generation and Editing 논문 리뷰 공통 스터디를 위해서 읽은 논문들을 가볍게 정리하고자 한다. 이번에는 BLIP diffusion model이며, CLIP-diffusion을 이어 BLIP 모델을 활용한 버전인 것 같다. 아직 BLIP에 대한 논문을 자세하게 읽어보지 않아서, 추후 BLIP 논문도 리뷰해볼 예정이다. [논문 링크] https://arxiv.org/pdf/2305.14720.pdf HTML 삽입 미리보기할 수 없는 소스 그래도 가볍게 알아보고 넘어가면 좋을 것 같아서 정리해보았다. BLIP-2 : Vision-language interaction을 위한 deep learning model image와 text간의 상호작용을 이해하고, 이를 바탕으로 vision-language task 수행 multimodal 모델이며 la.. Denoising Diffusion Probabilistic Models (DDPM) 논문 리뷰 최근, generative model에서 가장 많이 사용되고 있는 diffusion model을 다루게 되면서 가장 기초적인 diffusion model부터 공부를 하기 시작했다. 새로 들어간 랩실에서 감사하게도 diffusion 스터디가 열려서 수식 유도와 함께 논문 내용들을 살펴보고자 한다. [논문링크] https://arxiv.org/pdf/2006.11239.pdf HTML 삽입 미리보기할 수 없는 소스 논문을 읽던 도중에 이해가 되지 않는 단어들이 많았다. 특히, 이쪽 분야의 논문을 읽으면서 느낀 점들은 우리가 실제로 사용하는 영어 단어와 의미가 조금 다르게 사용되는 용어들이 많다는 것이다. 그래서 단어에 대한 내용들을 미리 짚고 넘어가면 좋을 것 같아서, 논문을 읽다가 몰랐던 단어들에 대해 나.. Least Square Generative Adversarial Networks (LS-GAN) 논문 리뷰 CV 프로젝트 (2) - 논문 리뷰 2023.10.30 - [학부/논문 리뷰] - Generative Adversarial Nets (GAN) 논문 리뷰 지난 포스팅 때 봤던 GAN 모델은 사실 지금까지 많은 변화를 거쳐 온 모델이다. 그 중, 정말 간단한 modification만으로도 좋은 성능을 얻을 수 있었던 LS-GAN에 대한 논문 리뷰를 하고자 한다. 이 또한 CV 프로젝트의 일부였으며, GAN 모델과 관련된 지식을 얻기 위한 리뷰이다. [논문 링크] https://arxiv.org/pdf/1611.04076.pdf HTML 삽입 미리보기할 수 없는 소스 Abstract GANs을 이용한 unsupervised learning → 큰 성공 일반적인 GANs의 loss function = sigm.. Generative Adversarial Nets (GAN) 논문 리뷰 CV 프로젝트 (1) - 논문 리뷰 약 5개월의 장기 프로젝트로 CV분야의 DALL-E 모델을 선택했다. Generative model과 관련하여 최근에 굉장히 뜨고 있는 모델이며, 이들을 알기 위해서는 기본적인 CV의 generative model에 대한 지식이 필요할 것 같아서 논문 리뷰를 진행했다. [논문 링크] https://proceedings.neurips.cc/paper_files/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf I. Goodfellow et al., "Generative adversarial nets," in Advances in neural information processing systems, 2014, pp. .. [RoBERTa: A Robustly Optimized BERT Pretraining Approach] 논문 리뷰 RoBERT 논문 발표자로 선정되어 발표 준비를 하면서 리뷰한 내용들을 공유하고자 합니다. 논문 순서대로 읽을 예정이며, 원본 링크는 아래에 있습니다. https://arxiv.org/pdf/1907.11692.pdf Abstract Language Model (LM)은 많은 Performance의 gain이 있었지만, 여전히 task에 맞는 approach에는 조심스럽게 접근해야 한다. BERT는 훌륭한 pre-training 모델이지만 학습을 significantly undertraining했으며 그 영향이 각 모델에 어떻게 작용했는 지 알 수 없다. 따라서 우리는 hyperparamter를 조정하고 학습 방식을 발전시켜 SOTA를 달성했다. Introduction Self-Training metho.. 이전 1 2 다음
