학부 (33) 썸네일형 리스트형 Learning to Prompt for Vision-Language Models (CoOp 논문 리뷰) [논문 링크]https://arxiv.org/pdf/2109.01134 이번 논문은 Prompt learning과 관련된 논문을 리뷰하고자 한다."CoOp"라고 많이들 알고 있을텐데, prompt를 learnable paramter로 설정하여 class에 맞는 알맞은 prompt를 자동으로 학습할 수 있도록 만드는 것을 의미한다. 크게 어려운 내용은 없었던 것 같다.키워드는 읽는 데에 도움이 되는 정도로만 가볍게 참고하자. Keyword: CoOp pipeline, learnable prompt vectors Abstract" data-ke-type="html">HTML 삽입미리보기할 수 없는 소스CLIP과 같은 large pre-trained vision-language model은 다양한 dow.. Language Models are Few-Shot Learners (GPT-3 논문 리뷰) [논문 링크] https://arxiv.org/pdf/2005.14165.pdf 이번엔 GPT-3 논문에 대해서 리뷰 해보고자 한다. 이미 GPT라는 모델은 굉장히 유명해졌으며, 어떻게 보면 전 세계적으로 AI라는 분야를 널리 알린 논문이 아닐까 생각한다. GPT 논문 시리즈는 처음부터 하나씩 읽어보면 좋은데, GPT-3는 이전 논문들과 어떤 차이 점이 있는 지를 생각해보면서 읽어보면 좋다. 이 논문을 읽은 후기를 먼저 말씀 드리자면, 테크니컬한 접근보다 리소스를 키운 접근 방법으로 모델의 성능을 향상 시킨 것이 주된 내용인 것 같았다. 키워드는 가볍게 참고만 하자. Keyword: Zero-shot, One-shot, Few-shot learning HTML 삽입 미리보기할 수 없는 소스 NLP 모델이.. Learning Transferable Visual Models From Natural Language Supervision (CLIP 논문 리뷰) CLIP 모델을 제시한 논문으로 유명한 "Learning Transferable Visual Models From Natural Language Supervision" 논문을 읽어보고자 한다. 이미 예전에 읽었었고, 최근에는 다른 모델들도 많이 나오고 있지만 기본부터 하나씩 다시 다지자는 의미에서 리뷰한 내용들을 공유하고자 한다. Keyword는 가볍게 참고만 해보자! Keyword : CLIP architecture, CLIP training loss, CLIP training dataset [논문 링크] https://arxiv.org/pdf/2103.00020.pdf HTML 삽입 미리보기할 수 없는 소스 meta data : data 안에서 원하는 정보를 효율적으로 찾을 수 있도록, 구조화된 데이.. BLIP-Diffusion: Pre-trained Subject Representation for Controllable Text-to-Image Generation and Editing 논문 리뷰 공통 스터디를 위해서 읽은 논문들을 가볍게 정리하고자 한다. 이번에는 BLIP diffusion model이며, CLIP-diffusion을 이어 BLIP 모델을 활용한 버전인 것 같다. 아직 BLIP에 대한 논문을 자세하게 읽어보지 않아서, 추후 BLIP 논문도 리뷰해볼 예정이다. [논문 링크] https://arxiv.org/pdf/2305.14720.pdf HTML 삽입 미리보기할 수 없는 소스 그래도 가볍게 알아보고 넘어가면 좋을 것 같아서 정리해보았다. BLIP-2 : Vision-language interaction을 위한 deep learning model image와 text간의 상호작용을 이해하고, 이를 바탕으로 vision-language task 수행 multimodal 모델이며 la.. Denoising Diffusion Probabilistic Models (DDPM) 논문 리뷰 최근, generative model에서 가장 많이 사용되고 있는 diffusion model을 다루게 되면서 가장 기초적인 diffusion model부터 공부를 하기 시작했다. 새로 들어간 랩실에서 감사하게도 diffusion 스터디가 열려서 수식 유도와 함께 논문 내용들을 살펴보고자 한다. [논문링크] https://arxiv.org/pdf/2006.11239.pdf HTML 삽입 미리보기할 수 없는 소스 논문을 읽던 도중에 이해가 되지 않는 단어들이 많았다. 특히, 이쪽 분야의 논문을 읽으면서 느낀 점들은 우리가 실제로 사용하는 영어 단어와 의미가 조금 다르게 사용되는 용어들이 많다는 것이다. 그래서 단어에 대한 내용들을 미리 짚고 넘어가면 좋을 것 같아서, 논문을 읽다가 몰랐던 단어들에 대해 나.. Nonparametric Methods (기계 학습 리뷰 7) 기계 학습 수업 리뷰 (7) - Nonparametric Methods Clustering에 이어, non-parameteric methods에 대해서 더 깊게 살펴보자. 우선 본 내용에 들어가기에 앞서, 간단하게 estimation의 3가지 way를 살펴보자. Parameteric (single global model) : 하나의 공통된 모델을 가정하고 estimation 하는 방법 Semiparametric (small number of local models) : 여러 개의 model을 가정하고 estimation 하는 방법 Nonparametric (Similar inputs have similar outputs) : 모델을 가정하지 않고, 비슷한 input이라면 비슷한 output을 도출해낸다는.. Attention score (Attention Mechanism) 딥러닝 과목을 공부하던 중, 예전부터 정말 많이 들어왔고 나도 꽤 잘 안다고 생각했던 attention에서 너무 많이 헤매고 있다가 드디어 어느정도 이해를 할 수 있어서 그 감을 잊지 않고자 티스토리를 급하게 켰다. HTML 삽입 미리보기할 수 없는 소스 NLP를 생각하면서 attention에 접근해보자. Attention mechanism이란, 실제 영어 단어의 뜻처럼 '문맥의 특정 부분에 집중'하는 메커니즘을 의미한다. A : 내일 몇시에 만날거야? B : 음... 나 밥도 먹고 청소도 하면 한 .. 오후 3시쯤 만나는 게 좋을 것 같은데? 이 예시에서 A의 질문에 필요한 대답은 '오후 3시'일 것이다. 안타깝게도, 컴퓨터는 이 문장을 다 보고 해석하려고 하기 때문에 쓸데없는 정보가 추가되기도 하고 .. Clustering (기계 학습 리뷰 6) 기계 학습 수업 리뷰 (6) - Clustering 지금까지는 어떤 분포를 가지고 있는 지 알고 있거나 예측한 상태로 estimation을 진행했기 때문에 parametric estimation이었다. 하지만 만약 데이터에 label이 없다면 어떤 방식을 사용할 수 있을까? 사실 현재 나와 있는 대부분의 데이터들은 label이 없는 형태이다. 일반적인 소설, 기사, 책, 이미지 데이터들은 label이 존재하지 않은 채 세상에 나온다. 우리는 supervised learning이 강력하다는 것을 알고 있으므로 해당 학습 방법을 쓰려고 하지만, 데이터와 label이 같이 존재하는 labeled data가 없기 때문에 난감한 경우가 많다. 그렇다고 일반적인 unlabeled data를 일일이 labeling할.. 이전 1 2 3 4 5 다음
