분류 전체보기 (52) 썸네일형 리스트형 Denoising Diffusion Implicit Models (DDIM) 논문 리뷰 앞서 DDPM에 대한 논문을 살펴보았다. 2024.01.20 - [학부/논문 리뷰] - Denoising Diffusion Probabilistic Models (DDPM) 논문 리뷰 Denoising Diffusion Probabilistic Models (DDPM) 논문 리뷰 최근, generative model에서 가장 많이 사용되고 있는 diffusion model을 다루게 되면서 가장 기초적인 diffusion model부터 공부를 하기 시작했다. 새로 들어간 랩실에서 감사하게도 diffusion 스터디가 열려서 tjddms9376.tistory.com DDPM도 충분히 혁신적인 모델이었지만, T=1000이라면 이미지 생성을 위해 1000단계의 time-step을 밟아야 할 필요가 있었다. 즉,.. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT 논문 리뷰) AGI foundation model에 관련된 스터디를 진행하면서, AI 전공자라면 이제는 기본적으로 알아야 하는 모델들에 대한 논문들을 함께 읽기 시작했다. 나도 많은 모델들을 알고만 있었지, 어떤 방식으로 작동하고 어떤 약점이 있고 어떤 강점이 있는 지에 대해서는 paper review를 자세하게 진행해보지 않았기 때문에 기초부터 다진다는 생각에 논문을 하나씩 읽어 나가고 있다. 이번 시간에는 NLP 분야에서 정말 많이 사용되는 transformer를 vision 분야에서 성공시킨 ViT에 대한 논문이다. NLP에서 transformer가 나오기 시작하면서 LLM에 대한 발전이 시작됐다고 생각한다. 한 분야에서 정말 강한 모델을 만들 수 있는 구조가 나오면서 그 당시, vision 분야를 연구하던 사.. Denoising Diffusion Probabilistic Models (DDPM) 논문 리뷰 최근, generative model에서 가장 많이 사용되고 있는 diffusion model을 다루게 되면서 가장 기초적인 diffusion model부터 공부를 하기 시작했다. 새로 들어간 랩실에서 감사하게도 diffusion 스터디가 열려서 수식 유도와 함께 논문 내용들을 살펴보고자 한다. [논문링크] https://arxiv.org/pdf/2006.11239.pdf HTML 삽입 미리보기할 수 없는 소스 논문을 읽던 도중에 이해가 되지 않는 단어들이 많았다. 특히, 이쪽 분야의 논문을 읽으면서 느낀 점들은 우리가 실제로 사용하는 영어 단어와 의미가 조금 다르게 사용되는 용어들이 많다는 것이다. 그래서 단어에 대한 내용들을 미리 짚고 넘어가면 좋을 것 같아서, 논문을 읽다가 몰랐던 단어들에 대해 나.. Nonparametric Methods (기계 학습 리뷰 7) 기계 학습 수업 리뷰 (7) - Nonparametric Methods Clustering에 이어, non-parameteric methods에 대해서 더 깊게 살펴보자. 우선 본 내용에 들어가기에 앞서, 간단하게 estimation의 3가지 way를 살펴보자. Parameteric (single global model) : 하나의 공통된 모델을 가정하고 estimation 하는 방법 Semiparametric (small number of local models) : 여러 개의 model을 가정하고 estimation 하는 방법 Nonparametric (Similar inputs have similar outputs) : 모델을 가정하지 않고, 비슷한 input이라면 비슷한 output을 도출해낸다는.. Attention score (Attention Mechanism) 딥러닝 과목을 공부하던 중, 예전부터 정말 많이 들어왔고 나도 꽤 잘 안다고 생각했던 attention에서 너무 많이 헤매고 있다가 드디어 어느정도 이해를 할 수 있어서 그 감을 잊지 않고자 티스토리를 급하게 켰다. HTML 삽입 미리보기할 수 없는 소스 NLP를 생각하면서 attention에 접근해보자. Attention mechanism이란, 실제 영어 단어의 뜻처럼 '문맥의 특정 부분에 집중'하는 메커니즘을 의미한다. A : 내일 몇시에 만날거야? B : 음... 나 밥도 먹고 청소도 하면 한 .. 오후 3시쯤 만나는 게 좋을 것 같은데? 이 예시에서 A의 질문에 필요한 대답은 '오후 3시'일 것이다. 안타깝게도, 컴퓨터는 이 문장을 다 보고 해석하려고 하기 때문에 쓸데없는 정보가 추가되기도 하고 .. 코딩 테스트 준비 (동빈나님의 이코테 강의 리뷰3) 동빈나님의 이코테 강의 몰아보기 3번째 시간이다. 본격적인 코딩 테스트 하루 전이었고, 나는 이 내용들을 마지막으로 다음날 바로 코딩테스트를 보러 갔었다. 이 내용을 정리하고, 마지막에 코딩테스트 결과에 대해서 이야기하도록 하자. 참고로 코딩테스트를 치룬 이유는 LG CNS의 채용연계형 인턴십때문이었다. HTML 삽입 미리보기할 수 없는 소스 서로소 집합 자료구조 서로소 부분 집합들로 나누어진 원소들의 데이터를 처리하기 위한 자료구조이다. 서로소 집합 자료구조는 두 종류의 연산을 지원한다. 합집합 (Union) : 두 개의 원소가 포함된 집합을 하나의 집합으로 합치는 연산 찾기 (Find) : 특정 원소가 속한 집합이 어떤 집합인지 알려주는 연산 따라서, 서로소 집합 자료구조는 합치기 찾기 (Union .. 코딩 테스트 준비 (동빈나님의 이코테 강의 리뷰2) 2023.11.26 - [학부/코딩테스트 준비] - 코딩 테스트 준비 (동빈나님의 이코테 강의 리뷰1) 코딩 테스트 준비 (동빈나님의 이코테 강의 리뷰1) 어쩌다보니 인턴십을 준비하면서 코딩 테스트 일정이 잡히게 되었다. 나한테 주어진 시간은 3일밖에 없었기 때문에 어떻게 코딩 테스트를 준비할까하다가 티스토리에 글을 작성하면서 이코테 tjddms9376.tistory.com 정렬 알고리즘에 이어 이번엔 다이나믹 프로그래밍부터 강의를 듣기 시작했다. 다시 한번 말하지만 이 정리본은 동빈나님의 이코테 강의를 리뷰한 것이며 내 방식대로 간단하게 정리한 것이라 한번 강의를 본 사람들이 가볍게 정리하기 좋을 것 같다. HTML 삽입 미리보기할 수 없는 소스 메모리를 적절히 사용하여 수행 시간 효율성을 비약적으로 .. TypeError: stat: path should be string, bytes, os.PathLike or integer, not NoneType 오류 해결 (transformers pipeline) 별거 아닌거에도 오랜 시간을 투자해서 오류를 잡아냈는데, 이런 것들이 경험이겠지만서도 나와 같은 실수를 오랫동안 붙잡고 있는 사람들이 많이 없길 바라는 마음에 오류 해결을 할 때마다 하나씩 올리기 위해서 카테고리를 정리해뒀다. HTML 삽입 미리보기할 수 없는 소스 Transformers package 안에는 pipeline이라는 모듈이 존재한다. pipeline을 사용하면 huggingface에서 모델명만 가지고 와도 손쉽게 이용할 수 있다. 하지만 가끔 huggingface에서 가져온 모델을 로컬로 다운 받아서 돌려야 할 때가 있다. 그럴 때는 pipeline을 조금 다르게 사용해줘야 한다. from transformers import pipeline nlp1 = pipeline('question-a.. 이전 1 2 3 4 5 ··· 7 다음
