본문 바로가기
반응형

분류 전체보기

 (158)
[꼼꼼하게 논문 읽기] A comprehensive Survey on Transfer Learning 3 안녕하세요, WH입니다. 오늘은 저번 글에 이어서 data-based interpretation부터 시작할게요 잠깐 이번 논문을 왜 읽어야 하는가에 대해 언급하고 넘어가겠습니다. 최근 리뷰하는 논문들은 대게 최신 논문이지만 해당 논문은 19년도 논문으로 최신 논문이라 하기 어렵죠 그럼에도 현업에서 일을 하다보면, 모델을 만드는 아이디어도 중요하지만 어떻게 학습을 시키느냐 역시 매우 중요합니다. 따라서 모델을 학습 시키는 데에 통찰력을 얻기 위해 필요한 논문이라고 생각이 드네요 2022.06.21 - [AI 논문] - [꼼꼼하게 논문 읽기] A comprehensive Survey on Transfer Learning 2 [꼼꼼하게 논문 읽기] A comprehensive Survey on Transfer..
[꼼꼼하게 논문 읽기] A comprehensive Survey on Transfer Learning 2 안녕하세요, WH입니다. 오늘은 저번 글에 이어서 related work 부터 시작할게요 2022.06.17 - [AI 논문] - [꼼꼼하게 논문 읽기]A Comprehensive Survey on Transfer Learning 1 ( 2019 ) [꼼꼼하게 논문 읽기]A Comprehensive Survey on Transfer Learning 1 ( 2019 ) 안녕하세요, WH입니다 오늘은 transfer learning에 대한 논문을 읽어보고자 합니다. 함께 보시죠 Abstract transfer learning은 source domain과 관련 있지만 다른 것이 포함된 지식을 전이함으로써 target domain.. developer-wh.tistory.com Related Work Semi-..
[꼼꼼하게 논문 읽기]A Comprehensive Survey on Transfer Learning 1 ( 2019 ) 안녕하세요, WH입니다 오늘은 transfer learning에 대한 논문을 읽어보고자 합니다. 함께 보시죠 Abstract transfer learning은 source domain과 관련 있지만 다른 것이 포함된 지식을 전이함으로써 target domain에서 target learner( model 이 되겠죠 )의 성능을 향상을 목적으로 합니다. 이런 방식으로 target learner를 만드는 데 있어 target domain data의 방대한 양에 대한 의존도가 줄어들 수 있습니다. 광범위한 적용이 예상되기 때문에, transfer learning은 기계 학습에서 인기가 있어 왔고, 유망한 분야가 되어왔습니다. 비록 transfer learning에 관한 가치 있고 인상 깊은 survey들이 있지..
[꼼꼼하게 논문 읽기] Multiscale Vision Transformers 1 안녕하세요. WH입니다 오늘 리뷰해볼 논문은 2021 facebook에서 나온 논문인데요 Multiscale Vision transformers라는 논문입니다. 항상 해왔던 것 처럼 Related work까지 다루도록 할게요 Abstract MViT을 출시했다고 말을 하고 있는데요, 22년 구글 논문을 보시면 알겠지만 ( 22년이 더 최신이니까 말이 안맞긴하지만 여튼 ) multiscale을 적용했을 때, 더욱 성능이 좋았다고 했죠? 그럼 이것도 성능이 좋겠습니다만 보도록 하죠. 22년 구글에서 발표한 논문과 다른 점은, 계층 구조를 사용했다는 점이네요. spatial resolution을 감소시키는 반면에 계층적으로 채널을 확장시킨다고 하네요. 이 계층구조는 multiscale의 피라미드 feature..
[꼼꼼하게 논문 읽기] MTV :Multiview Transformers for video recognition 2 ( 2022 ) 안녕하세요 WH입니다. 지난 글에 이어 이번에는 모델에 대해 알아보도록 하겠습니다 지난 글이 궁금하시면 아래 글을 참조해주세요 2022.05.31 - [AI 논문] - [꼼꼼하게 논문 읽기] MTV :Multiview Transformers for video recognition 1 ( 2022 ) [꼼꼼하게 논문 읽기] MTV :Multiview Transformers for video recognition 1 ( 2022 ) 안녕하세요! WH입니다 오늘은 최신 논문을 다뤄볼까합니다 올해 google에서 나온 논문이죠? 시작해 볼게요. 누군가는 논문을 읽을 때 왜 굳이 introduction과 related work을 읽냐고 물어봅니다 간단합니 developer-wh.tistory.com Multivi..
[꼼꼼하게 논문 읽기] MTV :Multiview Transformers for video recognition 1 ( 2022 ) 안녕하세요! WH입니다 오늘은 최신 논문을 다뤄볼까합니다 올해 google에서 나온 논문이죠? 시작해 볼게요. 누군가는 논문을 읽을 때 왜 굳이 introduction과 related work을 읽냐고 물어봅니다 간단합니다. trend를 알 수 있고, 놓치고 있는 부분에 대해 찾아볼 수 있는 기회를 마련할 수 있기 때문이죠 역시 Abstract 부터 Related work까지 다루고 다음 파트에서 핵심이 되는 MTV에 대해 다루도로록 하겠습니다 그런데 이글을 읽기 전에 vivit관련 글을 읽고 오시면 더욱 도움이 될 것같아요 2022.05.30 - [AI 논문] - [ 꼼꼼하게 논문 읽기 ] VITVIT : video vision transformer 2 Abstract vidoe understandin..
[ 꼼꼼하게 논문 읽기 ] VITVIT : video vision transformer 2 안녕하세요 WH입니다. 앞 글에서는 related work까지 다루어 보았죠? 2022.05.30 - [AI 논문] - [ 꼼꼼하게 논문 읽기 ] ViViT : A Video Vision Transformer 1 [ 꼼꼼하게 논문 읽기 ] ViViT : A Video Vision Transformer 1 안녕하세요. WH입니다. 오늘 논문은 goole에서 21년에 발표한 vivit라는 논문인데요, 함께보시죠. 내용 요소는 문단별 요약 그리고 한줄 요약으로 구성하겠습니다. 이게 쓰다보니까 너무 길어질거 developer-wh.tistory.com 거두절미하고 vision transformer 요약부터 이어나가도록 하겠습니다. 이번 글은 문단별로 읽고 그대로 옮기는 것보다 해당 문단을 독해가 아닌 해석하도록..
[ 꼼꼼하게 논문 읽기 ] ViViT : A Video Vision Transformer 1 안녕하세요. WH입니다. 오늘 논문은 goole에서 21년에 발표한 vivit라는 논문인데요, 함께보시죠. 내용 요소는 문단별 요약 그리고 한줄 요약으로 구성하겠습니다. 이게 쓰다보니까 너무 길어질거 같아 파트를 나누어 다루겠습니다. 우선 파트 1은 Abstract - Related work까지 다룰게요 Abstract 이 부분에서는, 순수 transfomer로 구성된 비디오 classification model을 제시한다고 말하고 있습니다. 특징으로는 공간적 시간적 token을 input video가 transfomer layer를 통과하며 추출되고, 그렇게 추출된 긴 token을 효과적으로 다루기 위해 시간적 정보와 공간적 정보를 가지는 dimension을 factorise하는 겁니다. 또한 tran..

티스토리툴바