전체 글 (159) 썸네일형 리스트형 [꼼꼼하게 논문 읽기]Continual Test-Time Domain Adaptation(2022) Abstract Test-time domain adaptation은 source pretrained model을 target domain에 source data 없이 adapt하는 것을 목적으로 합니다. 현존하는 연구는 주로 target domain이 static한 경우를 고려합니다. 그러나, real-world machine perception systems는 non-stationary 으로 동작하고 target domain distribution이 시간에 따라 지속적으로 변하죠. 현존하는 모델은 대게 self-training과 entropy regularization에 기반하는데 이런 non-stationary한 환경으로부터 어려움을 겪습니다. target domain에서 시간에따라 distribut.. RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1 발생 상황 cudstom data로 특정 network에서 학습시키고자 할때 발생한 에러 해결 방법 num_classes를 체크하고 그를 수정. 필자의 경우 9개의 classes를 예측해야했기 때문에 9개로 수정 [ 꼼꼼하게 논문 읽기 ]MobileInst: Video Instance Segmentation on th Mobile( 2023 ) Abstract video instance segmentation 을 위한 최근 연구들이 유망한 결과들에 도달했지만, 이 방법들은 real-time applications 에 적용하는 것을 아직도 어렵죠. (1) 많은 계산량과 memory cost 문제 (2) tracking objects를 하기 위해 복잡한 complicated heuristics 때문이죠. 이들 문제를 다루기 위해, 저자들은 MobileInst 를 제안하는 데, lightweight 하기 mobile-friendly한 framework인데 video instnace segmentation을 위한 framework이죠. 아 물론 mobile device에서요. 먼저, MobileInst는 mobile vision transformer를.. CSPNet 파헤치기 1 먼저 우리가 끝장을 봐야할 부분을 가지고 오고 내부에 있는 모든것을 뜯어보겠습니다. 어떤게 목표냐? 아래 코드에요 설명을 보자면 CSP base model이고 논문 링크를 첨부해놨네요. 기존 논문과는 다른 부분이 있는데 1x1 expansion conv를 다룬다네요. 목적은 간단함을 위해서고요. 뭐 보면서 시작해봅시다. class CSPNet(Backbone): """Cross Stage Partial base model. Paper: `CSPNet: A New Backbone that can Enhance Learning Capability of CNN` - https://arxiv.org/abs/1911.11929 Ref Impl: https://github.com/WongKinYiu/CrossSta.. [ 꼼꼼하게 논문 읽기 ]CSPNET: A NEW BACKBONE THAT CAN ENHANCE LEARNINGCAPABILITY OF CNN ( 2019 ) 원래 이렇게까지는 안하는데... csp를 구현해야할 부분이 있어서, 이번에는 논문 리뷰 후에 cspdarknet53 코드를 분석하는 시간을 가져볼게요..코드 분석은 다른 곳에 올릴 예정입니다. 최적화하는데 적용해야할 부분이 있어서 적용을 해보려고 합니다. 여튼 시작하시죠 Abstract Neural networks는 object detection같은 vision tasks 에서 믿을 수 없는 결과를 달성하게하는 SOTA approaches를 가능하게 해왔죠. 그러나, 이런 굉장한 성공은 omputiation resources에 의존적이죠. 이는 advanced technology를 appreciating하는 cheap devices를 가진 사람들에게 방해 요소였고요. 이 논문에서 저자들은 Cross St.. [꼼꼼하게 논문 읽기]EcoFormer: Energy-Saving Attentionwith Linear Complexity ( 2023 ) Abstract transformer는 deep learning을 위한 trasformative frameworks 죠. sequential data를 models하고 다양하고 광범위한 분야에서 remarkable performance를 달성했죠. 그런데, high computational and energy cost의 가 항상 문제죠. efficiency를 향상시키기 위해, popular choice는 models를 compress하는 것이죠. 이는 binarization을 통해 가능한데 floatingpoint values를 binary ones로 제한하죠. bitwise 연산이 상당히 cheap하기 때문에 resource consumption을 절약하기도하고요. 그렇지만, 현존하는 binarizat.. 개발자가 되기까지3 객관화가 먼저지 이번주는 숨을 돌릴수가 있어서 생각난 김에 좀 써야지. 내가 제일 먼저 했던 일은, 내 현 수준을 파악하는 것이었다. 어떻게? 간단하자나? 내 스펙으로 지원을 해보는 거였다. 또 운은 좋아서 수석 졸업을 했었고, ai 관련으로 이름뿐인 사업도 하지 않았던가? 등록된 특허도 가지고 있었고. 그래서 대기업부터 스타트업까지 다 지원해봤다. 내 지금의 스펙으로는 어디까지 갈 수 있을까가 궁금해서 말이지 ㅋㅋㅋㅋ 결과는 서류는 많이들 붙는데 면접에 가면 떨어지더라. 단골 질문이 뭐냐고? " 비전공자인데 할 수 있겠어요?? " 였다ㅋㅋㅋㅋㅋㅋ 앞의 질문들에 준비를 잘해가도 저 질문에 준비할게 뭐가 있겠는가?? " 잘할 수 있어요! " 이걸 포장해서 말하는거지. 하여튼 그 놈의 비전공자ㅋㅋㅋㅋㅋ대한민.. 개발자가 되기까지2 모르니까 도전해봐 거의 일년만에 2편을 쓰는것 같다. 뭐 일년동안이나 안썼나 싶긴한데 지금 쓰면되는 거니까. 뭐 해먹고 살지 막막하던 그 때, 뭐 해먹을지 모르겠으니까 창업을 해봐야겠다는 생각을 했다. 내가 잘하는게 무엇인지, 무엇을 할 수 있는지, 아무 기반 없는 사회 생활은 뭔지 궁금하더라. 대학생이 무슨 돈이 있겠는가? 대학생이 창업할 수 있는 길이란 생각보다 적다. 정보를 얻어야 무엇을 할게 아닌가? 그래서 학교 내부 프로그램부터 지원했다. 시작은 작고 소소하게, 그곳에서 정보를 얻다보니, 아 예비창업패키지에 선정되면 되겠구나 싶더라. 근데 나 생각해보니 혼자자나? 주변에 괜찮게 보았던 후배들에게 연락해서 팀을 만들었다. 당시가 19년 2학기 끝날 쯤이었고 20년 예비창업 패키지 접수가 3월 쯤이.. 이전 1 2 3 4 5 6 ··· 20 다음
