본문 바로가기

CV 논문리뷰/Mutual Learning, Distillation

(3)
[RAL 2023] CEKD Cross-Modal Edge-Privileged Knowledge Distillation for Semantic Scene Understanding Using Only Thermal Images 안녕하세요. 오늘 리뷰할 논문은 제가 요즘 관심있게 보고있는 분야의 논문이 RAL에 투고되어 읽게 되었습니다. 열화상만을 가지고 Segmentation을 진행하는 task인데, 거기에 Thermal의 단점을 보완하기 위한 여러 기법들이 적용된 것이죠. 결과부터 말하자면 본 논문을 읽고 막 엄청나게 fancy 하다는 느낌을 받지는 못했습니다. 뭔가 이것저것 붙인거 같은 느낌이 조금 들었기 때문이죠.(개인적인 견해일 수 있습니다) 아무튼 본격적으로 리뷰 시작하도록 하겠습니다. 1. Introduction Semantic Segmentation은 자율주행 or medical 등의 분야에서 scene understanding을 위해 많이 연구되고 있는 분야입니다. 또한 이러한 결과들은 path planning,..
[CVPR 2022] Cross-Image Relational Knowledge Distillation for Semantic Segmentation 1. Introduction Computer Vision 분야에서 Semantic Segmentation task는 매우 활발하게 연구가 진행되고 있습니다. 요즘 대표적으로 높은 성능을 달성하는 모델로는 DeepLab, PSPNet, HRNet 과 같은 CNN기반의 모델 뿐 아니라, transformer 구조를 기반으로 한 모델도 많이 존재하죠. 하지만 이렇게 높은 성능을 달성하는 모델들은 computational cost가 매우 비싸다는 치명적 단점이 존재합니다. 그렇기 때문에 real-world나 mobile device에 해당 모델들을 사용하는데에는 한계가 존재하죠. 그래서 최근 연구들은 Knowledge Distillation (이하 KD) 방식을 사용하게 됩니다. (사실 '최근' 이라고 표현하기..
[arXiv 2021] Robust Mutual Learning for Semi-supervised Semantic Segmentation 오늘 작성 할 논문은 Robust Mutual Learning for Semi-supervised Semantic Segmentation 라는 논문입니다. 2021년에 arXiv에 나온 이후로 다른 학회나 저널에 투고된 기록이 없는것으로 보아 제출을 하지 않은걸까요? 흠이 존재하는 논문일까요?? 흠,, 이에 대해서 잘은 모르겠네요. 뭐 아무튼 리뷰 시작하도록 하겠습니다. 본 논문은 Semi-Supervised 상황에서의 Semantic Segmentation을 수행합니다. 다들 아시겠지만, Semi-Supervised란 Labeled data와 Unlabeled data를 함께 사용해서 모델을 학습시키는 방식이죠. (보통 한정된 규모의 Labeled data와 대규모의 Unlabeled data를 함께 ..