전체 글 (21) 썸네일형 리스트형 [논문읽기] Attention Augmented Convolutional Networks 1. Introduction CNN기법이 많이 쓰이고 있는데, global context를 파악하기에 어려움이 있다. Self-attention 은 hidden units의 weighted average value를 구하는 것인데, pooling 이나 convolutional operation과 다르게 weighted average value는 hidden units의 simularity를 계산하는 것으로 볼 수 있다. 이는 convolution 처럼 location의 영향을 받지 않으므로 parameter수의 인상 없이 Long-range interaction을 수행할 수 있다. 이 논문에서는 self-attention과 convolution을 모두 사용하여 multi-head의 결과와 기존 convo.. react-native 아이콘 충돌 해결 https://dlee0129.tistory.com/10 [React Native] react-native-vector-icons 사용법 및 문제해결 React Native react-native-vector-icons 사용법 및 문제해결 React Native 개발을 하다보면 아이콘을 사용해야 할 일이 당연히 생기게 되는데요, 이번에 icon 사용방법에 대해 설명드리겠습니다, icon을 사용하 dlee0129.tistory.com [논문읽기] DeepViT: Towards Deeper Vision Transformer 1. abstract can we further improve performance of ViTs by making it deeper, just like CNNs? figure 1. block 개수와의 연관성. block 수가 늘어난다고 무조건 향상하는 것은 아님. 32 layer의 경우 24layer보다도 적은 accuracy를 나타냄. 특정 layer개수를 지나면 값이 수렴하는 모습을 볼 수 있는데, 이를 attention colapse라고 부르기로 함. : ViT가 깊어지면, rich representation을 보기 위한 diverse attention이 필요하지 않게됨. : self-attention의 효과가 적어짐 이를 방지하기 위해 Re-attention 이라는 새로운 메커니즘 제안 : mu.. 이전 1 2 3 4 ··· 7 다음
