ViTなどのComputer Vision分野へのTransformerの導入は強力なアプローチである一方で、Transformerをそのまま用いる場合は局所相関を生かせないなどの課題があります。当記事ではViTに畳み込 … 続きを読む 【CvT論文まとめ】畳み込みとMultiHead Attentionの対応