https://milknocandy.github.io/tags/masked-image-modeling/ Recent content in Masked Image Modeling on PaperMoon's blog https://milknocandy.github.io/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E https://milknocandy.github.io/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E Hugo -- 0.154.3 en Mon, 23 Mar 2026 12:29:32 +0800 https://milknocandy.github.io/posts/2025-08-28-spark/ Thu, 28 Aug 2025 20:47:43 +0800 https://milknocandy.github.io/posts/2025-08-28-spark/ <blockquote> <p>SparK：<a href="https://github.com/keyu-tian/SparK">Designing Bert for Convolutional Networkss: Sparse and Hierarchical Masked Modeling</a> (ICLR 2023 Spotlight)</p> <p>论文介绍：<font style="color:rgb(38, 38, 38);"></font><a href="https://www.bilibili.com/video/BV11s4y1M7qL/">https://www.bilibili.com/video/BV11s4y1M7qL/</a></p> </blockquote> <p>Bert算法是遮住数据的一部分，用模型去进行预测，达到一个自监督学习的效果。迁移到图像领域中的视觉Transformer的工作比如MAE，但是直接将Transformer替换为卷积网络则出现问题。如下图，zero-outing表示直接替换：</p> <!-- 这是一张图片，ocr 内容为：HIERARCHY APE MASKING EPOCH METHOD STD. LOSS ACC. 83.1 -1.0 NOT PRETRAINED 0.07 SPARK(OURS) 84.1 2 0.0 MASKED ONLY 1600 SPARSE X 3 83.2 0.06 ZERO-OUTING 1600 -0.9 MASKED ONLY ZERO-OUTING --> <p> <figure > <img src="fig1.png" alt="" /></figure></p> <p>可以看到只有0.1个点的提升，是完全无效的。下面是作者的分析。</p> <h2 id="为什么失败">为什么失败？</h2> <h3 id="问题1pixel-intensity-distribution-shift">问题1：Pixel Intensity Distribution Shift</h3> <p>Transformer在处理patches时，只要保证是随机删去一些patches，可以保证删除的patches和图像的像素分布是一致的。而卷积神经网络则不能删去一些像素，只能是将一些像素“涂黑”来模拟丢失这部分像素的信息。</p> <!-- 这是一张图片，ocr 内容为：CNN SPARSE CNN TRANSFORMER ENCODING PROCESS: PIXEL INTENSITY DATA DISTRIBUTION MA PROBABILITY BEFORE/AFTER MASKING: (A)DIRECTLY DROPPING (C)SPARSELY DROPPING (B)ZERO-OUTING (D) RAW INPUT --> <p> <figure > <img src="fig2.png" alt="像素分布。横轴是像素强度，纵轴是像素出现的频率" /><figcaption> <span class="auto-fig-title">像素分布。横轴是像素强度，纵轴是像素出现的频率</span> </figcaption></figure></p>