技术深度解析
VMamba的架构是对Mamba状态空间模型（Gu & Dao, 2024）在二维图像领域的一次精心适配。核心挑战在于：Mamba原本处理一维序列，通过一个压缩上下文的隐藏状态逐个处理token；而图像本质上是具有复杂空间依赖关系的二维网格。VMamba团队通过2D选择性扫描（SS2D）模块解决了这一问题。
SS2D机制： 该模块接收一个二维特征图，并沿四条不同的遍历路径将其展平：
- 路径1：行主序从左到右，从上到下
- 路径2：行主序从右到左，从下到上
- 路径3：列主序从上到下，从左到右
- 路径4：列主序从下到上，从右到左
每条路径生成一个一维的块嵌入序列。这四个序列由共享的Mamba模块（具有选择性状态更新，即输入依赖的转移矩阵）独立处理。随后，四个输出序列被重新变形回二维，并逐元素相加。这一设计确保每个像素至少能通过四条扫描方向之一关注到所有其他像素，从而实现全局感受野。
复杂度分析： 对于包含N个块（N = H×W）的图像：
- 自注意力：O(N²) 计算与内存
- SS2D：O(N) 计算与内存，因为每个Mamba步骤处理一个token，状态大小恒定
这种线性缩放对于高分辨率图像具有变革意义。以4K图像（3840×2160）为例，若块大小为16，则N ≈ 32,400个块。自注意力每个头需要约10亿次操作；而SS2D仅需约32,000次操作。
架构变体： GitHub仓库提供了三种规模：
| 模型 | 参数量 | FLOPs（224×224） | ImageNet Top-1 |
|---|---|---|---|
| VMamba-Tiny | 22M | 4.3G | 82.5% |
| VMamba-Small | 50M | 8.7G | 83.6% |
| VMamba-Base | 89M | 15.1G | 84.3% |
数据要点： VMamba在显著更少的FLOPs下达到了与Swin Transformer相当的准确率。例如，Swin-Tiny（28M参数，4.5G FLOPs）达到81.3% Top-1，而VMamba-Tiny（22M参数，4.3G FLOPs）达到82.5%。在高分辨率下，效率差距进一步拉大。
训练稳定性： 原始Mamba论文指出，SSM需要对状态转移矩阵A（通常设为负对角值）和步长Δ进行仔细初始化。VMamba继承了这一敏感性。作者使用了逐层学习率衰减和梯度裁剪，但社区反馈表明，如果没有这些特定的超参数，在ImageNet上从头训练可能会不稳定。仓库中包含了带有推荐设置的训练脚本，但在更大数据集（如ImageNet-21K、JFT-300M）上的扩展尚未得到验证。
开源实现： 仓库`mzeromiko/vmamba`（截至撰写时已获3,133颗星）基于PyTorch和CUDA构建，并包含一个用于选择性扫描操作的自定义CUDA内核（基于Mamba内核）。代码库包括：
- `models/vmamba.py`：主模型定义
- `models/ss2d.py`：2D选择性扫描实现
- `kernels/selective_scan`：用于快速扫描的CUDA内核
- `configs/`：ImageNet、COCO、ADE20K的训练配置
关键参与者与案例研究
VMamba项目由来自多个机构的研究人员领导，主要基于Albert Gu和Tri Dao（原始Mamba论文的作者，来自CMU和普林斯顿大学）开发的Mamba架构。VMamba团队将一维SSM适配到了二维，但其核心知识谱系清晰可见。
竞争方法对比：
| 模型 | 类型 | 复杂度 | ImageNet Top-1（Tiny） | 推理速度（1024×1024） |
|---|---|---|---|---|
| Swin-Tiny | Transformer | O(N²) | 81.3% | 1.0×（基准） |
| ConvNeXt-Tiny | CNN | O(N) | 82.1% | 1.3× |
| VMamba-Tiny | SSM | O(N) | 82.5% | 1.8× |
| EfficientFormer-L1 | 混合 | O(N) | 80.2% | 2.1× |
数据要点： VMamba在线性复杂度模型中取得了最佳准确率，同时在高分辨率下比Swin Transformer快近2倍。纯CNN模型ConvNeXt虽然具有竞争力，但缺乏VMamba所提供的全局感受野。
案例研究：高分辨率医学影像
一个值得关注的早期采用者是医学影像社区。哈佛医学院的研究人员已尝试将VMamba用于全切片病理图像（十亿像素级）。传统的基于ViT的模型由于二次方内存开销无法处理这些图像，只能退而求其次采用上下文有限的块级处理。VMamba的线性复杂度使其能够在单次前向传播中处理10,000×10,000像素的切片，从而实现全局组织架构分析。在CAMELYON16数据集上的初步结果显示，VMamba在转移瘤检测中达到了94.2%的AUC，而ResNet-152基线为92.8%，使用滑动窗口的Swin-Tiny为91.5%。
案例研究：实时视频理解
NVIDIA的研究人员已将VMamba集成到实时视频动作识别流程中。通过将视频帧视为