体素级模型应该把计算预算用在哪里？
体素级 fMRI 保留脑区平均可能掩盖的空间细节，但长记录会在每个时间点重复一个庞大的三维体积。密集编码器可能把显存用在非脑背景、重复时刻和被掩蔽单元上，而这些内容并不都需要同样精细的计算。
SLIM-Brain 把两件事分开：哪些时间片段值得仔细看，以及其中哪些空间单元需要进入昂贵的编码器。轻量全局分支先浏览时间序列，稀疏体素分支再对选定窗口学习细节，目标是在较小的数据与显存预算下获得可迁移的表征。
两层选择：先选时间，再减少空间计算
上方原文方法图可以看作一条路由流程：完整记录用于粗粒度时间概览，只有选定窗口接受精细的四维编码。下游预测使用体素编码器的特征；全局分支负责决定它应当看哪里。
选择有代表性的时间窗
轻量全局 masked autoencoder 通过 mutual masked reconstruction 评分，考察一个窗口对其余记录的代表性，再选出 top-k 窗口。它并非把整段密集序列交给体素编码器；这里的“代表性”也不等于激活最强或最明显的任务时刻。
进入昂贵计算前就跳过无效单元
选定窗口送入 4D Hiera 编码器。非脑背景和被掩蔽单元不进入对应编码器的输入，而不是先生成完整密集网格再处理。空间稀疏与时间路由互补：需要精细编码的时刻更少，每个窗口中需要保留中间激活的单元也更少。
学习特征，不使用重型体素重建头
Hiera-JEPA 根据上下文特征预测目标分支的潜在特征，而非重建完整原始体积。体素特征经过池化形成下游描述符。这是在时间路由、空间稀疏之外的第三项效率设计；全局概览不直接作为最终预测特征。
把显存收益和表征质量分开测量
默认模型含 45M 参数，使用 4,129 次扫描预训练，再适配到 ABIDE、ADHD-200、ADNI 和 PPMI 等外部数据。实验还单独比较窗口选择与编码器结构，把效率变化落实到具体设计上，而非仅给出一个总体分数。
选窗口，不能只是随意丢窗口
ADHD 的 linear probing 消融中，top-k 选择的准确率为 61.1%，随机选择为 56.0%。这直接检验时间路由器：减少窗口数量有意义的前提，是保留下来的窗口仍携带任务所需的信息。
显存更少，并不代表所有分数都更高
在 1K 预训练、200 帧输入的结构比较中，Hiera-JEPA 每样本使用 2.3 GB 显存，Swin-SIM 为 8.0 GB。HCP fingerprint 准确率大幅提高，HCP 性别准确率变化较小，ABIDE 年龄准确率则仍低于 Swin-JEPA。因此，“约 30% 显存”描述的是具体测量结果，不是通用加速倍数，也不是所有任务都提升。
| 编码器 / 目标 | GPU 显存 · GB ↓ | HCP fingerprint · ACC % ↑ | ABIDE 年龄 · ACC % ↑ |
|---|---|---|---|
| Swin-SIM | 8.0 | 38.2 | 59.3 |
| Swin-JEPA | 4.0 | 84.0 | 62.1 |
| Hiera-MAE | 2.4 | 90.0 | 52.6 |
| Hiera-JEPA | 2.3 | 98.5 | 59.6 |
保留有用细节，不必密集编码所有内容
SLIM-Brain 的效率来自时间选择、空间稀疏和潜在预测的配合。代表性窗口评分适合重复出现的模式，但论文也指出，独特的任务诱发片段可能因此被降低优先级。对于事件导向的研究，窗口选择本身应与下游模型一起接受验证。
了解设计，也看清实验中的取舍
可以先读时间路由与稀疏编码器部分，再比较窗口选择和结构消融。论文提供了设计与实验说明；本站目前未列出 SLIM-Brain 的公开代码或权重链接。
SLIM-Brain: A Data- and Training-Efficient Foundation Model for fMRI Data Analysis
本文由 fMRI Atlas 根据上述原始研究整理。
本文更新：
阅读原文摘要（英文）
Foundation models are emerging as a powerful paradigm for fMRI analysis; however, current approaches are hindered by a dual bottleneck in data and computational efficiency. Atlas-based methods aggregate voxel signals into fixed regions of interest (ROIs), which reduces dimensionality but discards fine-grained spatial details and necessitates massive cohorts for effective pre-training. Conversely, atlas-free methods operate directly on voxel-level data to preserve spatial fidelity, but their memory and compute requirements often make end-to-end voxel-level processing of full-length fMRI sequences impractical. In this work, we introduce SLIM-Brain, an atlas-free foundation model that uses a lightweight global encoder to score temporal windows from long fMRI recordings while applying voxel-level computation only to the selected windows. SLIM-Brain adopts a two-stage adaptive design: (i) a lightweight temporal extractor ranks windows by how well they represent the remainder of the recording, and (ii) a 4D hierarchical encoder (Hiera-JEPA) learns fine-grained voxel-level representations only from the top-k representative windows while pruning approximately 70% of non-brain or masked units. The downstream predictor uses the voxel-level descriptor; the global encoder is used only for routing. Extensive experiments across external public benchmarks show that SLIM-Brain achieves strong performance on diverse tasks while requiring only about 4 thousand pre-training sessions and approximately 30% of the GPU memory used by Swin-based voxel-level models.
BibTeX
@misc{slimbrain2025,
title={SLIM-Brain: A Data- and Training-Efficient Foundation Model for fMRI Data Analysis},
author={Wang, Mo and Xia, Junfeng and Ye, Wenhao and Liu, Enyu and Peng, Kaining and Feng, Jianfeng and Liu, Quanying and Wen, Hongkai},
year={2025},
eprint={2512.21881},
archivePrefix={arXiv},
url={https://arxiv.org/abs/2512.21881}
}