概览 本研究固定 NeuroJEPA 框架，改变数据量、模型规模和训练时长。基于 200 多个源数据集和超过 10,000 GPU 小时的实验，研究发现相同计算量也能得到不同结果，数据与模型容量需要联合考虑。
如果能训练得更大，应该扩大哪一部分？
更大的模型或更长的训练可能消耗更多算力，却未必产生最好的表征。对于 fMRI，增加数据、扩大容量和延长优化时间之间如何相互作用，仍需系统研究。
这项工作提出一个实用问题：固定计算预算时，应该选择怎样的组合？为使比较具有可解释性，研究保持预训练框架与下游评估协议不变。
改变规模，保持学习方案一致
如果架构、学习目标和测试协议同时变化，就很难解释扩展实验。在这里，NeuroJEPA 提供统一的学习方案，实验围绕这一方案改变数据量、模型容量和训练时长。
方法概览。 2 个全局视图与 6 个局部视图共享编码器和投影头。每个视图对齐到全局表征均值，SIGReg 促进嵌入分布充分展开。这是整个扩展实验保持不变的学习方案。 原论文 ↗
固定学习方案
NeuroJEPA 用共享编码器和投影头处理 2 个全局视图与 6 个局部视图。各视图对齐到全局表征的均值，同时以 SIGReg 促进嵌入分布充分展开。
改变三个扩展维度
研究使用 200 多个源数据集，投入超过 10,000 GPU 小时，分别改变预训练数据量、模型大小和训练时长，从而将这些选择的影响与学习方法变化区分开。
先选择，锁定后再测试
在两个固定计算预算下，用分布内下游表现选择配置，再锁定配置进行分布外评估。留出任务检验的是已经选定的训练方案。
算力是一项预算，而不是全部解释
结果区分了两件事：增加计算量通常有帮助，但如何使用这些计算量，同样影响最终表现。
相同计算量，不同结果
表现总体随计算量增加而改善，但计算量相近的模型之间仍可能有明显差距。仅凭算力无法解释观察到的扩展行为。
数据与模型容量相互作用
模型越大，增加数据带来的收益越明显。在匹配计算量时，增加数据使更多任务受益，而扩大模型的效果更依赖任务。
选出的方案迁移到留出任务
在评估的分布外任务上，两个预算下选出的模型取得了对比基座模型中最高的平均表现，同时使用了更少的预训练计算量。
在查看留出任务之前，先选定方案
实践中应比较数据量、容量和训练时长的组合，而不是单独优化一个维度。锁定配置后的分布外测试，检验在开发任务上选出的方案能否迁移。这些趋势描述的是固定框架下的结果，并具有任务依赖性。
延伸阅读
可据此设计扩展实验或分配训练预算：联合比较数据、容量与时长，在开发任务上选择配置，并保留独立任务作最终测试。公开仓库提供代码、预训练编码器权重及下游评估示例。
A Scaling Study for fMRI Foundation Models
本文由 fMRI Atlas 根据上述原始研究整理。
阅读原文摘要（英文）
Scaling laws have guided large-model development in computer vision and natural language processing, but the relationships among data, model size, and compute remain unclear for functional magnetic resonance imaging (fMRI) foundation models. Here, we conduct a controlled empirical study using pretraining data from more than 200 source datasets and over 10,000 GPU-hours of experiments. Holding the pretraining framework and downstream protocol fixed, we vary pretraining data size, model size, and training duration. Downstream performance generally improves with compute, yet models using similar compute can perform substantially differently. Additional pretraining data bring larger gains at larger model sizes, suggesting that data and model size should be scaled together. At matched compute, increasing pretraining data benefits more tasks than increasing model size, although the pattern varies across tasks. We then use in-distribution (ID) downstream performance to select the combination of pretraining data size, model size, and training duration at two fixed compute budgets. The resulting models are locked before out-of-distribution (OOD) evaluation. They achieve the highest average performance across the evaluated OOD tasks among the compared fMRI foundation models while using less pretraining compute. Overall, our results show that compute alone does not characterize fMRI scaling: performance depends on how pretraining data, model size, and training duration are combined.
BibTeX
@misc{scalingstudy2026,
title={A Scaling Study for fMRI Foundation Models},
author={Ye, Wenhao and Pan, Xuanye and Xia, Junfeng and Zhang, Junxiang and Wang, Mo and Liu, Quanying},
year={2026},
eprint={2609.27232},
archivePrefix={arXiv},
url={https://arxiv.org/abs/2609.27232}
}