训练与扩展训练策略研究

BrainTaskonomy

先学什么,再迁移什么?

BrainTaskonomy 测量领域与任务之间的关系,据此规划预训练课程和受预算约束的迁移路径。

概览 BrainTaskonomy 测量哪些 fMRI 领域与任务能够相互促进,并以这些关系组织学习。领域与噪声联合课程降低了三类预训练误差,有向迁移图则帮助分配有限的监督资源。

每个数据集都应该以相同方式进入训练吗?

组合多个 fMRI 数据集时,通常从一个平坦的数据混合开始:在不同领域间采样,训练一个模型;下游任务也常常独立处理。这样做没有利用领域与任务之间的学习关系。

BrainTaskonomy 探索能否在不改变骨干网络的前提下,通过实测学习关系改善这两个阶段。预训练顺序和下游监督分配,都可以成为由实验指导的决策。

先测量学习关系,再据此规划

框架作用于两个阶段:预训练时选择学习不同领域的顺序,适配时选择哪些任务需要监督。两类决策都基于实测关系,而不是把领域与任务视为彼此独立的选择。

BrainTaskonomy framework: domain and timestep curricula, source-task modeling, multi-order transfer, and budget-aware taskonomy construction.

方法概览。 前半部分构建领域与扩散时间步的联合课程;后半部分测量一阶及高阶任务迁移,在预算内选择监督源和路径。箭头表达迁移方向,而不只是相似程度。 原论文 ↗

测量领域关系

轻量级 Brain-DiT 代理模型估计 10 个领域的难度与有向促进关系,即学习一个领域是否有助于学习另一个领域。

构建累积式课程

得到的优先级决定各领域进入预训练的顺序,并与从高噪声到低噪声的时间步调度及联合巩固阶段相结合。

在预算内规划迁移

对 15 个任务进行一阶及高阶受控迁移实验,构建有向任务图;随后通过预算约束的整数规划,选择获得监督的源任务,以及通往各目标任务的迁移路径。

更好的课程,以及有方向的迁移地图

课程策略与领域、扩散时间步均匀采样的基线进行比较。下表给出的是预训练误差的相对降低幅度。

联合课程与领域、时间步均匀采样的比较
预训练误差相对降低幅度
v-NMSE6.5%
PSD-NMSE16.3%
FC-MSE10.5%

课程改善了信号的多个评价维度

联合调度降低 v-NMSE、PSD-NMSE 和 FC-MSE,并在 6 个分布内及分布外下游任务上取得较强表现。这三类误差对应不同评价对象,并不是三种下游准确率。

任务相似性不等于迁移方向

迁移具有非对称性,也依赖目标任务:从一个任务到另一个任务的有效路径,反向未必同样有效。在探索性的封存测试中,加入高阶路径后,预算整数规划相比匹配的随机对照获得了更大收益。

阅读原论文中的完整实验 ↗

训练预算也包括对监督的选择

这项工作拓展了训练方案的设计范围。架构与算力只是其中一部分,领域顺序和监督任务的选择也会影响模型学到什么。将该策略用于新场景,需要先测量相应的领域与任务关系。

延伸阅读

可将论文作为规划预训练课程和监督源任务的参考流程。应用到新的任务集合时,需要测量其学习关系,并明确监督预算。目前此项目未提供公开代码或权重链接。

Learning How to Pretrain and What to Transfer in fMRI Foundation Models

Junfeng Xia, Wenhao Ye, Junxiang Zhang, Jiayu Zuo, Mo Wang, Quanying Liu

arXiv · 预印本
论文版本: · 状态来源: 预印本

本文由 fMRI Atlas 根据上述原始研究整理。

阅读原文摘要(英文)

fMRI foundation models increasingly aggregate heterogeneous data across brain states, cohorts, and acquisition settings, yet pretraining domains are commonly treated as a flat mixture and downstream tasks are adapted independently. We study whether measured learning relations can organize both stages without modifying the backbone. During pretraining, a lightweight Brain-DiT proxy estimates difficulty and directed facilitation across ten fMRI domains, yielding a priority-guided cumulative domain curriculum combined with high-to-low-noise timestep scheduling and joint consolidation. During adaptation, controlled first- and higher-order transfer across fifteen tasks constructs a directed taskonomy, from which budgeted integer programming (BIP) selects directly supervised source tasks and target-specific routes. The joint priority-domain and high-to-low-timestep curriculum reduces v-NMSE, PSD-NMSE, and FC-MSE by 6.5%, 16.3%, and 10.5%, respectively, relative to uniform sampling over both dimensions, and shows strong downstream performance across six in- and out-of-domain tasks. The taskonomy reveals asymmetric, target-dependent transfer, while exploratory sealed-test evaluation shows larger descriptive gains for BIP policies when higher-order route spaces are available than for matched random controls. Together, these findings support organizing fMRI pretraining and adaptation by measured learning relations rather than treating domains and tasks as independent flat sets.

BibTeX

@misc{braintaskonomy2026,
  title={BrainTaskonomy: Learning How to Pretrain and What to Transfer in fMRI Foundation Models},
  author={Xia, Junfeng and Ye, Wenhao and Zhang, Junxiang and Zuo, Jiayu and Wang, Mo and Liu, Quanying},
  year={2026},
  eprint={2609.10518},
  archivePrefix={arXiv},
  url={https://arxiv.org/abs/2609.10518}
}
继续探索

fMRI Scaling Study

下一个项目