迁移学习 迁移学习是机器学习的一种范式，指将从一个任务或领域中学到的知识（例如模型参数或特征表示）应用到另一个相关任务或领域中。其核心思想是利用已有知识提升新任务的学习效率或性能，尤其适用于新任务数据量不足的场景。 1. 迁移学习的基本动机 数据稀缺性问题 ：许多现实任务（如医疗影像分析）难以获取大量标注数据，直接训练模型容易过拟合。 计算成本优化 ：重新训练大型模型需要大量算力，而迁移学习可通过微调预训练模型显著降低资源消耗。 知识通用性 ：不同任务间可能存在共享的特征模式（例如边缘检测在图像识别中具有通用性）。 2. 迁移学习的关键术语 源域 ：已有知识的原始任务或数据领域（例如自然图像分类任务中的ImageNet数据集）。 目标域 ：需要解决的新任务或数据领域（例如医学X光片分类）。 迁移机制 ：如何将源域的知识传递到目标域，常见方式包括参数迁移、特征表示迁移等。 3. 迁移学习的分类方法 （1）按迁移内容分类 基于实例的迁移 ：筛选源域中与目标域相似的数据，调整其权重参与新任务训练。 基于特征的迁移 ：将源域和目标域数据映射到同一特征空间，利用共享特征表示训练模型（例如通过共享编码器提取特征）。 基于模型的迁移 ：直接复用源域训练的模型结构或参数，仅对部分层进行微调。 基于关系的迁移 ：适用于关系型数据（如知识图谱），迁移实体间的逻辑规则。 （2）按源域与目标域关联性分类 同构迁移学习 ：源域与目标域的数据特征空间相同（例如均為图像），但数据分布不同。 异构迁移学习 ：源域与目标域的特征空间不同（例如源域是文本，目标域是图像）。 4. 典型实现步骤 以深度学习中的图像分类为例： 预训练模型选择 ：在大型源域数据集（如ImageNet）上训练卷积神经网络（CNN），获得基础特征提取能力。 模型适配 ： 保留预训练模型的底层卷积层（通用特征提取器）。 替换顶层全连接层，使其输出维度匹配目标域类别数。 微调策略 ： 冻结底层参数仅训练新添加层（适用于小数据目标域）。 解冻部分底层参数进行整体微调（适用于数据量较大的目标域）。 5. 迁移学习的挑战与应对 负迁移 ：源域与目标域差异过大时，迁移可能损害新任务性能。 解决方案：通过领域相似性评估、自适应权重调整或渐进式迁移缓解。 领域适配问题 ：源域与目标域数据分布不一致。 解决方案：引入领域对抗训练（DANN）或对齐特征分布（如MMD损失）。 6. 实际应用场景 自然语言处理 ：基于BERT的预训练模型微调用于情感分析、命名实体识别等任务。 计算机视觉 ：医疗影像诊断中复用自然图像训练的模型，加速病灶检测模型开发。 自动驾驶 ：将模拟环境中训练的感知模型迁移到真实世界场景。 迁移学习的本质是模仿人类“举一反三”的认知能力，通过知识复用突破数据与算力瓶颈，推动人工智能在多样化场景中的高效落地。