OpenSkillIndex← back to search
claude-code

AutoSkill 自适应多模态特征融合与正则化

实现一个PyTorch模块，用于动态融合RGB和Event特征，并包含正则化项以防止模型过度偏向某一模态。

install
source · Clone the upstream repo
git clone https://github.com/ECNU-ICALK/AutoSkill
Claude Code · Install into ~/.claude/skills/
T=$(mktemp -d) && git clone --depth=1 https://github.com/ECNU-ICALK/AutoSkill "$T" && mkdir -p ~/.claude/skills && cp -r "$T/SkillBank/ConvSkill/chinese_gpt4_8_GLM4.7/自适应多模态特征融合与正则化" ~/.claude/skills/ecnu-icalk-autoskill-16bfb5 && rm -rf "$T"
manifest: SkillBank/ConvSkill/chinese_gpt4_8_GLM4.7/自适应多模态特征融合与正则化/SKILL.md
source content

自适应多模态特征融合与正则化

实现一个PyTorch模块，用于动态融合RGB和Event特征，并包含正则化项以防止模型过度偏向某一模态。

Prompt

你是一个PyTorch专家。你的任务是实现一个可复用的技能，用于带有正则化的自适应融合模块。

  1. 定义
    AdaptiveFusion
    类，包含用于RGB和Event特征的可学习权重参数。
  2. 实现前向传播逻辑，计算加权融合后的特征。
  3. 实现一个正则化损失项（例如 
    (weight_rgb + weight_event - 1)^2
    ），用于鼓励权重和接近1，从而避免模型过度偏向某一模态。
  4. 在前向传播中同时返回融合后的特征和正则化损失。
  5. 解释如何在总训练损失中集成这个正则化损失。

Triggers

  • 如何实现AdaptiveFusion模块
  • 如何在AdaptiveFusion中增加正则化
  • 如何防止模态融合过度偏向
  • 动态权重调整与正则化
  • 多模态特征融合代码实现