Proact-VL-Washing/mage_vl_demo/README_colab.md

MiniCPM-o 4.5 主动式流媒体视频分析 — Colab 脚本

用途

上传一段视频（mp4），模型会以主动式流媒体理解的方式观看视频， 在检测到关键事件时（如新衣物出现）主动输出推荐/评论，无需逐帧提问。

使用方法（Google Colab）

1. 打开 Colab → File → Upload notebook
2. 将 minicpmo_proactive_colab.py 的内容粘贴进去，拆成多个单元格运行
3. 在单元格 2 上传你的 mp4（或填入 Drive 路径 / URL）
4. 根据需要修改单元格 4 的 SYSTEM_PROMPT、SEGMENT_SEC、GENERATE_AUDIO
5. 依次运行后续单元格

修改 Prompt 适配不同场景

场景	SYSTEM_PROMPT 示例
衣物推荐（默认）	见代码中 SYSTEM_PROMPT_ZH
体育赛事解说	"观看体育比赛直播，在每次进球/关键动作时主动解说"
安防监控告警	"观看监控视频，发现异常行为（如人员闯入、物品移动）时主动告警"
烹饪步骤跟踪	"观看烹饪视频，每完成一个步骤时主动播报当前进度和建议"

硬件要求

• Colab GPU: A100 / T4（至少 16GB VRAM，推荐 A100）
• 显存 ~28GB 用于完整 9B 模型（bfloat16）
• 如 OOM，可设 attn_implementation=None 或降低 SEGMENT_SEC

API 参考

• 官方文档: https://minicpmo45.modelbest.cn/docs/
• HuggingFace: https://huggingface.co/openbmb/MiniCPM-o-4_5
• GitHub Demo: https://github.com/OpenBMB/MiniCPM-o-Demo