你是否试过用双手比出一个“取景框”,对着镜头比划——然后幻想框里能跳出另一个奇幻世界?Finger Frame Effect AI 就是这样一款神奇的开源工具:它能自动识别你上传视频中“双手比框”的动作,再用 Google 最新视频生成模型(Gemini Omni Flash),把框内区域智能替换成完全重绘的 AI 动画世界——不是简单贴图,而是整段视频连动作、眨眼、光影都同步重生成的沉浸式效果。它让普通人无需剪辑软件、不写代码,也能亲手创造“现实手+虚拟景”的魔幻短视频。
核心功能
- 精准手势识别:自动检测视频中双手构成的“手指取景框”,支持多种自然手势姿态,无需标记或校准
- 全帧AI重绘:不只是替换框内画面——整段视频被送入 Gemini Omni Flash 视频模型,实现运动连贯、表情自然、节奏同步的端到端重生成
- 五种预设风格一键切换:3D动画电影、日系动漫、黏土定格、水彩手绘、油画质感,风格差异显著且保留原视频情绪与节奏
- 支持自定义提示词:可输入中文/英文描述(如“赛博朋克东京雨夜”“童话森林独角兽奔跑”),让AI按你的想象生成专属世界
- 无缝合成输出:AI生成内容自动适配手指框的透视、缩放与晃动,真实模拟“透过双手看世界”的观感,边缘自然抗锯齿
- 离线友好流程:全程在浏览器完成上传与预览,仅视频处理环节调用云端AI服务,隐私可控、操作零依赖
适合哪些人用
这款工具特别适合内容创作者、教师、学生和亲子家庭:短视频博主可用它快速制作高传播度的手势互动特效;美术老师能带学生体验“手势即画笔”的AI艺术课;大学生做课程展示时,三分钟生成一支有电影感的创意短片;家长和孩子一起拍摄手势视频,把日常玩耍变成一场童话冒险——它不追求专业级参数控制,而是把前沿AI能力包装成“拍→传→选→得”的极简体验。
快速上手
无需安装!打开官网即可使用:https://sophiamyang.github.io/finger-frame-effect-ai/
只需四步:
① 用手机或相机拍摄一段5–15秒的正面视频(双手自然比出方形/心形取景框,背景简洁);
② 点击“Upload Video”上传MP4文件;
③ 选择预设风格或输入中文提示词(例如“敦煌飞天壁画风格”);
④ 点击生成,等待1–3分钟(取决于视频长度),下载高清MP4成品。
⚠️ 注意:首次使用需允许网页访问摄像头(仅用于示例演示),实际处理不调用摄像头,纯上传本地视频。
项目信息
编程语言:JavaScript|GitHub Star 数:589|开源协议:未明确声明(建议使用前查看仓库 LICENSE 文件)|GitHub 项目地址
这是开发者 Sophia Yang “手指框效应”系列工具的AI进阶版,同系列还包含实时滤镜版(finger-frame-effect)和真·实时AI版(finger-frame-effect-lucy),形成从轻量到专业的完整手势创作生态。
如果你厌倦了千篇一律的滤镜贴纸,想用最朴素的手势,撬动最富想象力的AI世界——这个项目,就是你指尖通往动画宇宙的任意门。



