Clips AI

Clips AI是一个开源Python库，主要功能是自动将长视频转换为短视频片段，并动态调整视频宽高比（如从16:9转换为9:16）。

主要功能：

1. 视频转录：使用WhisperX（OpenAI Whisper的开源封装）对视频进行转录，并检测每个单词的开始和结束时间。
2. 片段提取：剪辑算法通过分析视频的转录文本来识别并创建视频片段。
3. 视频调整大小：调整大小算法动态重构视频画面，将焦点对准当前发言者，从而将视频转换为各种宽高比（需使用Pyannote进行说话人分离）。

目标用户： 面向开发者，专为以音频为中心、基于叙事的视频设计，例如播客、访谈、演讲和布道。

使用流程：

1. 安装：安装Python依赖包（clipsai及whisperx），安装libmagic和ffmpeg。强烈建议使用虚拟环境（如venv）以避免依赖冲突。
2. 创建片段：首先使用Transcriber对视频进行转录，然后使用ClipFinder根据转录文本查找片段，获取片段的StartTime和EndTime进行修剪。
3. 调整视频大小：调用resize函数，传入视频路径、Pyannote授权令牌（pyannote_auth_token）和目标宽高比（如9:16），获取裁剪片段。使用Pyannote不会产生收费，但需要Hugging Face访问令牌。

核心优势： 开源免费，仅需几行代码即可完成复杂的视频分段和动态画面重构，自动追踪发言者焦点。