类别: AI技术分享    来源：www.nanyuetong.com

摘要：项目网址：https://github.com/antgroup/echomimic_v2 1. 测试环境 操作系统：CentOS 7.2 / Ubuntu 22.04 CUDA 版本：≥ 11.7 GPU：A100（80G）/ RTX 4090D（24G）/ V100（16G） Python 版本：3.8 / 3.10 / 3.11 2. 创建 Conda 环境（推荐） conda create -n ec...

项目网址：https://github.com/antgroup/echomimic_v2

1. 测试环境

• 操作系统：CentOS 7.2 / Ubuntu 22.04
• CUDA 版本：≥ 11.7
• GPU：A100（80G）/ RTX 4090D（24G）/ V100（16G）
• Python 版本：3.8 / 3.10 / 3.11

2. 创建 Conda 环境（推荐）

conda create -n echomimic_v2 python=3.10
conda activate echomimic_v2

3. 下载代码

git clone https://github.com/antgroup/echomimic_v2
cd echomimic_v2

4. 安装依赖包

pip install --upgrade pip
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers==0.0.28.post3 --index-url https://download.pytorch.org/whl/cu124
pip install torchao --index-url https://download.pytorch.org/whl/nightly/cu124
pip install -r requirements.txt
pip install --no-deps facenet_pytorch==2.6.0

5. 安装 FFmpeg

wget https://johnvansickle.com/ffmpeg/releases/ffmpeg-release-amd64-static.tar.xz
tar -xvf ffmpeg-release-amd64-static.tar.xz
mv ffmpeg-*-static ~/ffmpeg-static

添加 FFmpeg 到环境变量

export FFMPEG_PATH=~/ffmpeg-static
export PATH=$FFMPEG_PATH:$PATH

永久添加（可选）

echo 'export FFMPEG_PATH=~/ffmpeg-static' >> ~/.bashrc
echo 'export PATH=$FFMPEG_PATH:$PATH' >> ~/.bashrc
source ~/.bashrc

验证安装

ffmpeg -version

6. 下载预训练权重

git lfs install
git clone https://huggingface.co/BadToBest/EchoMimicV2 pretrained_weights

权重文件结构

./pretrained_weights/
├── denoising_unet.pth
├── reference_unet.pth
├── motion_module.pth
├── pose_encoder.pth
├── sd-vae-ft-mse
│   └── ...
└── audio_processor
    └── tiny.pt

其中：

• denoising_unet.pth、reference_unet.pth、motion_module.pth、pose_encoder.pth：主要检查点文件。
• sd-vae-ft-mse：可从原始中心下载。
• audio_processor（Whisper）：音频处理器。

7. 运行 Gradio 界面

python app.py

8. 运行推理脚本

标准推理

python infer.py --config='./configs/prompts/infer.yaml'

加速推理

python infer_acc.py --config='./configs/prompts/infer_acc.yaml'

请确保检查加速推理的配置文件。

9. 处理 EMTD 数据集

下载数据集

python ./EMTD_dataset/download.py

切片数据集

bash ./EMTD_dataset/slice.sh

预处理数据集

python ./EMTD_dataset/preprocess.py

10. 其他资源

• EchoMimic Windows 一体包：由开发者 Arthurzhangsheng 提供的免环境安装 Windows 一体包，解压即用。

• ComfyUI_EchoMimic 插件：由开发者 smthemex 提供的在 ComfyUI 中使用 EchoMimic 的插件，扩展了使用场景。

请根据您的实际需求选择合适的安装和使用方式。