AudioX-Turbo 全解析：一个模型把文字、视频变成音效与音乐，还能 4 步出声

本文由 莫潇羽@源码七号站（www.fuyuan7.com）撰写，转载请注明出处。

先把结论摆在最前面：AudioX-Turbo 是港科大、清华联合 Noiz AI 开源的一个"任意输入到音频"统一生成框架。它最值钱的两个点，一是"全能"——文字、视频、音频随便组合都能当输入，输出既可以是音效环境音，也可以是一段音乐；二是"够快"——靠师生蒸馏把原本要几十上百步才能出结果的扩散模型，压到了 4 步出声，推理函数评估次数最多能省到原来的二十五分之一。这意味着 AI 音频从"等一分钟"变成"等一两秒"，实时交互类音频工具第一次有了现实可行性。我自己把论文、代码、模型权重都翻了一遍，下面这篇就把它的能力边界、提速原理、数据集、上手步骤，以及在国内用它必须注意的合规红线，一次性讲清楚。

想看完整拆解，往下翻。

一、先搞清楚：AudioX-Turbo 到底解决了什么问题

这两年 AI 视频生成卷得有点离谱，画面层面已经能摸到电影质感了。可只要你认真做过一条片子就会发现，画面好看是一回事，声音跟不跟得上是另一回事。很多时候视频是 AI 生成的，配音、音效、背景乐还得人工一段段去找素材、去对轨，光是"让脚步声踩在画面节奏上"这件小事，就能耗掉一个下午。

AI 音频这一侧的尴尬，本质上有三个老大难。

第一个是不统一。做"文字生成音效"的模型，往往不会"看着视频配乐";做"视频转音乐"的，又未必能听懂一句自然语言指令。每个任务一个模型，工具链碎成一地，想串成一条流水线特别费劲。

第二个是慢。目前主流的音频生成走的是扩散模型路线，靠几十步甚至上百步的迭代采样一点点把噪声"擦"成声音。生成一段十秒的音频，经常要干等好一阵。这点延迟放在离线批量生产里还能忍，可一旦你想做实时交互——比如边玩游戏边实时生成环境音、边剪片边即时预览配乐——这个速度就直接判了死刑。

第三个是数据稀缺。音频领域带高质量标注的多模态数据本来就少，社区里能拿来训练的公开数据集体量都不大，模型想"见多识广"很难。

我多说一句对整个赛道的观察。过去两三年，生成式 AI 的聚光灯几乎都打在文本和图像视频上——大语言模型、文生图、文生视频轮番刷屏，音频始终是个"配角"。但你只要做过哪怕一条完整的内容，就会明白声音的分量：同一段画面，配上合适的环境音和节奏对得上的配乐，质感能差出一个档次;反过来，再精致的画面配上违和的声音，观感立刻垮掉。声音是那种"做好了没人夸、做砸了立刻被嫌弃"的隐形基础设施。正因为它长期被低估，这条赛道的工具链也就一直比图像视频粗糙——这恰恰意味着，一旦有人把"统一""快""数据足"这几件事一起做对，留给后来者的想象空间是很大的。AudioX-Turbo 之所以值得专门写一篇来拆，原因就在这里。

AudioX-Turbo 这个项目，目标就是同时把这三块短板补上。这里先用一句白话给它定个性：

它是一个统一的"任意输入到音频"生成框架（英文叫 Anything-to-Audio）。所谓"任意输入"，指的是你给它纯文本、纯视频、纯音频，或者文本加视频、视频加音频这种组合都行;所谓"到音频"，指的是它吐出来的永远是声音，可能是一段音效、一段环境音，也可能是一整段音乐。

把它拆开看，AudioX-Turbo 其实有两个"身份"：一个叫 AudioX-Base，是那个又稳又强但比较慢的"老师"模型;另一个就是 AudioX-Turbo 本体，是从老师那儿"学"出来的、能 4 步出声的"学生"模型。这套"老师教学生"的打法，是它能又快又好的核心，后面第三章我会专门拆。

它的来头也值得说一句。这个项目背后是香港科技大学、清华大学和 Noiz AI 的联合团队，对应的论文挂在 arXiv 上（编号 2606.12555），代码托管在 GitHub 的 NoizAI/AudioX-Turbo，模型权重放在 HuggingFace 上公开可下。它并不是凭空冒出来的，而是同一拨人此前那个 AudioX 框架的"加速续作"——AudioX 解决的是"统一"和"数据"，AudioX-Turbo 在此基础上重点啃下了"慢"这块硬骨头。

我个人对这类项目一直比较上心，原因很简单：音频是内容创作里最容易被忽视、又最影响成片质感的一环。一个能把"文字到音效""视频到配乐"都收进同一个模型、还能近实时出结果的开源方案，对独立创作者和小团队的吸引力是实打实的。当然，能不能真正用起来、用的时候有哪些合规边界，才是这篇文章真正想替你盘清楚的事。

二、它能干什么：六种任务装进一个模型

理解一个生成模型，最快的方式不是看架构图，而是看它的"输入输出表"——你能喂给它什么，它能还给你什么。AudioX-Turbo 的输入由三种条件信号自由组合：文本提示词、视频、音频。把这三者排列组合，再区分输出是"通用音频（音效/环境音）"还是"音乐"，就得到了它支持的六类任务。

我把官方的任务清单整理成下面这张表，三列分别对应你要不要传视频、文字提示怎么写、要不要传参考音频：

这张表里藏着这个模型最关键的设计哲学：同一套条件接口，覆盖所有任务。你不需要为"文字配音效"和"视频配乐"切换两个模型，只要把对应的输入位填上、不用的那位置空（代码里就是设成 None），剩下的交给同一个模型。这种统一带来的好处，在工程上是减少了一大堆模型加载、显存切换的麻烦;在创作上则是你可以无缝地从"先用文字描述想要的声音"过渡到"把它贴到具体视频上微调"。

我挨个把这六类任务的实际场景说清楚，方便你对号入座。

文本生成音频，是最直观的玩法。你打一句"烟花连续绽放两次，随后一段寂静，然后钟声开始滴答作响"，它就按你描述的时序把这段复合音效拼出来。注意这里有个值得夸的细节——它能听懂"先……然后……再……"这种带先后顺序的指令，说明它对文字里的时间结构是有理解的，而不是把关键词一股脑糊在一起。

文本生成音乐，对应的是"哼一句风格描述就要一段曲子"。比如"适合旅行 Vlog 的、振奋人心的尤克里里小调"，或者"平滑的都市 R&B 节拍，律动柔和"，它就能给你一段符合氛围的器乐。对于做短视频、做播客片头的人来说，这相当于一个随叫随到的背景乐草稿机。

视频生成音频 / 视频生成音乐，是我觉得最能体现它"看得懂画面"的两类。你扔进去一段没有声音的视频，它会根据画面内容自动判断该配什么声——风刮过玻璃、森林里的鸟鸣、火球炸开的轰响、布鞋踩在松软草地上的闷响，这些都能跟着画面节奏对上。这背后靠的是一个专门做"音画同步"的视觉编码器，第五章讲代码时我会点到它叫什么、起什么作用。

文本＋视频组合的两类任务，则是给你加了一层"人工把关"。纯靠视频自动配音，模型有时候会猜偏;这时你补一句文字提示——"海浪拍岸，夹杂人群笑声"或者"只要钢琴"——就能把它往你想要的方向拽。这种"画面定大盘、文字做微调"的配合，是实际生产里最顺手的用法，我自己更偏爱这一类。

2.1 多种输入是怎么"融"到一起的

看到这里你可能会冒出一个疑问：文字、视频、音频是三种完全不同的东西，模型凭什么能把它们"听懂"还混在一起用？这就要提到老师模型 AudioX-Base 的架构核心——多模态自适应融合（Multimodal Adaptive Fusion，可以简称 MAF）。

我用白话拆一下它的工作链路。三种输入进来，各走各的"翻译官"：文字交给一个擅长理解语言的文本编码器（项目里用的是 T5），把"在键盘上打字"这句话变成模型能懂的向量;视频画面交给一个图像编码器（用的是 CLIP），把每一帧的视觉内容编码出来;而要让声音卡得上画面节奏，还得靠一个专门做音画同步的模块（也就是后面会反复提到的 Synchformer），把"什么时候该有声、声音强弱怎么跟画面走"这层时间对应关系提取出来。

光把三路信号各自编码好还不够，难点在于怎么把它们对齐、融合成一个统一的表示，再交给生成主干去出声。这正是 MAF 这个模块要干的活儿——它不是简单地把三路向量拼在一起拉倒，而是"自适应"地根据当前任务，决定该更听文字的、还是更听画面的。比如纯文本任务时它就主要听文字;视频加文字组合时，它会让画面定大方向、文字做微调。这种自适应的跨模态对齐，是它能在六种任务里来回切换、还都表现得不错的底层原因。

理解了这一层，你就明白为什么前面那张表里"不用的输入位置设成 None"是合理的：MAF 天生就支持"缺一路也能跑"，缺哪路它就把权重分给在场的那几路。这也是"统一框架"四个字真正的技术含义——不是六个模型套了个壳，而是一套融合机制原生支持所有输入组合。

把这六类摊开看你会发现，它基本把"内容创作里跟声音有关的活儿"覆盖全了：要音效有音效，要配乐有配乐，要自动跟画面对齐也行，要手动指挥也行。一个模型干六件事，这是它的第一层价值。而真正让它从"能用"跨到"好用"的，是下一章要讲的速度——4 步出声，到底是怎么做到的。

三、为什么能"4 步出声"：速度到底从哪里来

这一章是整篇里最硬核的部分，但我会尽量讲人话。你只要记住一句话：AudioX-Turbo 的快，不是把模型做小做差换来的，而是用一套"压缩"手艺，把一个又大又慢的好模型，蒸馏成了一个又小又快、效果还跟得上的版本。 下面我从"为什么慢"开始，一层层讲到"它怎么变快"。

3.1 老问题：扩散模型为什么天生就慢

先用一个橡皮泥的比方理解扩散模型。假设你要把一团完全随机的橡皮泥（也就是纯噪声），慢慢捏成一只猫（也就是你想要的目标，这里换成"一段声音"）。

传统扩散模型的训练思路是反着来的：先拿一只捏好的猫，一点一点往上加随机扰动，加到最后完全看不出是猫为止——这一步叫"前向加噪"。然后训练一个神经网络，学会"反过来一点点把扰动去掉"，从一团乱泥慢慢还原成猫——这一步叫"反向去噪"。

问题就出在"一点一点"这四个字上。每走一步都带着随机抖动，所以从噪声到成品的路径是弯弯曲曲的，采样时通常要走很多步，业内常见是二十到上百步。每一步都要让庞大的神经网络完整算一遍（这个"算一遍"在论文里叫一次函数评估，缩写 NFE），步数越多，等待越久。一段十秒音频要等好一阵，根子就在这里。

3.2 第一招：流匹配，把弯路改成直路

要提速，第一个突破口是别再走弯路。这就引出了 流匹配（Flow Matching） 这个相对新的生成范式。

它的核心想法可以这么理解：与其像扩散那样一步一抖地摸索，不如直接学一条从噪声到数据的、尽量笔直的"流动"路径。想象橡皮泥不再东捏一下西捏一下，而是顺着一条事先规划好的最平滑路线一路推过去，就变成了猫。

实现这个想法的关键概念叫"速度场"。你可以把它类比成一张风向图，或者河流里每个点的水流方向和强度：它告诉你在任意时刻、任意位置上，这团数据应该朝哪个方向、以多大速度移动，才能最终抵达正确的结果。模型训练时不再去预测"这一步该减掉多少噪声"，而是直接去预测"此刻该往哪个方向移动多快"。用一个简化到不能再简化的式子表达，就是沿着时间 t 从 0 到 1，求解 dx/dt = v(x, t) 这条常微分方程，v 就是模型学出来的速度场。

AudioX-Turbo 的那个"老师"模型 AudioX-Base，走的就是流匹配的路子。路径更直，本身就比传统扩散更省步数。但光有流匹配还不够直接，团队还要再加一道"压缩"工序，才能把步数压到 4 步这么狠。

3.3 第二招：师生蒸馏，让"学生"几步学会"老师"的本事

这就是整个项目的精髓——师生蒸馏（teacher–student distillation）。

打个比方：AudioX-Base 是一位讲课特别细、但每次都要花几十分钟从头推导的老教授（多步才能出结果，质量高）。直接让学生也学这套慢功夫，那快不起来。于是团队换了个思路：训练一个"学生"模型 AudioX-Turbo，让它只用几步就模仿出老师几十步才能达到的效果。学生不需要复刻老师的每一个中间推导步骤，它只要保证"最终交出来的答卷"跟老师在分布上一致就行。

这种"只对齐结果分布、不纠结中间步骤"的蒸馏方法，就是接下来要讲的分布匹配蒸馏。

3.4 第三招：分布匹配蒸馏（DMD）的核心思路

分布匹配蒸馏（Distribution Matching Distillation，简称 DMD）这个名字听着唬人，拆开看其实很讲道理。

它的目标不是让学生生成的每一张"答卷"和老师一一对应，而是让学生生成结果的整体分布，去逼近老师生成结果的整体分布。衡量两个分布像不像，用的是一个近似的 KL 散度（你就理解成"两个分布之间的差距打分"），训练就是想办法把这个差距压到最小。

这里有个很巧妙的工程难点和它的解法，值得讲清楚，因为这正是 DMD 能稳住的关键。

直接拿老师去给学生"打分"会出问题：老师在训练时只见过"真实数据"，你突然丢给它一张学生生成的、还不太成熟的"假数据"，对老师来说这就是没见过的分布外样本，打出来的分数不可靠。怎么办？团队的做法是再额外训练一个"假老师"模型，专门去学习、建模学生当前生成出来的那个"假分布"。

于是更新学生的梯度，就来自"真老师"和"假老师"两个打分之差：真老师代表"理想中该长什么样"，假老师代表"学生现在实际长什么样"，两者一减，方向就指向了"学生还差在哪、该往哪改"。这套机制让蒸馏过程不至于崩掉。

我用一段伪代码把这个训练循环的骨架写出来，方便有代码基础的朋友对照理解（仅为示意，不是可运行代码）：

# AudioX-Turbo 蒸馏训练循环（示意伪代码）
for batch in dataloader:
    noise = sample_noise()

    # 1) 学生先 rollout 出一段结果（few-step 生成的"假数据"）
    fake_sample = student.generate(noise, steps=4)

    # 2) 真老师（冻结）和假老师分别对加噪后的样本打分
    real_score = teacher_frozen.score(add_noise(fake_sample))   # 理想分布的方向
    fake_score = fake_teacher.score(add_noise(fake_sample))     # 学生当前分布的方向

    # 3) DMD 损失：两个打分之差，指导学生往老师分布靠拢
    loss_dmd = distribution_matching_loss(real_score, fake_score)

    # 4) 判别器再给一道对抗损失（见 3.5）
    loss_gan = discriminator_adversarial_loss(fake_sample)

    # 5) 更新学生；同时单独用扩散损失更新"假老师"，让它跟上学生分布
    update(student, loss_dmd + loss_gan)
    update(fake_teacher, diffusion_loss_on(fake_sample))

有两个细节官方特意强调了：一是梯度会在"学生 rollout 的历史步骤"和"冻结的老师分支"那里被截断，避免反传时把整条链路都搅乱;二是 DMD 在这里是适配到流匹配形式的，跟最早用在图像扩散上的原始 DMD 不完全一样，算是针对音频流匹配场景做了改造。

3.5 再补一道保险：扩散判别器做对抗

光靠 DMD，在"步数压得特别狠"（比如就 4 步）的极端情况下，质量还是容易掉。团队又加了一个基于扩散的判别器（你可以理解成 GAN 里那个"鉴别真假"的角色），它会复用老师模型里的多模态特征，专门盯着学生生成的少步结果挑刺，逼着学生在跨模态对齐（也就是"声音对不对得上文字和画面"）上别偷工减料。

把这三招串起来，整个加速框架就清楚了。我画一张流程图收束这一章：

flowchart TD
    A[随机噪声] --> B[学生模型 AudioX-Turbo<br/>rollout k-1 步]
    B --> C[最后一步预测<br/>得到 4 步生成结果 假数据]
    C --> D[加噪到匹配的噪声水平]
    D --> E1[真老师 AudioX-Base 冻结<br/>给出理想分布打分]
    D --> E2[假老师模型<br/>建模学生当前分布打分]
    D --> E3[扩散判别器<br/>对抗鉴别]
    E1 --> F[流匹配 DMD 损失<br/>= 真老师打分 - 假老师打分]
    E2 --> F
    E3 --> G[对抗 GAN 损失]
    F --> H[更新学生模型]
    G --> H
    C --> I[扩散损失单独更新假老师]
    H --> J((4 步即可出声<br/>NFE 最多省到 1/25))

最终的成绩单是这样：学生模型只用 4 步采样就能出结果，所需的函数评估次数最多能降到多步基线的二十五分之一左右，质量却能跟那个多步老师模型掰手腕。

这里把"函数评估次数"（NFE）再解释透一点，因为它才是衡量快慢的真正标尺，比单看"几步"更准。所谓一次函数评估，就是让那个庞大的神经网络完整跑一遍前向计算。多步扩散每一步都要跑一遍，二十步就是二十次评估，一百步就是一百次，时间基本和这个次数成正比。AudioX-Turbo 把它压到只需要极少数几次评估，省下的就是实打实的等待时间。论文里还给了一条"质量—效率权衡曲线"，直观地说就是：在同样的生成质量水平下，它落在比其它扩散方法更靠左（更省算力）的位置;或者反过来说，花同样的算力，它能出更好的效果。这条曲线是它"又快又好"这句话的硬证据，不是一句空口号。

对真实应用来说，这意味着响应延迟从分钟级直接砸到秒级，做实时交互的 AI 音频工具，第一次有了落地的硬件可行性。这就是 AudioX-Turbo 这个"Turbo"二字真正的分量所在。

四、真正的护城河：IF-caps-Pro 数据集是怎么攒出来的

聊大模型，很多人只盯着架构，但我自己越往深看越觉得：对这类多模态生成模型来说，数据才是最难抄、最难追的护城河。 架构论文一发大家都能照着复现，可你手里没有那么多高质量的带标注数据，再好的架构也喂不出好效果。AudioX-Turbo 在这块下了重本，自建了一个叫 IF-caps-Pro 的数据集，规模大约 920 万条样本。

这个量级到底算不算大？光说数字没概念，对比一下就清楚了。社区里大多数开源音频模型，能用的公开数据集体量都不大。我把几个常被引用的数据集和它放一起，做成下面这张对比表：

把这张表竖着看一遍，差距就很直观了：从五千、五万，到七百万、九百万，IF-caps-Pro 几乎是把公开数据的量级整体往上拉了一两个数量级。这 920 万条里，按论文的说法大致分成两块——一块是规模约百万级的通用音频样本，另一块是体量更大的音乐样本，加起来构成了它"音效和音乐通吃"的训练底座。

光堆数量没用，关键看怎么攒、怎么标。IF-caps-Pro 走的是两阶段流程，我把它讲清楚。

4.1 第一阶段：先把"源数据对"凑齐

第一阶段解决的是"原料从哪来"。团队设计了一条采集管线，专门去配齐"视频—音乐""视频—音频"这类成对的数据。其中：

• 针对"视频配音乐"这个方向，团队自己整理了一批规模约五十万的视频音乐配对数据;
• 针对"视频配音效"这个方向，则引入了业内比较知名的两个公开声音事件数据源作为补充。

这一步的本质，是先把"画面和声音是怎么对应的"这件事，用海量真实样本喂给模型——你想让模型学会"看到火球就配上爆炸声"，前提是它见过足够多"火球画面+爆炸声"的真实配对。

4.2 第二阶段：用大模型给数据做精细标注

第一阶段只是把原料堆好了，但原料是"粗"的——一段声音配的文字描述可能很笼统，甚至缺失。第二阶段就是给这些数据做精细化的多模态标注，让每条样本都配上一段细致、准确的文字说明。

这里团队用了一套"大模型标注级联"的打法：先用一个能力很强的多模态大模型负责理解画面和整体语义，再用一个专门擅长听音频、理解声音内容的音频大模型去补全声音层面的细节描述，两者接力，把标注质量拉上去。

为什么要用两个模型接力，而不是一个模型一把梭？因为"看画面"和"听声音"是两种不同的本事。擅长理解画面和文字语义的多模态大模型，能告诉你"这段视频里发生了什么、场景是什么氛围"，但它对声音的细节往往描述得很笼统;而专门训练来"听"的音频大模型，能精准说出"这是低频的隆隆声还是清脆的金属敲击""节奏是快是慢"这种声音本身的属性。把两者的长处叠在一起，一条样本最终拿到的描述，既有场景语义又有声音细节，质量自然比单模型高一截。这种"让专业的模型干专业的活、再级联起来"的思路，是这两年大规模数据标注里很常见也很有效的工程套路。

为什么标注质量这么重要？因为模型的"听话程度"——也就是你打一句提示词它能不能精准生成——直接取决于训练时它见过的"声音↔文字"配对有多准。标注越细、越准，模型对自然语言指令的理解就越到位。这也解释了为什么 AudioX-Turbo 在"文本生成音频""文本生成音乐"这两类最依赖指令理解的任务上表现尤其突出。

我自己的体会是，这套数据工程其实比那个"4 步出声"的蒸馏技巧更有壁垒。蒸馏方法写在论文里，有 GPU 有耐心都能复现;但要复刻 920 万条经过精细标注的多模态数据，那是实打实的人力、算力和时间成本，不是个人玩家能轻易跨过去的门槛。这一点，等下一章讲到"上手成本"时你会更有感触。

五、动手跑起来：从环境配置到第一段音频

讲完原理，到了最实在的部分——怎么把它跑起来。我把官方仓库的流程梳理成一条从零到出声的路径，每一步该干嘛、为什么这么干，都标清楚。先把丑话说前面：它对硬件有要求，不是随便一张游戏显卡就能舒舒服服跑的。

5.1 先看门槛：硬件和环境要求

官方推荐的配置是这样的：

• 显卡：训练阶段推荐 A100 或 H800 这种数据中心级别的卡;
• CUDA 版本：12.1;
• Python：3.8（依赖是按 3.8.20 锁死验证过的）;
• 系统库：需要 FFmpeg 和 libsndfile 来处理音视频读写;
• 如果你要走 DeepSpeed 那条训练路径，还得装完整的 CUDA toolkit（也就是带 nvcc 编译器的那种）。

我直说自己的判断：普通个人玩家拿来跑推理是勉强能跑的，但想完整复现训练，基本是实验室级别的配置才扛得住。 如果你只是想体验生成效果，重点放在推理这条线就行，不必被训练的硬件要求吓退。另外提醒一句，这类需要境外开源生态（HuggingFace、conda 等）配合的项目，国内拉取依赖和权重时网络环境可能不稳定，建议优先使用国内的开源镜像源来安装依赖、下载模型，既快又省心，也避免去碰那些不合规的网络手段。

5.2 第一步：装环境

官方给的安装流程走的是 conda，整体很标准。我把命令整理在下面，并在关键行加了注释：

# 1) 克隆仓库
git clone https://github.com/NoizAI/AudioX-Turbo.git
cd AudioX-Turbo

# 2) 建一个干净的 conda 环境（Python 锁 3.8.20）
conda create -n audiox-turbo python=3.8.20
conda activate audiox-turbo

# 3) 装音视频处理库（从 conda-forge 装更省事）
conda install -c conda-forge ffmpeg libsndfile

# 4) 装 Python 依赖，并以可编辑模式安装项目本身
pip install -r requirements.txt
pip install -e . --no-deps

# 5) 单独把 soundfile 版本钉死，避免读写音频时踩坑
pip install soundfile==0.12.1

这里第 4 步那个 pip install -e . --no-deps 值得解释一句：-e 是"可编辑安装"，方便你改源码后立刻生效;--no-deps 是"别再自动拉依赖"，因为依赖已经在上一行用 requirements.txt 装好了，避免版本被覆盖打架。最后单独钉 soundfile 版本，是音频项目里很常见的防坑操作。

5.3 第二步：下载模型权重

模型权重托管在 HuggingFace 上。这里要分清楚你是"只想推理"还是"想训练"，因为需要下的文件不一样。

只做推理，你需要三个文件：4 步学生模型本体、一个 VAE（你可以理解成把声音在"压缩空间"和"真实波形"之间来回转换的编解码器）、以及一个做音画同步的 Synchformer（只有用到视频条件时才需要它）。要训练，还得额外下那个老师/基座模型。

用官方的命令行工具下载：

pip install -U "huggingface_hub[cli]"

# 推理用：学生模型 + VAE + Synchformer
huggingface-cli download HKUSTAudio/AudioX-Turbo \
  audiox_turbo/audiox_turbo.ckpt pretransform/vae.ckpt synchformer/synchformer_state_dict.pth \
  --local-dir checkpoints

# 仅训练才需要：老师 / 基座模型
huggingface-cli download HKUSTAudio/AudioX-Turbo \
  pretrained_ckpt/pretrained_ckpt.ckpt \
  --local-dir checkpoints

下完之后，checkpoints 目录里几个文件各管一摊：

还有个贴心设计：负责理解文字和画面的两个编码器（一个做图像的 CLIP，一个做文本的 T5），脚本会在你第一次运行时自动从 HuggingFace 拉取并缓存;如果本地已经有缓存，它会自动切到离线模式。这省去了你手动下编码器的麻烦。

5.4 第三步：最快的体验方式——Gradio 一行起服务

如果你只想先感受一下效果，别急着写代码，官方带了 Gradio 网页演示，一行命令就能起一个本地服务：

python run_gradio.py            # 浏览器打开 http://localhost:7860
python run_gradio.py --share    # 生成一个公开访问链接

起来之后在网页上填提示词、传视频，点一下就能出声，适合用来快速验证"这模型到底行不行"。我建议第一次玩的人都从这里入手，门槛最低。

5.5 第四步：写代码调用——Python API 拆解

真要接进自己的流水线，还是得走 Python API。我把官方示例的核心逻辑讲一遍，你跟着这条线走就懂了。整个调用就五件事：加载模型、准备条件、4 步生成、归一化落盘、（可选）把声音合回视频。

import torch, torchaudio
from einops import rearrange
from audiox_turbo.inference import load_audiox_turbo_model
from audiox_turbo.inference.generation import generate_diffusion_cond_dmd
from audiox_turbo.data.utils import (
    read_video, load_and_process_audio, encode_video_with_synchformer, merge_video_audio,
)

device = "cuda" if torch.cuda.is_available() else "cpu"

# 1) 加载 4 步学生模型（连同 VAE 一起）
model, model_config = load_audiox_turbo_model(
    "configs/audiox_turbo_infer_4step.json",
    "checkpoints/audiox_turbo/audiox_turbo.ckpt",
    pretransform_ckpt_path="checkpoints/pretransform/vae