调制类效果器

调制类效果器是一种允许用户对输入音频产生随时间变化的部分效果的效果器，根据调制的参数不同，大致分为以下类型

音量调制类效果器

音量调制类效果器允许用户对输入音频的音量产生随时间变化的效果器，假设有数字音频流 $X[n]X[n]$ 以及某个随时间变化的数字信号（即调制波）$d[n]d[n]$ 则此类效果器可以直接定义如下：

$$Y[n]=d[n]X[n]Y[n]\; =\; d[n]\; X[n]$$

当 $d[n]d[n]$ 周期较长，以至于在一个音频窗口内近似相等时，其与普通包络线类似。当 $d[n]d[n]$ 周期较短时，此时形成此类效果器的特例，即环形调制 (Ring Modulation, 简称 RM).

此类型也有可能将调制后效果与原始音频按某比例叠加，形式化写为

$$Y[n]=kd[n]X[n]+X[n]Y[n]\; =\; kd[n]\; X[n]\; +\; X[n]$$

其中 $Y[n]Y[n]$ 表示输出音频, $kk$ 是一个比例常数。此情况下即构成幅度调制 (Amplitude Modulation, 简称 AM).

时间调制类效果器

时间调制类效果器允许用户对输入音频的起始时间产生随时间变化的效果器，常常用于制作一些粒子化效果，假设有数字音频流 $X[n]X[n]$ 以及调制波 $d[n]d[n]$ 则此类效果器可以直接定义如下：

$$Y[n]=kX[d[n]]+X[n]Y[n]\; =\; kX[d[n]]\; +\; X[n]$$

其中 $Y[n]Y[n]$ 表示输出音频, $kk$ 是一个比例常数，当 $k=0k\; =\; 0$ 时，此类效果器即构成粒子效果器，当 $k\mathrm{\ne }0k\; \backslash ne\; 0$ 时，此类效果器会构成延迟调制类效果器，此类效果器的典型代表是移相器、镶边、合唱等，详见延迟类效果器。特别地，此类效果器可以视作数字滤波器的特例。

频率调制类效果器

频率调制类效果器允许用户对输入音频的频率产生随时间变化的效果器。为了达到对频率的变化，一般有如下常见方法：

Phase Vocoder

Phase Vocoder 的核心思想是在频域上直接移动频率并对产生的相位失真进行修正。其一般过程如下：
设数字音频流 $x[n]x[n]$ 对其加窗并进行傅里叶变换得到

$$X[m,k]=\sum _{n=0}^{N-1}w[n]x[n+mH]e^{-\frac{2nk\pi }{N}i}X[m,\; k]\; =\; \backslash sum\backslash limits\_\{n\; =\; 0\}^\{N\; -\; 1\}\; w[n]x[n\; +\; m\; H]\; e^\{-\backslash frac\{2nk\backslash pi\}\{N\}i\}$$

其中 $kk$ 是频率索引，$NN$ 是窗函数长度，$w[n]w[n]$ 是窗函数，$HH$ 是帧移。

从而得到原始信号的相位信息 $\arg X[m,k]\backslash arg\; X[m,\; k]$. 不同于一般的傅里叶变换提取频率的方式，Phase Vocoder 引入了相位信息以更高精度地估算瞬时频率，其具体估算方法如下：

首先计算相邻帧之间的相位差 $\mathrm{\Delta }\varphi [m,k]=\arg X[m,k]-\arg X[m-1,k]\backslash Delta\; \backslash phi[m,\; k]\; =\; \backslash arg\; X[m,\; k]\; -\; \backslash arg\; X[m\; -\; 1,\; k]$ 并调整到 $[-\pi ,\pi )[-\backslash pi,\; \backslash pi)$ 区间内，从而修正后的瞬时频率如下：

$$f[m,k]=\frac{f_s}{2\pi }(\frac{\mathrm{\Delta }\varphi [m,k]}{H}+\frac{2\pi k}{N})f[m,\; k]\; =\; \backslash frac\{f\_s\}\{2\backslash pi\}\backslash left(\backslash frac\{\backslash Delta\backslash phi[m,\; k]\}\{H\}\; +\; \backslash frac\{2\backslash pi\; k\}\{N\}\backslash right)$$

其中 $f_{s}f\_s$ 是采样率。

之后对频率进行变换（如加上某个频段 $f[m,k]+\mathrm{\Delta }ff[m,\; k]\; +\; \backslash Delta\; f$ 或倍增频率 $\alpha f[m,k]\backslash alpha\; f[m,\; k]$ 等等）得到调整后频率 $f^{\mathrm{\prime }}[m,k]f\text{'}[m,\; k]$. 对频率变换后信号进行相位 $\psi [m,k]\backslash psi[m,\; k]$ 重建以修正可能产生的相位失真

$$\psi [m,k]=\psi [m-1,k]+2\pi \frac{f^{\mathrm{\prime }}[m,k]H}{f_s}\backslash psi[m,\; k]\; =\; \backslash psi[m\; -\; 1,\; k]\; +\; 2\backslash pi\; \backslash frac\{f\text{'}[m,\; k]H\}\{f\_s\}$$

根据 $f^{\mathrm{\prime }}[m,k]f\text{'}[m,\; k]$ 对应的频率分配新的频率索引 $k^{\mathrm{\prime }}k\text{'}$ 并由此重建得到频域输出

$$Y[m,k^{\mathrm{\prime }}]=\mathrm{\mid }X[m,k]\mathrm{\mid }{e}^{i\psi [m,k]}Y[m,\; k\text{'}]\; =\; |X[m,\; k]|\; e^\{i\backslash psi[m,\; k]\}$$

对该信号进行逆变换得到时域输出信号

$$y[n]=\sum _m[\frac{1}{N}\sum _{k=0}^{N-1}Y[m,k]\cdot e^{\frac{2\pi kn}{N}i}]\cdot w(n-mH)y[n]\; =\; \backslash sum\_\{m\}\backslash left[\backslash frac\{1\}\{N\}\; \backslash sum\_\{k=0\}^\{N-1\}\; Y[m,\; k]\; \backslash cdot\; e^\{\backslash frac\{2\; \backslash pi\; k\; n\}\{N\}\; i\}\backslash right]\; \backslash cdot\; w\backslash left(n-m\; H\backslash right)$$

同理也可以进行时变音调不变的拉伸

希尔伯特变换法

希尔伯特变换法的核心思想是通过生成解析信号直接操作频率。其一般过程如下：

设存在数字音频流 $x[n]x[n]$ 利用希尔伯特变换构建得到解析信号

$$X[n]=x[n]+i\mathcal{H}\{x\}[n]X[n]\; =\; x[n]\; +\; i\; \backslash mathcal\{H\}\backslash \{x\backslash \}[n]$$

对解析信号乘以复指数并取实部得到输出

$$Y[n]=\mathrm{Re}(X[n]e^{i2\pi \mathrm{\Delta }fn})Y[n]\; =\; \backslash operatorname\{Re\}\; (X[n]e^\{i\; 2\backslash pi\; \backslash Delta\; f\; n\})$$

其中 $\mathrm{\Delta }f\backslash Delta\; f$ 为频率偏移量，变换后的频率满足 $f^{\mathrm{\prime }}=f+\mathrm{\Delta }ff\text{'}\; =\; f\; +\; \backslash Delta\; f$ 其中 $ff$ 是原始频率。

实践过程因为希尔波特变换需要无限长脉冲，因此常常使用全通滤波器堆叠模拟。

OLA 类方法

Overlap-add (简称 OLA) 类方法是一类允许用户改变音频长度但不改变音调的方法，结合重采样技术可以实现改变音调而不改变长度。其核心思想是将原始输入拆分为重叠的多份，并由此移动重叠部分以达到延长时间但不改变音调的效果。下面介绍应用相对广泛的两种 OLA 类方法

PSOLA

Pitch Synchronous Overlap and Add 简称 PSOLA 是假定信号存在某种周期性并由此将信号分割成与该周期同步的短时片段并应用 OLA 的方法。其大致过程如下：

设存在数字音频流 $X[n]X[n]$ 对其应用频率检测后得到基频为 $f_{b}f\_b$ 并由此计算基频周期 $T_b=\frac{1}{f_b}T\_b\; =\; \backslash frac\{1\}\{f\_b\}$ 并得到原始音频流的一个拆分

$$s[n,m]=X[n]w[n-m\frac{T_b}{f_s}]s[n,\; m]\; =\; X[n]w[n\; -\; m\backslash frac\{T\_b\}\{f\_s\}]$$

其中 $f_{s}f\_s$ 是采样率，$ww$ 是窗函数，一般来说，窗函数长度取在 $[\frac{3T_b}{2f_s},\frac{2T_b}{f_s}][\backslash frac\{3T\_b\}\{2f\_s\},\; \backslash frac\{2T\_b\}\{f\_s\}]$ 中。设我们将要将音调改变 $\alpha \backslash alpha$ 倍则帧间隔调整量应满足 $n_m=\mathrm{round}(m\frac{\alpha T_b}{f_s})n\_m\; =\; \backslash operatorname\{round\}(m\backslash frac\{\backslash alpha\; T\_b\}\{f\_s\})$ 之后重建输出信号

$$Y[n]=\sum _{m}s[n-n_m,m]w[n-n_m]Y[n]\; =\; \backslash sum\backslash limits\_\{m\}\; s[n\; -\; n\_m\; ,\; m]\; w[n\; -\; n\_m]$$

WSOLA + 重采样

Waveform Similarity Overlap and Add 简称 WSOLA 是通过分析信号找寻最相似部分并以此为依据进行分割并应用 OLA 的方法，其大致过程如下：

假设我们需要将原始音频拉伸 $\beta \backslash beta$ 倍，设数字音频流 $X[n]X[n]$，对于任一步长 $SS$ 对原始音频进行拆分得到

$$s[n,m]=X[n]w(n-mS)s[n,\; m]\; =\; X[n]w(n\; -\; mS)$$

其中 $ww$ 是窗函数，其长度一般需要多于 $S+2\mathrm{\Delta }S\; +\; 2\backslash Delta$ 且在每帧前后至少有 $\mathrm{\Delta }\backslash Delta$ 个数据点与上/下一帧重合其中 $\mathrm{\Delta }\backslash Delta$ 是搜索窗口大小，用于寻找相似部分。则重建输出信号的过程如下
对于第零帧，直接采样原始音频

$$y[n,0]=s[n,0]y[n,\; 0]\; =\; s[n,\; 0]$$

对于第 $kk$ 帧，取第 $k-1k\; -\; 1$ 帧的末尾部分即

$$y^{\mathrm{\prime }}[n,k]=y[n,k-1]-y[n\cdot u[k\beta S-n],k-1]y\text{'}[n,\; k]\; =\; y[n,\; k\; -\; 1]\; -\; y[n\; \backslash cdot\; u[k\backslash beta\; S\; -\; n],\; k\; -\; 1]$$

其中 $u[n]u[n]$ 是单位阶跃函数，分析第 $kk$ 个切片 $s[n,m]s[n,\; m]$，寻找 $t_k\in [-\mathrm{\Delta },+\mathrm{\Delta }]t\_k\; \backslash in\; [\; -\; \backslash Delta,\; +\; \backslash Delta]$ 中使得相似度量函数 $C(y^{\mathrm{\prime }}[n,k],s[n-t,k])C(y\text{'}[n,\; k],\; s[n\; -\; t,\; k])$ 输出相似度最大的 $t_{k}t\_k$ 作为本帧的偏移，累加到输出音频上。最终得到整体的输出音频大致如下：

$$Y[n]=\sum _{m}s[n-t_m,m]w(n-m\beta S)Y[n]\; =\; \backslash sum\backslash limits\_\{m\}s[n\; -\; t\_m,\; m]\; w(n\; -\; m\backslash beta\; S)$$

其中相似度函数可以使用相关系数，即

$$C(y^{\mathrm{\prime }}[n,k],s[n-t,k])=\frac{\sum _{n=0}^{L-1}{y}^{\mathrm{\prime }}[n,k]s[n-t,k]}{\sqrt{\sum _{n=0}^{L-1}{y}^{\mathrm{\prime }}[n,k{]}^2}\sqrt{\sum _{n=0}^{L-1}s[n-t,k{]}^2}}C(y\text{'}[n,\; k],\; s[n\; -\; t,\; k])\; =\; \backslash frac\{\backslash sum\backslash limits\_\{n\; =\; 0\}^\{L\; -\; 1\}y\text{'}[n,\; k]s[n\; -\; t,\; k]\}\{\backslash sqrt\{\backslash sum\backslash limits\_\{n\; =\; 0\}^\{L\; -\; 1\}y\text{'}[n,\; k]^2\}\backslash sqrt\{\backslash sum\backslash limits\_\{n\; =\; 0\}^\{L\; -\; 1\}s[n\; -\; t,\; k]^2\}\}$$

其中 $LL$ 是重叠部分长度，或者使用均方误差

$$C(y^{\mathrm{\prime }}[n,k],s[n-t,k])=\frac{1}{L}\sum _{n=0}^{L-1}(y^{\mathrm{\prime }}[n,k]-s[n-t,k]{)}^{2}C(y\text{'}[n,\; k],\; s[n\; -\; t,\; k])\; =\; \backslash frac\{1\}\{L\}\backslash sum\backslash limits\_\{n\; =\; 0\}^\{L\; -\; 1\}\; (y\text{'}[n,\; k]\; -\; s[n\; -\; t,\; k])^2$$

此时均方误差越小表示相似性越高。

得到拉伸后音频对音频进行重采样即可得到改变音调后的输出音频。音调改变倍数满足 $\alpha =\frac{1}{\beta }\mathrm{.}\backslash alpha\; =\; \backslash frac\{1\}\{\backslash beta\}.$

对比

下表对比了上述四种方法的优劣