リバーブ4/4 インパルス応答の畳み込み

ソフトウェア開発 - 音声のデジタル信号処理
技術開発 ソフトウェア
インパルス応答とFIRフィルタ image DSP デジタル信号処理 image 高速DSPボード ソフトウェア image オーディオ信号処理と音声入出力 image 残響、リバーブの信号処理 image

音響技術とソフトウェア、ハードウェア開発

音響と開発 : Sound & Development
株式会社エーアールアイ / ARI
ARI CO.,LTD.

リバーブ4/4 インパルス応答の畳み込み
ディレイ、エコーなどの時間遅延処理系

リバーブ 4/4 : ソフトウェアと音響のデジタル信号処理

シュレーダー方式は擬似的にリバーブや初期反射音を生成するアルゴリズムですが、 ホールなどの実空間で測定したインパルス応答を FIR フィルタ係数として入力信号に 畳み込めば実際の室内で生じる初期反射音やリバーブを生成することができます。


リバーブ : インパルス応答と畳み込みイメージ

ここでは、FIRフィルタを用いたインパルス応答畳み込み型のリバーブ生成方法について記します。

FIR フィルタの畳み込み演算によるリバーブ

ホールなどの実空間で測定したインパルス応答をFIRフィルタの係数として信号に畳み込めば シュレーダー方式のような擬似的なリバーブではなく、実際の室内で生じるリバーブと等価な リバーブを付加することが可能です。


FIR Filter シグナルフロー : デジタル信号処理
FIR フィルタ ブロック

リバーブの場合には、RT60の残響時間分のインパルス応答について畳み込み演算を行うことで、リアルな音場の残響特性をシミュレーションできることになります。 インパルス応答は、測定によって得られたものを利用する方法も、音響シミュレーションなどで得られる計算機による演算結果を利用する方法も可能です。

しかしながら、FIRフィルタの畳み込み演算では上図からも明らかなように1サンプルの出力を得るのにフィルタタップ数回の積和演算が必要となります。 オーディオや楽器などの高品位な音質では、高いサンプリング周波数が使われるため、残響でFIRフィルタを用いる場合には、かなりのタップ数となります。

実際の演算タップ数の概算

実際に、オーディオなどで用いられるサンプリング周波数でホールのような残響を演算する場合のタップ数を概算してみましょう。

サンプリング周波数48000Hzでタップ数48000タップ(1秒)のFIRフィルタを畳み込む場合、 1サンプルの出力を得るには48000回の積和演算が必要です。 これはMIPSに換算すると2304MIPS(48k*48k)にもなり、1秒間に23億400万回もの積和演算回数となります。


FIRフィルタの畳み込みMIPS数 : リバーブの信号処理



プロオーディオやDVD-Audioなどは96kHz・192kHzのサンプリング周波数も利用されますから、2倍もしくは 4倍の演算能力が必要になります。さらに、大きなコンサートホールではインパルス応答が2秒以上になることも考えると、 高品位な長時間残響音の結果を得るためには、おおよそ、数倍の演算を必要としていることを意味します。

高速DSPイメージ : デジタル信号処理

複数のDSPを用いて畳み込み演算を行う研究用のルームシミュレータなどがありますし、 音響シミュレーションのようなリアルタイム処理を行う目的でなければ、時間を掛けてパソコンなどで計算することが考えられますが、 リバーブ装置のようにリアルタイムに処理する場合には、高速DSPを用いても商品レベルでこれを行うことは未だ困難です。

演算量を削減するアルゴリズムの登場

そこで FFT(高速フーリエ変換)を利用してインパルス応答を周波数領域で畳み込むサンプリング・リバーブが登場しました。

サンプリング・リバーブ - インパルス応答を周波数領域で畳み込む方式

サンプリング・リバーブは、FFT (高速フーリエ変換)を使ってリアルタイムに長大なインパルス応答を畳み込む処理を実現する技術です。

サンプリング リバーブの動作原理、基本アルゴリズム
サンプリング・リバーブの基本的なアルゴリズム

サンプリング・リバーブの原理は、入力波形とインパルス応答をFFTにより 周波数領域に変換して乗算し、乗算結果を逆FFTによって時間領域に戻すことにより畳み込みを実現するものです。

長い入力信号をFFTを利用して畳み込み処理するには、overlap-save法やoverlap-add法で小分けにして(N点のサンプル数づつ)計算します。 overlap-save 法の処理の概念図を示します。

overlap save method : サンプリング リバーブ
overlap-save 法 (重畳保留法)

overlap-save法は、入力信号をブロックサイズ分オーバーラップしてFFT処理を行い、 ゼロを付加したインパルス応答と周波数領域での乗算を行った結果を逆FFT処理で時間領域に戻します。

逆FFT の結果の時間領域信号の前半半分が直線状畳み込み結果となるので、前半半分をつなげていくことで畳み込みを実現します。

上の図の場合は、インパルス応答の前半にゼロを付加していますが、 後半にゼロを付加した場合は、逆FFT結果の後半半分が直線状畳み込み結果となります。

ご参考、関連
FFTを用いた遅延のない畳み込み法

William G. Gardner
"Efficient Convolution without Input-Output Delay" p.127,
J. Audio Eng. Soc., Vol. 43, No.3, 1995 March

overlap save 法, overlap add 法

Alan V. Oppenheim, Ronald W. Schafer
"DISCRETE-TIME SIGNAL PROCESSING" p.582,
PRENTICE HALL

FFTによるサンプリング・リバーブは時間領域でのFIRフィルタの畳み込みに比べて演算を軽くすることができ、 自由なインパルス応答を畳み込めるメリットがあります。

レイテンシの発生と解決方法

サンプリング・リバーブ : FIR-FFT処理
FIR-FFT処理

サンプリング・リバーブ : Block-FFT処理
Block-FFT処理

FFTによる周波数領域での畳み込みは、ブロックサイズ分の入力信号がバッファリングされないと FFT処理を開始することができないので、ブロックサイズの2倍の長さのレイテンシを生じます。

レイテンシが発生すると、初期反射音が到来する時間が短い場合には、出力される時間を超える可能性があります。

このレイテンシを解決するために、初期反射音部分は FIRフィルタ処理で算出し、後期残響音のみ FFTで畳み込む方法や、 インパルス応答の最初の方は小さな FFTサイズで畳み込み、後ろの方ほど大きなFFTサイズで畳み込むなどの工夫もされています (このようなサンプリングリバーブ関連の工夫に関しては、特許になっている場合があります)。

インパルス応答データ

サンプリング・リバーブに必要なインパルス応答は、測定によって得られたものを利用する方法や、 音響シミュレーションなどで得られる計算機による演算結果を利用する方法が考えられます。

ご参考、関連

モデリングによって生成されたいくつかのインパルス応答が以下のページに公開されています。

Free Reverb Impulse Responses - Voxengo

http://www.voxengo.com/impulses/


サンプリング・リバーブとシュレーダー方式

シュレーダー方式のリバーブレータはパラメータを変更することで残響時間やプリディレイを制御することが可能です。 一方、サンプリング・リバーブはインパルス応答の畳み込みでリバーブを生成しますので、パラメータを変更したい場合は、 インパルス応答そのものを加工する必要があります。

インパルス応答の早期部分を初期反射音とみなし、残響部と分離するなどしてアーリーリフレクションやプリディレイを パラメータ制御可能にするアイデアは実現可能です。インパルス応答は反射音の音量の減衰や壁や天井に反射する時の応答、 周波数特性など空間の音響特性が全て含まれたものであり、サンプリング・リバーブがその音響特性を忠実に再現することを 目指した手法であることを考えると、インパルス応答の加工は、リアルな音場を再現するサンプリング・リバーブ方式の 利点を阻害する可能性を持っています。

リバーブレータには巡回フィルタを多段に組み合わせたものからサンプリング・リバーブまで様々な手法がありますが、 実装とパラメータ変更の容易性、演算量の少なさなどの理由から、現在でも多くの場面でシュレーダーを代表とするコムフィルタを利用する手法が利用されています。

ご参考、関連
シュレーダー (Schroeder)のリバーブに関する文献

Manfred R. Schroeder
"Natural Sounding Artificial Reverberation",
J. Aoudio Eng. Soc., vol. 10, p.219 (1962 July)

FDN (Feedback Delay Network)に関する参考リンク

University of Miami - Music Engineering

Jasmin Frenette Master's Thesis
"Reducing Artificial Reverberation Requirements using Time-variant Feedback Delay Networks"

http://www.music.miami.edu/programs/Mue/Research/jfrenette/index.html

University of Miami - Music Engineering

http://mue.music.miami.edu/index.php

FFTを用いた遅延のない畳み込み法に関する参考文献

William G. Gardner
"Efficient Convolution without Input-Output Delay",
J. Audio Eng. Soc., Vol. 43, No.3, p.127, 1995 March

overlap save 法, overlap add 法に関する参考文献

Alan V. Oppenheim, Ronald W. Schafer
"DISCRETE-TIME SIGNAL PROCESSING" p.582,
PRENTICE HALL

モデリングによるインパルス応答の参考リンク

Free Reverb Impulse Responses - Voxengo

http://www.voxengo.com/impulses/

サンプリング・リバーブとコムフィルタのハイブリッド手法
に関する参考リンク

University of Miami - Music Engineering

Sean Browne Master's Thesis
"Hybrid Reverberation Algorithm Using Truncated Impulse Response Convolution and Recursive Filtering"

http://www.music.miami.edu/programs/Mue/Research/sbrowne/

University of Miami - Music Engineering

http://mue.music.miami.edu/index.php

オーディオ信号処理に関するWEB公開されている書籍

DSPRelated.com の Free DSP Books のページにリバーブに関するドキュメントが公開されています。

JULIUS O. SMITH III
Center for Computer Research in Music and Acoustics (CCRMA) Department of Music, Stanford University

PHYSICAL AUDIO SIGNAL PROCESSING
FOR VIRTUAL MUSICAL INSTRUMENTS AND AUDIO EFFECTS

http://www.dsprelated.com/dspbooks/pasp/

DSPRelated.com

http://www.dsprelated.com/



Inter BEE 2014 参考出品の報告 - 幕張メッセ 2014年11月19日(水)〜21日(金)

放送用音声比較装置 ABE-2100Cを国際放送機器展に参考出展しました。 ご来場ありがとうございました。

Inter BEE 2014(国際放送機器展) 放送用音声比較装置 ABE-2100C (Sound Comparator) 参考出展の報告

《 FIR型とインパルス応答の畳み込み : ソフトウェアと音響のデジタル信号処理 》

株式会社エーアールアイ/ARI CO.,LTD.
東京都八王子市横山町6丁目9番 丸多屋ビル8F
tel:042-656-2771 fax:042-656-2654

ARIは、音響製品や試作、研究開発、DSPやCPUのファームウェア、ハードウェア制御をするPC用ソフトウェア、PCアプリケーション、これらの技術を総合的に生かしたシステム等を受託開発業務として行っております。

エーアールアイ会社情報
製品情報と販売
音響と開発・サービス
音響機器メーカーと代理店

ご利用案内 | 免責事項 | ARI 音響と開発のサイトマップ | 株式会社エーアールアイ | 東京都八王子市横山町6丁目9番 丸多屋ビル8F

Copyright(c) 2001-2015 ARI Co.,Ltd. all rights reserved.