Sound Spectrograph

3月 9, 2024 admin44 No Comments

久しぶりにサウンドプログラミングの話題です。
今回つかったProcessingというツールは、過去にもよく使用していましたが、最近大幅なバージョンアップがされていることから、かなり機能が豊富になっていました。

音波形のスペクトルを計算して、それをリアルアタイムにグラフィックを変化させるデモです。

参考）https://yoppa.org/sfc_design17/8657.html

環境）Mac(arm6)（要Processing Sound Library　インストール）

Processing 付属のサンプルにあったローパスフィルタも実装してみました。（マウスカーソルの横位置でフィルタのかかり具合がかわります）
なかなか音は良いです。

もうひとつ、スペクトルを使った音と画像の相互変換ツールを試してみました。

https://arss.sourceforge.net/

ここからダウンロードしたarssコマンドを使います。

環境）DOSプロンプト / Windows 11

素材の音源は上記でも使用した、Korg Volca Drumのリズムパターンです。
（ファイルフォーマットはwav,bmpに置き換え）

arss-0.2.3-windows>arss
The Analysis & Resynthesis Sound Spectrograph 0.2.3
Type 'help' to read the manual page
Input file : volca-drum.wav
Output file : volca.bmp
Min. frequency (Hz) [27.500]:
Bands per octave [12.000]:
Max. frequency (Hz) (up to 19912.127) [19912.000]:
Bands : 115
Pixels per second [150.000]:
Image size : 1204x115
 115/115 (FFT size:  73728)   18794.53 Hz - 21096.16 Hz
Processing time : 2.828 s
Press Return to quit

arss-0.2.3-windows>arss

The Analysis & Resynthesis Sound Spectrograph 0.2.3

Type 'help' to read the manual page

Input file : volca-drum.wav

Output file : volca.bmp

Min. frequency (Hz) [27.500]:

Bands per octave [12.000]:

Max. frequency (Hz) (up to 19912.127) [19912.000]:

Bands : 115

Pixels per second [150.000]:

Image size : 1204x115

115/115 (FFT size: 73728) 18794.53 Hz - 21096.16 Hz

Processing time : 2.828 s

Press Return to quit

スペクトル画像が出力されました。

これをもとに戻してみます。

arss-0.2.3-windows>arss
The Analysis & Resynthesis Sound Spectrograph 0.2.3
Type 'help' to read the manual page
Input file : volca.bmp
Output file : volca.wav
Choose the mode (Press 1, 2 or 3) :
        1. Analysis
        2. Sine synthesis
        3. Noise synthesis
> 2
Bits per sample (8/16/32) [16] :
Sample rate [44100] :
Min. frequency (Hz) [27.500]:
Bands per octave [12.000]:
Max. frequency : 19912.127 Hz
Pixels per second [150.000]:
Sound duration : 8.027 s
 115/115   19912.15 Hz
Processing time : 0.156 s
Press Return to quit

arss-0.2.3-windows>arss

The Analysis & Resynthesis Sound Spectrograph 0.2.3

Type 'help' to read the manual page

Input file : volca.bmp

Output file : volca.wav

Choose the mode (Press 1, 2 or 3) :

1. Analysis

2. Sine synthesis

3. Noise synthesis

> 2

Bits per sample (8/16/32) [16] :

Sample rate [44100] :

Min. frequency (Hz) [27.500]:

Bands per octave [12.000]:

Max. frequency : 19912.127 Hz

Pixels per second [150.000]:

Sound duration : 8.027 s

115/115 19912.15 Hz

Processing time : 0.156 s

Press Return to quit

残念ながら完全には復元しませんでしたが、これはこれでいい感じです。（パラメータ指定の方法がまずいのかもしれません）

次に任意の画像を音に変換してみます。。

arss-0.2.3-windows>arss
The Analysis & Resynthesis Sound Spectrograph 0.2.3
Type 'help' to read the manual page
Input file : draw06.bmp
Output file : draw06.wav
Choose the mode (Press 1, 2 or 3) :
        1. Analysis
        2. Sine synthesis
        3. Noise synthesis
> 2
Bits per sample (8/16/32) [16] :
Sample rate [44100] :
Min. frequency (Hz) [27.500]:
Bands per octave [12.000]:
Max. frequency : 28539521503696.508 Hz
Pixels per second [150.000]:
Warning: Upper frequency limit above Nyquist frequency
Sound duration : 10.207 s
 480/480   -209715200.00 Hz
Processing time : 0.312 s
Press Return to quit

arss-0.2.3-windows>arss

The Analysis & Resynthesis Sound Spectrograph 0.2.3

Type 'help' to read the manual page

Input file : draw06.bmp

Output file : draw06.wav

Choose the mode (Press 1, 2 or 3) :

1. Analysis

2. Sine synthesis

3. Noise synthesis

> 2

Bits per sample (8/16/32) [16] :

Sample rate [44100] :

Min. frequency (Hz) [27.500]:

Bands per octave [12.000]:

Max. frequency : 28539521503696.508 Hz

Pixels per second [150.000]:

Warning: Upper frequency limit above Nyquist frequency

Sound duration : 10.207 s

480/480 -209715200.00 Hz

Processing time : 0.312 s

Press Return to quit

黒は無音で、色によって倍音がかわるようです。

なかなか面白いツールです。
Deep Ｌearningなどで、音データを扱うとき、画像データとして扱う手法をよく見かけますが、このツールはそういった用途にも使えます。

Category: AM

Tags: Processing