音源分離とは｜AIで音を分離する仕組みと活用事例

皆さん、「AI」という単語を耳にすることが最近増えてきたのではないかと思います。しかし、その仕組みについて知りたいと感じても、「私には難しそう…」と敬遠してしまっている方も多いのではないでしょうか?

ここでは、AIの利用手段として大きな分野の1つになっている「音源分離」について、仕組みを分かりやすく解説します!

大まかな仕組み

AIを構成する重要な要素として、ニューラルネットワーク(Neural Network, NN)と呼ばれるものがあります。この「ニューラルネットワーク」は人間の脳における情報交流の流れを模倣したもので、AIはこのニューラルネットワークで入力を「色」や「形」、「模様」など注目すべき特徴量と呼ばれる情報に分解し、入力情報と判定モデルの情報を対応づけます。

そして、現在ではこのニューラルネットワークの考え方から発展した畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)と呼ばれるものが広く使われています。当初、CNNは画像認識の分野で大きな成果を収めたネットワークだったのですが、その性能の高さから最近では音の判定など様々な分野へ応用されています。音源分離AIはこのCNNを用いて学習をしております。

音源分離

音源分離は、人間の持つカクテルパーティ効果という認知機能を機械で再現するものです。
カクテルパーティ効果とは、カクテルパーティのようにたくさんの人が会話し、騒がしい環境下でも自然と自分の会話相手の声を聞き分けられるように、人は自分と関わりのあることについて注意を傾けて聴く「選択的聴取」を行っていることを指します。つまり、耳に入った音が脳で処理され、「音が聴こえる」までの間には、マイクが周囲の音を拾うことと比べてかなりの高度な処理が行われているのです。例えば、騒がしい環境で会話ができていても、その状況を録音をしたものを聞いたら何を言っているのかわからない、というようなことが起こりえます。

このことをAIでも行うためには、どうすればよいのでしょうか？
人間の聴覚系自体まだ解明されていない部分も多く、完全に再現することはできませんが、AIによって特定の音を抽出することは可能です。そのためには、AIに対し、「分離処理を行いたい音源」と「正解として扱う音源」の2種類のデータを用意し、こちらで前述したCNNに大量のデータを入力し、この2種類の音声の対応関係を学習させることで、AIは「分離処理を行いたい音源」から「正解として扱う音源」を抽出することが出来るようになります。(以下、図)

つまり、これを行うことで雑音の抑制が行えるように、すなわち、ノイズが含まれた音声からノイズの含まれていない音声を抜き出せるようになるのです!

活用が可能だと考えられる分野として以下のようなものがあります。

・会議議事録・・・会議音声の話者ごとの分離

・音声通信… 通信によるノイズを除去し、電話やテレビの音声をよりクリアにする。

・音声対話ロボット… 音声認識の精度向上

・自動採譜・・・楽器ごとに楽譜を作成

・補聴器・・・雑音を抑制し、騒音環境での聴きやすさを改善する。 , etc.

ノイズ混じりの原音から人の音声を分離するAI、コネクタの咬合音を検知するAIなどが開発されています。ここにAIを利用した音源分離のサンプルを掲載しておきます。

雑音環境下での人の声の分離

上が雑音入り音声、下が分離後の人の声です。

このAIは他にもバンドの楽曲からインストゥルメントとボーカルの音を分離したりすることに利用できます。以下はその例になります。

多人数の声から一人の声を分離

異なる学習のさせ方を行うことで、多人数が同時に喋っている状況から、一人の音声のみを抽出することにも成功しています。

一番上が二人が同時に喋っている音声で、下2つがそれらを分離したものです。

コネクタ嵌合音検出

開発されたAIの中でも有数の精度を誇り、検出率は９８%にも達します。現在、大手自動車メーカーの現場で活躍中です。

上は雑多な環境音であり、下はその環境からコネクタ音を抽出したものです。

音源分離について知っていただけたでしょうか？

ここまでご愛読いただきありがとうございました!

よろしければ弊社SNSもご覧ください！
Twitter https://twitter.com/crystal_hal3
Facebook https://www.facebook.com/クリスタルメソッド株式会社-100971778872865/

関連ソリューション：音源分離を業務で活用する場合は、クリスタルメソッドの音源分離システムもご参照ください。

よくある質問

Q. 音源分離とは何ですか？
A. 人間が雑音の多い環境でも会話相手の声だけを聞き分けられる「カクテルパーティー効果」と呼ばれる聴覚の選択的聴取をAIで再現し、混在した音源から特定の音声・楽器音などを抽出する技術です。

Q. 音源分離AIはどのような仕組みで動作しますか？
A. 画像認識分野で成果を上げた畳み込みニューラルネットワーク(CNN)を用いて学習します。「分離処理を行いたい音源」と「正解として扱う音源」の2種類のデータを大量に入力し、両者の対応関係を学習させることで、混在した音声から目的の音を抽出できるようになります。

Q. 音源分離技術はどのような分野で活用できますか？
A. 会議音声を話者ごとに分離する議事録作成、通信ノイズを除去する音声通信、音声認識の精度向上、楽器ごとに楽譜を作成する自動採譜、騒音環境での聞き取りを改善する補聴器など、幅広い分野での活用が想定されています。

Q. 多人数が同時に話している音声から特定の話者の声だけを抽出することは可能ですか？
A. 可能です。学習のさせ方を変えることで、複数人が同時に発話している音声から一人の音声のみを抽出することに成功した事例があります。

Q. 音源分離AIは製造現場でも活用されていますか？
A. 事例のひとつとして、雑多な環境音の中からコネクタの嵌合音を検出するAIが、大手自動車メーカーの現場で活用されています。

Q. 音楽の演奏パートを分離することはできますか？
A. できます。バンドの楽曲からボーカルとインストゥルメント（伴奏）を分離する処理にも、同じ音源分離技術が応用されています。

---