Hatebu近年、さまざまな分野でAIの活用が進んでいます。Studio」に搭載された音源分離機能や歌声合成機能のほか、作曲支援やサンプルの分類や自動生成などその活用例は多岐にわたります。Machines」も、そんなAIを活用した音楽制作ツールのひとつです。Machines」は、もともとソニーCSLのパリオフィスで20年近い期間かけて研究されてきた技術を元にしています。Car」はAIが機械学習し作曲した音楽として、当時大きな話題になりました。当時はAIがどこまで作曲できるかは未知数だったこともあり、またボタンひとつで自動で作曲できるイメージもあり、一部ではAIが人間の作曲家に取って代わられるという懸念の声もありました。エンジンで編曲するというものです。実際の採用部分を取捨選択するのはユーザーであり、AIはあくまで作曲の提案をするものなんです。ソニーCSLの開発チームには、アーティストや音楽クリエイターがより良い音楽を作れるようにすることや、幅広い層の人が作曲できるようになるためのツールとしてAIを提供していきたいという狙いがありました。Professional」を開発。Mobile」がリリースされました。Machines開発チームでプロジェクトエンジニアを務める岸治彦さん、プロモーション担当の松阪郁子さんにインタビュー。Studioとの連携可能性についても伺いました。主な機能としてはメロディを作る機能が挙げられます。Machinesは、どういった学習データを使えばクリエイターの意図に沿ったメロディをAIに作曲させることができるかというところに比重を置いており、それを実現するために「スタイルパレット」という概念を作りました。Machinesの学習データのことです。1つのスタイルパレットは、8小節のコード進行に合わせた10個のメロディで構成されています。Machinesでは「POP」「EDM」など、音楽ジャンルによって異なるメロディとコード進行の特徴をとらえた200種類以上のスタイルパレットを展開しており、それぞれが学習した楽曲データに基づいて新しいメロディを提案してくれます。Machinesに自分の作ったメロディとコード進行を学習させてオリジナルのスタイルパレットを作成することも可能です。Machinesには、AIが提案するメロディの長さ・複雑さや、コードとメロディのマッチ度を調整するパラメータ機能も搭載しています。加えて、ユーザーがAIから提案されたメロディの中から気に入ったものを選んでお気に入り保存していける機能や、他の小節を維持したまま特定の小節だけを再コンポーズする機能などもあります。MIDI書き出し機能も搭載されているため、コンポーズされたメロディを書き出してDAWや別の作曲アプリにドラッグ&ドロップで移すことで、すぐに自分の楽曲に取り込むことができます。Machinesのアプリ上で編集することも可能です。ブラッシュアップしたメロディを保存しておけば、後でそのMIDIデータを書き出し、DAWで再編集することでより自分好みのメロディにすることもできるので、アイデアのメモ帳的に使うこともできます。AI作曲ツールというと、全てAIが曲を作ってしまうイメージがあり、将来的にAIが音楽クリエイターに取って代わられるのではないかという危機感を持つ人もいるかと思います。Machinesはあくまで音楽クリエイターの作曲を支援するためのツールという位置付けであることです。Machinesを使っていただいて、そこで得られた新しいアイデアを元に作曲を続けていく......といった使われ方を想定してのものです。Machinesを“AIアシスト楽曲制作ツール”という呼び方にしています。ちなみにソニーCSLのAI音楽チームでは、他にも同様の考え方に基づいたツールを開発しています。ベースのフレーズやドラムパターンが浮かびにくかったり、より個性的な音作りをしてみたいというニーズを持った方もいらっしゃいますよね。我々としても、AIが音楽制作においてサポートできるのは作曲以外の領域にもいろいろとあると考えており、ベースのフレーズを生成する「BassNet」やドラムのリズムパターンを生成する「DrumNet」、ドラム音を生成する「DrumGAN」といったツールをそれぞれ開発しています。一般の方でも使えるアプリのような形ではまだ公開していませんが、ソニーミュージック所属のアーティストに試しに使ってもらうなど、ソニーCSLの研究成果として発表しています。Machinesが作成したメロディの著作権についてです。機械学習によって作られたメロディの断片には一般的に著作権がないと言われていますが、率直に言えばグレーゾーンに属します。AIの学習データにビートルズの楽曲を利用した場合、もしかしたら原曲と似たメロディが生成されてしまう可能性もある。いうこともあって、学習データであるスタイルパレットに用いる全ての楽曲はソニーCSLで内製しています。ソニーミュージック所属のアーティストに学習データの制作をいただく場合は権利ごと買い取る形にしています。Machinesで作られたメロディの著作権を、弊社や学習データとなる楽曲の制作者が主張しないことを謳っています。Machinesに学習させることもできますので、もし自分で商用音楽を機械学習させたスタイルパレットが原曲とよく似たフレーズを作ってしまった場合は使わないようにするなど、ユーザー側でも著作権違反には注意していただければと思います。いったものができてしまった場合でも、非商用のものとして、個人で楽しむ分には問題はありません。Machinesでは、クリエイターが自分で作ったメロディを学習させて、オリジナルのスタイルパレットを作成することもできます。Machinesのスタイルパレットのデータ制作を、ソニーミュージックに所属されているアーティストに委託する場合、8小節のフレーズを10個用意してもらうのでは無く、まず曲全体のメロディを作っていただき後からソニーCSLにて8小節毎のフレーズを切り出して利用する場合もあります。以前は「4小節、8小節のフレーズを10個ずつ3セット分お願いします」という形で発注して、学習データの元ネタを直接作っていただいていました。そのやり方だと皆さん、最後のほうはアイデアが出てこなくなってきて、かなり大変な作業になってしまうことがあります。作業を続ける中で、最初から曲になっていると流れでアイデアも出てくるということがわかってきて、ひとつの長尺の曲から切り出していく方法に変えたんです。一概には言えませんが、たとえば「J-POP」というスタイルパレットの場合、学習データとして作っておいた曲をAメロ、Bメロ、サビに切り分けて、そこからさらに「(J-POP)A・B・C」という3種類のサウンドパレットに展開しています。Aメロを作るのがどうしても苦手だから、Aメロ専用のスタイルパレットを作ってほしいというユーザーからの要望もあったりするので、需要はあると思いますね。それも本当にクリエイターの皆さん次第というところですが、たとえば開発に協力してくれたクリエイターの中には、最初にジャズのスタイルパレットを使ってフレーズを作り、次にJ-POPのスタイルパレットを使うといった、我々が想定もしていなかった使い方をしてくれた方もいらっしゃいます。何か作曲のアイデアが浮かんだらICレコーダーに録音するなどして常日頃からアイデアをストックしておき、それを後でつなげるといった形で作曲してきたクリエイターは多いと思います。Machinesがアシストするのは、そういった作曲の仕方と感覚的には近いと言えるかもしれません。口を揃えて言われることは、“自分の発想にないものが生まれる”といったことや、“作曲をアシストしてくれる存在”などですね。先ほどご説明したお気に入り保存機能や作曲パラメータによる調整機能、特定の小節だけを再コンポーズする機能もクリエイターの皆さんのフィードバックを受ける形で追加したものなので、今後もフィードバックをいただきながら随時改善を図っていきます。Machinesを使って楽曲制作に初めてトライしてくださいました。自分は楽器も弾けないので、トップラインができた後にコードを当てていくアプローチで作ることが多いのですが、1曲完成させるまでに当てはめたコードが正しいか人に聞いて確認しなければいけなかったり、すごく時間がかかってしまいます。Machinesの場合は先にコード進行が決まるので、それにあわせてメロディを作るという順序で曲を作ることができる。時間的なロスが少なくなるメリットは大きいですね。それと1人で作曲していると曲がどうしてもフラットな展開になりがちです。Machinesでサビだけ作ってからAメロとBメロを自分で作り変えると、フラットな展開になりにくいですし、かつ自分のカラーも出しやすいと感じます。MachinesにはiOSアプリ版とMac版があります。11.0以上となります。Proなどの主要DAWにMIDIファイルを取り込んで利用いただくことが可能です。11月下旬にはオーディオファイルによる書き出しもできるようになります。Studioとの連携もしやすくなりますので、ぜひこの記事を読んでいるユーザーの皆さんには楽しみにしていただければと思います。Professional」という名称でプロの音楽クリエイター向けのツールとして開発していました。実際に展開してみると自分で作曲できるプロよりは、yoncaさんのようにシンガーや演奏家としてすでに音楽に関わっている方や、これから作曲を始めてみたいビギナーの方のニーズによりマッチしているのではないかと考えるようになりました。Studioとの相性は、その意味でも非常に良いと考えています。Machinesが立ち上がり、メロディを自動で生成できるようにするといった展開の仕方を考えています。Spark」をリリースしました。Spark」と合わせて使っていただくことを想定していて、同パックの音を使って作った楽曲を学習データとして作成したスタイルパレットということになります。併用してみていただければ幸いです。Machines以外にもさまざまなAIを活用したツールの開発を進めており、すでにブラウザベースで使用できるものもいくつかございます。Studioに実装することができると良いなと思っています。Fukunagaが日々更新される音楽情報について思ったことを綴るブログです。(78)引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。