ElevenLabs SFX APIを使ったサウンドボードの作成方法

無限に音を生成できるサウンドボードを想像してください。それがElevenLabsで開発したSB1です。こちらが無限サウンドボードです。見た目はクリックやキーボードショートカットで操作する一般的なパッドのグリッドですが、内部ではテキスト to サウンドエフェクトAIオーディオモデルで動作しています。

使い方は簡単で、思いつく音を説明するだけでSB1が生成します。あらかじめ定義されたデフォルトの音もありますが、それらも置き換えることができます。

アイデアからプロトタイプへ

私たちはシンプルな質問から始めました。「柔らかな森林の音」や「劇的な観客の驚き」といった説明を入力して、すぐに使えるサウンドエフェクトを得ることができたらどうでしょうか？

従来のサウンドボードは、オンラインで探し出す必要がある静的なMP3ライブラリに依存しています。適切なサウンドを見つけても、それが「まさに」欲しいものではないことが多いです。しかし、生成AIを使えば、それはもう問題ではありません。制限がなくなります。

コードに飛び込む前に、愛されるを使って、SB1になる基本的なプロトタイプバージョンを作成しました。まだAPIに接続されていませんが、デザインの選択やボタンの配置を実験する機会を得ました。その後、優秀なチームが最終的なUIとコードを作成しました。

動的なコンテンツを求めていました—その場で生成される任意のサウンド。私たちのソリューションの核はElevenLabs SFX APIです。このAPIは単一のエンドポイントの背後にあります：

プロンプト、必要なバリエーションの数（デフォルトは4）、APIキーをAuthorizationヘッダーに含めたJSONペイロードを送信します。

レスポンスは生成されたWAVファイルのURL配列を返します。そこからストリーミングやダウンロードを行い、各クリップをパッドに割り当てることができます。ループ設定も可能です。詳細なプロンプトを使用して、より具体的なサウンドを生成してください。

サンプルリクエストは次のようになります：

そして、4つのURLの配列が返されます。APIはあらゆるユースケースにスケールするように設計されています—即席のサウンドボード作成からゲームアセットの大量生成まで。

SB1インターフェースの構築

APIが整ったところで、フロントエンドに取り掛かりました。SB1はReactとTailwind CSSで構築されたウェブアプリです。各パッドコンポーネントには2つのモードがあります：

1. プリセット: 保存されたサウンドURLセットから読み込み
2. カスタム: SFX APIを介してユーザーが生成

カスタムモードで空のパッドをクリックすると、プロンプトダイアログが表示されます。説明を入力し、生成を押すと、APIが4つのオプションを返します。それらをインラインで試聴し、お気に入りを選んでパッドが即座に更新されます。キーボードバインディングを使ってキーを押してパッドをトリガーし、リズムやサウンドキューをライブで再生できます。

ループコントロールも追加しました。ループボタンを押し、ループしたいサウンドをタップすると、解除するまで再生され続けます。これにより、SB1はジョークだけでなく、ドラムマシンやアンビエントな雰囲気、ポッドキャスト、ライブストリームのサウンドキュー、ガイド付き瞑想にも役立ちます。

実際の例

アンビエントサウンドスケープ

• 小雨: "葉に滴る小雨"

• 大雨: "トタン屋根に降る大雨"

• 海の波: 岸に打ち寄せる柔らかな波

「葉に滴る小雨」や「岸に打ち寄せる柔らかな波」といったプロンプトを送信して生成しました。それらのパッドをループ設定にし、集中や瞑想の背景を作り出しました。

ドラムマシン

• 808キック: "超低音の808キック"

• スネアヒット: "タイトなスネアスナップ"

• オープンシンバル: "鳴り響くオープンシンバル"