Google の「Geminiモデル」などと連携した生成AI機能のAPI「αU on cloud」を提供開始

KDDI株式会社

KDDIは2024年7月25日から、メタバース・Web3サービス「αU（アルファユー）」の機能（Google の「Geminiモデル」と連携した生成AIなど）を、企業が自社製品やサービスへ組み込み、高度化することが可能なAPIサービス「αU on cloud」を提供開始します。2024年2月に発表した「αU on cloud」（注1）は、バーチャルショッピングサービス「αU place」など、KDDIサービスへの導入から開始しましたが、このたび、スタートアップ企業を中心に一般提供を開始します。
利用を希望する企業は、スタートアップと大企業の生成AIを活用する共創プログラム「MUGENLABO 生成AI活用支援プログラム」（注2）を通じて申し込みが可能です。開発支援のほか、機能詳細やユースケースなどの情報提供もしていきます。

これにより、たとえば生成AIによる対話型サービスやコンテンツ制作支援ツールの構築が可能になります。活用事例の第1弾として、世界的に著名な電子音楽プロデューサー「deadmau5」などがプロデュースする音楽生成AI「KORUS」、およびARプラットフォーム「palanAR」と連携し、生成AIによる「音楽制作／楽曲にあわせた画像制作／楽曲・画像を組み合わせたAR空間での体験提供」が可能なシステムを開発しました。

＜αU on cloud活用事例＞

ユースケース公開にあたって、著名な音楽アーティストでもあるPixelynx共同創業者2名は次のように述べています。
「バーチャルの芸術性とインタラクティブなパフォーマンスにおいて、日本は常に最先端を走ってきました。KDDIのαU on cloud、palanARを通じKORUSを日本のファンに届けられることに、とても興奮しています。」Pixelynx 共同創業者 deadmau5（デッドマウス）
「KORUSがKDDIのαU on cloud、palanARとタッグを組み、共に限界に挑戦し、バーチャルアバターとインタラクティブな音楽ストリームを融合させ、パフォーマンスの未来を探求できることを非常に嬉しく思います。」Pixelynx 共同創業者 Richie Hawtin（リッチー・ホウティン）

KDDIは今後、「αU on cloud」を活用したユースケースをスタートアップとともに創出していき、一般のお客さまが身近に生成AIを体験できるサービスを提供していきます。

■αU on cloudについて

1. 概要

• KDDIは、メタバース／ライブ配信／バーチャルショッピングなど、現実と仮想を軽やかに行き来する新しい世代に寄り添ったメタバース・Web3サービス「αU」を提供しています。
• 「αU on cloud」は、「αU」の機能（生成AIやクラウドレンダリングなど）を、企業が自社製品やサービスへ組み込み、高度化することが可能なAPIサービスです。
• 例えば、服の画像1枚から体形に沿った試着イメージを生成し、店舗に訪れなくても自分が着たイメージを確認できるショッピング体験や、音楽ライブ映像の空間演出をリアルタイムに生成可能なエンタメ体験など、身近な生成AI体験を提供可能です。

「αU on cloud」は、Google の高性能な生成AIモデル「Gemini Proモデル」や Google Cloud のクラウドレンダリング「Immersive Stream for XR」などをはじめとする最先端技術と連携しており、KDDIの「αU」と組み合わさることで、革新的な体験の創出を可能とします。
「αU」における、生成AIに関する取り組み事例はこちら、クラウドレンダリングに関する取り組み事例はこちらをご参照ください。

2. 提供機能

• 大規模言語モデル（LLM）や合成音声（TTS）などの生成AIによる対話API
• 画像や音楽などのコンテンツ生成による各種クリエイティブ支援API
• 高精細なAR・VR表現を実現するクラウドレンダリングなどのXR技術提供

3. 対象者

スタートアップ企業

4. 利用方法

「MUGENLABO 生成AI活用支援プログラム」特設サイトからお申し込みください。詳細情報を順次ご案内します。

• https://www.kddi.com/open-innovation-program/mugenlabo/generative-ai/

■αU on cloudの活用実証（生成AIによる音楽制作からXRコンテンツ制作を一気通貫で）

1. 概要

「αU on cloud」を活用し、生成AIによる「音楽制作／楽曲にあわせた画像制作／楽曲・画像を組み合わせたAR空間での体験提供」を、一気通貫で利用できるシステムを開発しました。

（1）生成AIで音楽制作

世界的に著名な電子音楽プロデューサー「deadmau5」などがプロデュースする音楽生成AI「KORUS」と連携し、専門知識がなくともAIが音楽制作をサポートします。

（2）生成AIで楽曲にあわせたビジュアル制作

歌詞や音楽のテーマを入力するだけで、楽曲に沿ったビジュアルを制作可能です。2D画像だけでなく360度の全天球画像も作れるため、最新のヘッドマウンドディスレイで臨場感溢れるVR体験が可能です。

（3）生成AIでXRコンテンツ提供

音楽と360度空間ができ上がった後は、その空間内で動き出すアバターを制作可能です。例えば、生成AIに歌詞を入力し、感情に合わせたモーションを再生することも可能です。なお、アバターはVR体験だけでなく、スマートフォンをかざすことで現実世界と融合するAR体験も可能です。

＜XRコンテンツ体験＞

2. 各社の役割

• Pixelynx, Inc.

  ：音楽生成AI「KORUS」の提供

• KDDI

  ：「KORUS」のAIにより生成された音楽や生成AIによる画像生成機能をAPI経由で提供

• palan

  ：ARプラットフォーム「palanAR」にAPIを統合