OSCでclusterを「現実」まで拡張してみる――メタバースと現実をつなぐ、ちょっとニッチな話

こちらは、cluster公式企画「Cluster #1 Advent Calendar 2025」20日目（12月20日用）の記事です。

メタバースと現実を「繋ぐ」というお話

最近、「メタバースと現実を繋ぐ」という言葉を色々な場所や分野で耳にするようになりました。

Vtuberの方が現実世界でリアルライブを開催したり、

現実世界でプロのミュージシャンがメタバースでは個人名義で活動されていたり。

これら以外にも仕事、イベント、教育などなど…
使われる文脈は違っても、

メタバースは、
現実から切り離された特別な世界ではなく
現実と行き来できる場所

という考え方は共通しているように感じます。

clusterも、まさにその一例と思っています。

clusterにおける「現実と繋がる」方法

clusterで「現実と繋がっている」と聞いて、
まず思い浮かぶのは何でしょうか。

ヘッドマウントディスプレイを装着して、
自分の体の動きをそのままアバターに反映させる。
これは、今ではかなり一般的になりました。

最近ではさらに、

• WEBカメラと連動してアバターをトラッキング
• 外部ツールと連携して、ワールドや演出を制御する
• アバターの細かな表情や目、口の動きをトラッキング

といった使い方も増えています。

そして、その裏側でよく使われているのが
OSC（Open Sound Control） です。

「OSC」という言葉自体は聞いたことがある人も多いと思います。
OSCという言葉を知らない方も、知らないうちにその恩恵を受けているかもしれません。

KooTA

こんにちは、この記事を書いたKooTAです！
今回はOSCについて話したいと思います。

OSCって、結局なに？
何ができて、何がすごいの？

と聞かれると、
意外とちゃんと説明できない人も多いのではないでしょうか。

今回は、そんな 「みんな使ってるけど、実はよく知らないOSC」
について、少しだけニッチな話をしてみようと思います。

そもそもOSCとは？

Geminiに聞いてみると…

OpenSound Control（略して OSC）は、電子楽器やコンピュータなどの機器間で、音楽演奏データや制御データをネットワーク経由でリアルタイムに共有するための通信プロトコルです。

これは、カリフォルニア大学バークレー校にある CNMAT (Center for New Music and Audio Technologies) によって開発されました。

とのことです。

ざっくり言うと、

• 様々な情報を送信できる（整数、小数、文字列、バイナリ etc）
• リアルタイム性が高い
• 構造がシンプル（スラッシュ「/」で区切られた階層的なアドレス構造）

という特徴があります。

このような情報を、少ない遅延で別のソフトや機器に送る事ができます。

OSCすごい！

「通信プロトコル」と聞くと少し身構えてしまうかもしれませんが、実は私たちは日常的にいろいろなプロトコル（約束事）を使っています。

・あいさつ
　→「こんにちは」とあいさつすると「こんにちは」と返ってくる
　→挨拶が返ってきたので、日本語で今日の天気の話をする
　→会話が完了したので、「失礼します」と伝え終了する

・電話対応
　→電話を掛ける（通信経路を確保）
　→「もしもし〇〇です」>>>「はい〇〇です」で会話開始
　→伝えたい情報を正確に相手に伝える
　→相手の発言から、相手に情報が伝わっていることを確認
　→電話を切る（切断）

より技術的には…

・HTTP / HTTPS
　→Webサイトを見るときに使われているもの

・WebSocket
　→チャットやリアルタイム通信で使われることが多い

・MIDI
　→音楽機材同士を繋ぐための、かなり有名な規格

など、多くの通信プロトコルを私たちは日常で活用しています。

これらの通信プロトコルと比べた時のOSCの特徴としては、
「人間にわかりやすい構造」、「コンピュータにとっての柔軟性」、
「リアルタイム性」に特化しています。

文章やファイルを送るのではく「今この瞬間の状態」を通信するのが得意です。
そのためアバターの動きやギミック制限の用途と相性が良いものになります。

OSCの一般的な活用方法

clusterでよく見かけるOSCの使い方としては、

• カメラトラッキングと連動してアバターを動かす
• 配信ソフトや音楽ソフトと連携する
• 外部コントローラーからワールド上のオブジェクトを操作する

といったものがあります。

つまり、現実側の入力をそのままメタバースに持ち込むという使い方です。

KooTA

自分はメタバースでギタリストとしても活動しているのでOSCにはとても助けられています。

特にWEBカメラやスマートフォンのカメラを使っての全身トラッキングは、楽器を持ちながら演奏するミュージシャンにとって革新的でした！

OSCのちょっとニッチな活用方法

ここから少しだけ、知ってる人は知っているけれど、あまり広まっていない使い方についての話をします。

OSCは「数値を送れる」仕組みなので、理論上は 物理的なデバイス とも相性が良いです。

ボタン・スイッチ・ダイヤル・各種センサーなど、現実のモノの状態をOSCに変換してclusterへ送ることができます。

現実で何かが起こる⇒メタバースの世界が反応する、という流れが作れます。

するとどうでしょうか？

現実がメタバース側に拡張されていくような感覚になっていきますね…！！

ArduinoとOSCの話

こうした使い方を考えたとき、よく名前が挙がるのがArduino（アルディーノ）です。

Arduinoは誰でも手軽に電子工作やプログラミングができるオープンソースのマイコンです。

Arduino自体はとても手軽ですが、これをOSCで活用してcluster上のワールドに反映させるにはどうすればよいのでしょうか…

そこで自分は、Arduinoのシリアル通信をOSCに変換するツールを作ってみました。

Simple UART to OSC

Arduinoのシリアル通信を手軽にOSCへ！というコンセプトでブリッジツール 「Simple UART to OSC」を製作しました。

これは、Arduinoのシリアル通信 (UART) で送信されるデータを、Open Sound Control (OSC) プロトコルにリアルタイムで変換し、ネットワーク経由で送信するためのシンプルなソフトウェアです。

これを使うことで比較的簡単にOSC通信でclusterにデータをやり取りすることが可能です！

KooTA

簡単に言うと、違う言葉を繋ぐための翻訳機です。
Arduino側の実装はシンプルに、PC側でOSCに変換するという考えで作ってみました。

OSCとメタバース

理論上、OSCを使えば、

• 現実の展示やイベントと連動したワールド演出
• 物理デバイスとclusterの双方向連携
• 現実の状態をリアルタイムで反映する体験

といったことも実現可能です。

やっている人が少ないだけで、「できない理由」は実はあまりありません。
つまり、アイデア次第で面白い仕掛けを作り放題！！！！！

夢もどんどん広がりますね！

おわりに

OSCは、派手な機能ではありません。

clusterでOSCが使える、という話自体もそこまで珍しいものではありません。

ただ、「それで何ができるの？」「結局、何が面白いの？」
というところまで踏み込んで語られることは、意外と少ない気がしています。

今回の記事では、正解や完成形を示すというよりも、
「こんな繋ぎ方もあるよ」という視点を紹介しました。

OSCは、使いこなせばすごい技術、というより「遊び方を少し広げてくれる道具」だと思っています。

clusterの中で、少し変わったことをしてみたい人の参考になれば幸いです。

ArduinoとOSCを使ったワークショップを開催します

2025年12月28（日）13：00から、clusterでワークショップを開催します！

その名も…

WORKSHOP IN METAVERSE
メタバースdeワークショップ！作る×学ぶ×つながる～clusterで学ぶ電子回路と遊びの世界～

この記事でも解説したOSCを使って、

・Arduinoの基礎を学ぶ
・Arduinoで簡単な電子楽器を作る
・作った電子楽器のコードを書き換え、OSC経由でcluster上で楽器演奏してみる

のような流れで、初心者の方でもわかりやすい電子回路のワークショップを行う予定です。

主催はセイ論主義の相方CHiHAYA氏ですが、私もいろいろ制作進めております！

clusterで自分だからこそできる企画はこれしかない…！
前例もないのでどんな内容になるか、自分でも未知数でわくわくしています。

少しでも興味があれば、ぜひ参加してみて下さい！！
あなたのご参加をお待ちしています！！