虛擬樂器的理念、開發與實現

Image

簡介

由於時代的進步,科技的發展,人們對於樂器的概念也逐漸轉變,各種感測器推陳出新,使得虛擬樂器的製作不再是夢想。基於施國琛教授的理念,以科技為骨幹,樂器的本質為靈魂,因此有了製作虛擬樂器的動機。
我們的虛擬樂器採用手部感測器Leap Motion和微軟所開發的Kinect,透過這些感測器追蹤人體部位,並使用標準的聲音傳送通訊協定 MIDI 從虛擬樂器傳訊號到音源庫來發出聲音,藉此研究科技、音樂、多媒體之間的相互交融的可能性。

虛擬電鋼琴

虛擬爵士鼓

Image Image

利用Leap Motion 的雙紅外線攝影機之間的視差來追蹤手部3D 動作,並使用標準的聲音傳送通訊協定 Midi 從虛擬樂器傳訊號到音源庫來發出聲音。

由C++程式語言撰寫而成,運用Kinect v2 的紅外線偵測並結合人體骨架技術抓取人體影像與位置,
搭配繫在鼓棒上的Arduino面板作為加速度的觸發器,觸發來自Sonar音源庫的聲音,達到爵士鼓的效果。

虛擬非洲鼓

虛擬吉他及貝斯

Image Image

藉由 Kinect 的骨架捕捉技術和 Unity 3D物件控制偵測使用者動作,當手部位置抵達樂器判定點時便發出聲音。

以 Kinect 追蹤五指指端,左手手勢為音調,右手節點碰觸白色方塊,感應為黃色後訊號傳入 Sonar 並奏出吉他或貝斯音色。

虛擬腳鍵盤

Image
虛擬腳鍵盤使用Kinect作為感應的器材,鍵盤的排列與鋼琴相同,以Kinect本體作為感應左右的基準,右腳作為感應前後的基準,移動左腳來進行演奏。
Chinese, Traditional