Flag

Image Image Image Image Image Image Image Image Image Image

You are here

反「聲」性:肢體互動式樂器與3D虛擬場景建置

這時代,身體之於聲音不再只有單向接收,還能藉著科技輔助成為聲音發生的載體。本次專題希望讓人感受聲音存在的各種形式,找回自己身體與聲音之間的微妙連結。

一、用雙手瞬間改變嗓音 聽見不同的自己

第一支聲音轉換程式以人聲為基礎,加上 MAX/MSP 技術;感測裝置接收到使用者聲波後,將發送 MIDI 訊號至 MAX/MSP 控制系統。使用者發出聲音的同時,也能用雙手決定要發出怎麼樣的音色。

使用者移動雙手時,Kinect 感測器會讀取空間資料,並將雙手位置即時顯示在程式介面(圖中圓點)。根據所觸碰的變聲效果不同,使用者可選擇低音、回聲、高八度、機器人音等特效,程式再即時播放成果。當聲音在人體與程式間來回輸入、輸出的過程中,使用者可以由聽覺發現自己的更多可能性,藉以探索不同嗓音所建構的新自我。

二、肢體即樂器 演奏出身體真實旋律

以下二款兩款肢體互動式樂器,使用者僅須透過揮動、觸碰、旋轉等簡單動作,即可輕鬆演奏互動式虛擬樂器。使用 Kinect 人體骨架追蹤系統為主架構,可精準追蹤使用者頭部及身體共20個關節點位置。

除了人體骨架追蹤系統外,還加入 Light Coding 3D 深度感測技術,偵測人體雙手三維空間中的位置,增加操作過程的多樣性。程式使用上,使用者只要觸碰光球、揮動按鈕,前後移動改變距離,即可演奏出不同音符,還能利用手式調整音高以及音色,在鋼琴、吉他等樂器間切換。

此外,非寫實樂器的程式介面,意圖打破人們對樂器 「發聲」(vocalizing) 已定型化的想像;只要是聲音發生的載體──甚至是我們的身體──都可以作為樂器的一種形式。使用者運用肢體演奏時,直接將自我融合在樂器中,參與音樂的生成過程,為自己「發聲」 。這些從肢體最直接演奏出的節奏,正是潛藏在我們身體中的真實旋律。

四、跨感官初體驗! 聽見畫面 看見聲音

除以上聲音元素外,本專題也嘗試進行跨感官的感知連結;以各種音樂旋律所表達的不同情緒意境,打造沉浸式立體擬真場景。使用 Unity 進行 3D 場景建置,再選搭模組、光線、粒子等視覺特效進行細部調整,讓使用者透過視覺體驗「聲音」。

藉由以上本專題三大主軸,使用者既可以透過肢體動作,重新體驗身體與聲音之間的微妙連結,同時也能在視覺與聽覺交錯中,感受聲音發生的各種可能。

Chinese, Traditional