📖 ZKIZ Archives

虛擬的初音未來憑什麽在現實中開演唱會

作為著名的“虛擬現實人物”，初音未來的演唱會一直受到廣泛的歡迎。喜歡她的人從來不覺得她是虛擬的，因為在一張透明屏幕上投射出現的初音未來看起來是那樣立體而真實。

為了營造這樣的感覺，在巨大的屏幕上投影需要利用20臺以上的投影機，並生成特殊加工之後的計算機圖像，通過把這些圖像重疊之後形成立體的映像。

通過透明的屏幕來投影映像固然很好，但缺點就是沒法產生亮度。如果把映像加亮，屏幕的透明度會降低，這會讓觀眾意識到屏幕的存在。為了不讓屏幕的透明度降低，初音未來一直都是暗暗的。

這也意味著現在的技術還有可以改善的空間。

在去年SIGGRAPHASIA的先端技術展示節“EmergingTechnologies”上，日本情報通信研究機構(NICT)展示了新的裸眼立體可視技術“fVisiOn”吸引了很多觀眾。相比於不需要3D眼鏡的裸眼3D電視，這種要在空氣中實現3D立體成像的技術的基礎研究仍在進行中。

在SIGGRAPHASIA2015，NICT展示的就是後者。fVisiOn是一個在直徑90cm的桌子上的直徑20cm的圓心放映區形成一個垂直畫角60度，水平畫角360度的3D映像設備。NICT把這個叫作“Glasslesstabletop3Ddisplay”，保證觀眾一邊繞著桌子走一邊可以看著中心的放映區，3D映像看起來就像站在桌子上一樣。

研究帶頭人、NICTUniversalCommunication研究所超臨場之感映像研究室的吉田俊介氏說：“安裝上其他的感應器之後，可以實現用動作輸入來操作人物。”這意味著未來的應用範圍還可以擴大。

在展示平臺上，除了卡牌遊戲，還有初音未來跳舞唱歌的表演。

其實實現裸眼3D立體成像理論很簡單，但要用硬件和軟件的各種技術組成之後才能夠實現。

首先，在桌子下面擺了一圈RGBLED光源的超薄型反射型液晶(LiquidCrystalonSilicon，LCOS)投射機。這個超薄型投射機的厚度只有7mm。由於fVisiOn需要288臺投影機，即便1組投影機低至5000日元也要到144萬日元。投影系統可以把圓弧按照每30度分割為一組，1組由24臺投影機組成。

每組投影機的解像度是全彩的400×400像素。如果把投影映像直接放映在直視的屏幕上是什麽都看不見的。因為，1組投影機投影的400×400的圖片不是初音未來的某個角度，而是一幅從正面到側面相連起來的圖像，“就像畢加索的畫一樣抽象”。

形成這樣的映像是由於fVisiOn獨特的光學設計。擺成圓狀配置的投影機放出來的映像不是直接投影在桌子上的放映區，而是在放映區的下面，通過下方的圓錐狀光學零件投射畫面。這個圓錐形零件不會擴散入射的光，而是直接通到圓錐內部。這樣，光要發散的時候，雖然會往垂直方向按60度的間隔擴散，但基本不會往水平方向擴散。

這樣做出來的fVisiOn的光學畫面和在平面的屏幕上放映的是兩種完全不同的結構。因此，fVisiOn的視覺設計與一般的渲染不同。

研究團隊開發了對應fVisiOn光學設計的CUDAbase的光線追蹤渲染器，之後裝在遊戲發動機的Unity里。在展覽會里表演的初音未來的唱跳表演都是Unity制作的。

雖然是400×400像素，但是現在要把這個從288臺攝像機的視角進行渲染，所以演算負荷較重。如果是演唱會，他們會把“GeForceGTX980”搭載在兩臺PC上進行描畫。

按照吉田氏所說，一張圖形卡可以處理4個2400×1600像素的畫面。然後再分成400×400像素的圖片傳送到各個投影機。

fVisiOn的好處在於可以一定程度上實現交互。或許未來，初音未來不僅能夠在臺上表演，也能實現更多的實時互動。

聲音合成+全息投影 代言小米的初音是怎麽成為宅男女神的？

趙雪嬌 2017-02-13 17:36

賣了好幾天關子，2月8日，小米的開年第一機紅米Note4X的代言人終於揭曉：二次元界最著名的日本虛擬偶像歌手——初音未來。雷音X初音……嗯，雷軍這次瞄準了2.6億二次元用戶。

盡管驍龍625 處理器、4100mAh長續航、1300萬像素相機和5.5"全高清屏的配置並無太大驚喜，1299元的售價也在意料之中，但紅米Note4X的限量套裝，完全就是為二次元飯們量身定制的初音未來全套周邊：內含全新紅米Note 4X 初音綠版，背面銘刻初音未來logo、限量編號，同時還配備限量版移動電源、初音未來手機保護殼，還可以下載初音未來主題。

2月14日，紅米Note4X初音未來限量版將在B站獨家預售。應援頁面的人數現在已經突破了100萬，預售時間也被提前到了淩晨0點。

小米官網圖片

不談小米這次打算去影響年輕人中特立獨行的二次元群體這回事，可能有很多人還對這個虛擬的萌妹並非十分熟悉。但實際上，這卻是在二次元界聲名遠播、擁有“世界第一公主殿下”之稱的宅男女神，是史上最成功的的虛擬歌手。

擁有如此強大的人氣和影響力，這個留著兩個綠辮子跳甩蔥舞的虛擬偶像，究竟是一種怎樣的存在？

初音未來的創造者——音樂合成軟件VOCALOID

初音未來是由日本音聲制作和音樂軟件制作公司CRYPTON FUTURE MEDIA（以下簡稱CRYPTON），在2007年以Yamaha的VOCALOID系列語音合成程序為基礎開發的音源庫。

日本聲優藤田咲錄制了構成日語的全部五十音的聲音信息（包含了不同音調和不同情緒傾向），然後加工為可與VOCALOID軟件對接的音源，並與畫師KEI創作的初音未來形象，共同作為這一音源的代表。

也就是說，有了VOCALOID，才有了初音未來。

所以，VOCALOID又是什麽？

上世紀90年代末，西班牙龐貝法布拉大學下的研究組MTG(Music Technology Group)和Yamaha合作開發出Vocaloid，其系統架構分為三部分：歌曲編輯器、音源庫和合成引擎。

VOCALOID使用的聲音合成技術最早被稱為“頻域音頻諧接法”。通俗點說，就是合成引擎收到歌曲編輯器傳來的樂譜信息後，會從音源庫選擇適當的聲音元素，再基於一定的參數拼接合成到一起，最終形成一首完整連貫的歌曲。

音樂合成軟件結構圖

這一過程會涉及到大量細節，而經驗豐富的YAMAHA恰好擅長對這些細節進行盡可能自然的處理。如果你要創作一首新的曲子，需要先規劃歌詞和音調，並在一個琴鍵界面（即歌曲編輯器）上進行編輯。接著，你可以更改每一個音符，並對生成的“唱詞”進行各項微調，包括呼吸力度、口的開合甚至顫音。通過這些調整，原本破碎的聲音數據就會變為連貫的類人電子聲音。

有知乎網友認為，與其他同類軟件相比，VOCALOID的優勢很明顯。從聽覺來說，VOCALOID是單音，但母音合並得十分連貫，而且是純粹的，也就是無感情參數的聲音，需要手動修改的程度和自由度都高一些。

而飴屋/菖蒲氏開發的UTAU的母音結合並不是很連貫，有些要靠連續音來達成。但UTAU的連續音與VOCALOID相比，也更能還原歌手的唱腔，但自由度會低一些。

從市場定位上來比較，VOCALOID面向的用戶比較專業，能夠手工指定這些高階參數也是意料之中的，所以至少在未來幾年內VOCALOID的合成質量會比另一款軟件CeVIO好。

3D技術助虛擬偶像突破次元壁

要讓初音未來等虛擬偶像突破次元壁，在演唱會上載歌載舞，呈現立體逼真的效果，動作捕捉、3D虛擬成像和3D全息投影技術是一切的基礎。

初音未來演唱會

動作捕捉技術通過紅外線攝像機以及資料處理的動作分析系統，透過由受試者身上反光球執行反射回來的光線，將運用攝像機拍攝到的2D影像轉換成3D資料，經過處理最終完成整個捕捉過程。

完成動作捕捉後，對生成的“人物骨骼”的“無痕”對接就需要由3D虛擬成像技術來完成。通過這項技術，創作者可以對人物形象進行修飾直到其符合受眾的審美取向。

在演唱會上，3D全息投影技術至關重要。它突破了傳統的聲、光、電，形成高對比度和清晰度的3D圖像。全球最大全息技術公司Sax 3D提供的全息投影顯示屏所具備的透明，不受光線影響的特點，為初音未來演唱會現場的視覺效果提供了保障。借助這項技術，人們無需佩戴眼鏡，通過空氣就可以看到偶像。

商業化的根基：UGC

擁有了具體形象、名字、歌曲，初音從最初的軟件生意，迅速成長為一個超級IP。初音的歌是電子合成，但是節奏鮮明，富有個性，也因此粉絲無數，而且你一定聽過她的代表作，那就是大名鼎鼎的《甩蔥歌》。擁有了超高人氣，Crypton對初音未來進行了一系列成功的商業運作——持續發行新單曲、每年舉辦的世界巡回全息投影演唱會、賣軟件拷貝、版權合作、代言廣告。

可以看出，初音未來的價值是帶動了虛擬歌手整條產業鏈的發展，包括音樂、畫師、動畫、遊戲、廣告代言、周邊產品售賣等等。早在2012年的《日本產經新聞》報道顯示，五歲的初音未來創下的經濟效益就已經超過100億日元（人民幣約8億元）。

初音未來，現在已經是日本人氣第一的虛擬偶像歌手，被死宅們稱為“世界第一公主殿下”。迷弟迷妹們也覆蓋到世界各地，當然也包括中國。2015年和2016年，初音的3D全息投影演唱會在上海連續舉辦。

在麻省理工學院講授日本流行文化的Ian Condry教授說：“初音未來是一個可以任意編輯的明星，是一個人人可以在其中進行自我創作的平臺，通過人們的積極參與，她變成了一個‘有人性’的溝通工具。”

虛擬偶像的本質是同人UGC。粉絲和音樂人可以參與到產業鏈上的每個環節，進行二次創作並受到產權保護，極大提升了他們的參與感與忠誠度。

日本深厚的同人文化土壤，造就了一大批初音未來這樣的虛擬偶像，但這似乎是一把雙刃劍。

2011年11月20日，OCALOID CHINA PROJECT（簡稱VCP）正式運營，由YAMAHA正式授權上海禾念代理（但產權及出版方仍屬於VOCALOID）。中文成員洛天依的經典歌曲《普通DISCO》還被李宇春翻唱而火爆一時，但公司卻因經營不善在2014年1月31日終止運營。

相比日本深厚的同人文化土壤，中文Vocaloid還處於不成熟的“青春期”。由於語言和聲庫的限制，中國接受Vocaloid的速度比較慢。雖然偶有《渺小的Producer》這樣的驚喜之作，但愛好者們的水平差異較大，暫時沒有以制作Vocaloid賣專輯為職業的人。所以，中國的初音未來何時出現，就要看市場何時能培養成熟了。

初音的走紅，並不是一個偶然現象。它與其他的虛擬人物不同。它有自己特有的設定圖，技術賦予了它可以與粉絲直接發生交流的平臺，打破了二次元虛擬世界的界限，大量優秀的創作者可以在平臺上討論與發揮，初音的形象借助技術也更為立體可以與粉絲產生互動——這是一個完整的粉絲經濟的鏈條。

而科技的發展，更加完善的虛擬偶像的產業也將在未來誕生。比起初音只能在手辦上、海報上、抱枕上等周邊中和禦宅族們為伴，隨著人工智能和全息技術的發展，次元壁將進一步被打破，和初音“對話”也並非不可期待。去年年底，日本公司Vinclu發布了一款全息交互的二次元萌妹子裝置GateBox，簡單來說，就像是Siri +全息的初音未來，這個形象是個20歲女生的全息萌妹子可以和用戶進行交流，你還可以用語音命令妹子打開家中的智能設備。

也許，一個全新的虛擬“歌姬”成為超級巨星的日子，並不遙遠。

文章評論

匿名用戶

發布

全部評論：10

發布