為什么要教小冰唱歌？

時(shí)間：2022-03-31 06:36:01 | 來源：行業(yè)動態(tài)

時(shí)間：2022-03-31 06:36:01 來源：行業(yè)動態(tài)

唱歌是微軟小冰在人工智能的聲音創(chuàng)造方面取得的巨大突破，甚至可以說是語音合成技術(shù)領(lǐng)域的最高限。在昨天與媒體的交流中，微軟小冰首席語音科學(xué)家欒劍透露了微軟之所以教小冰唱歌的初衷：第一，在語音領(lǐng)域，唱歌的技術(shù)門檻比說話高；第二，音樂的情感表達(dá)更加豐富和激烈；第三，音樂是一個(gè)很重要的娛樂形式。



微軟小冰首席語音科學(xué)家欒劍

因此，選擇唱歌這樣一個(gè)極具挑戰(zhàn)的領(lǐng)域，一方面能夠推進(jìn)微軟小冰人工智能框架在語音方面的研究，另一方面，通過這種更為大眾廣泛接受的產(chǎn)品和成果，也能更容易獲得用戶的交互和反饋信息，反過來推動技術(shù)的發(fā)展。

2015年，我們第一次聽到了微軟小冰的聲音生動活潑、古靈精怪，這樣一個(gè)萌妹子人設(shè)很快俘獲了眾多消費(fèi)者的心。雖然那時(shí)候的她已經(jīng)具備了很多聲音技能，比如兒化音、中英文混雜的朗讀、講兒童故事等等，但在音樂方面卻是一竅不通。

而在短短的四年時(shí)間里，小冰是如何快速從一個(gè)音癡變成一個(gè)唱作歌手的呢？欒劍介紹，小冰的學(xué)習(xí)渠道有兩種，一是和人類歌手學(xué)習(xí)，二是識別曲譜進(jìn)行演唱。對于人來說，可能前者是相對簡單和廣泛的學(xué)習(xí)方式，但機(jī)器恰恰相反，后者的輸入方式更加便捷和清晰，能夠減少很多誤差。

通過參數(shù)合成的方法，小冰團(tuán)隊(duì)采集了發(fā)音、 節(jié)拍、旋律這三大音樂元素，并對聲譜參數(shù)、節(jié)奏序列、音高軌跡分別建模，根據(jù)三個(gè)參數(shù)統(tǒng)一構(gòu)建模型，生成最終聲音波形。

和所有的深度學(xué)習(xí)任務(wù)一樣，這個(gè)過程需要大量數(shù)據(jù)的支持。然而，在AI唱歌領(lǐng)域，清唱數(shù)據(jù)卻嚴(yán)重缺乏，絕大部分?jǐn)?shù)據(jù)都是混雜著伴奏的音軌，這樣的干擾對于人聲的提取和模型的訓(xùn)練提出了巨大挑戰(zhàn)。對此，小冰團(tuán)隊(duì)通過人聲部分檢測、音素時(shí)刻對齊、音高軌跡提取等方式彌補(bǔ)了不足。

現(xiàn)在，小冰已經(jīng)在演唱和作曲方面雙開花。比如，在音樂平臺中充當(dāng)虛擬歌手，既可以發(fā)單曲，也可以幫助音樂公司完善歌手庫；比如，為音樂創(chuàng)作者演唱歌曲小樣；再比如，通過音樂生成平臺，小冰還可以為音樂創(chuàng)作者提供許多音樂制作的工具。接下來，我們還會把更多的人工智能元素加進(jìn)去，幫助大家作詞、作曲，或者在已有詞曲基礎(chǔ)上進(jìn)行修改和完善。在這方面，她會給音樂領(lǐng)域帶來巨大的經(jīng)濟(jì)價(jià)值。欒劍表示。