【AI】元歌手と判別できないレベルのAI歌声合成、名古屋工業大学と音声ベンチャーが開発[12/14]

1しじみ ★2018/12/14(金) 14:59:47.35ID:CAP_USER
名古屋工業大学 国際音声言語技術研究所と音声合成を柱とするベンチャー企業テクノスピーチは12月12日、これまでの歌声合成とは一線を画す、元の歌い手の声質、癖、歌い方といった特徴を捉えた歌い方をディープラーニング技術などの適用で実現した。約2時間分の音声データで学習し、日本語、英語、中国語に対応する。

 名古屋工業大学の徳田恵一教授を中心とするチームはこれまで、隠れマルコフモデルを使った統計的手法により、音声合成のOpen JTalk、歌声合成のSinsyを開発し、提供してきた。テクノスピーチはこれらを発展させた商用製品CeVIO Creative Studioの開発にも携わっている。今回の新技術はこれらを新たな次元に推し進めるものと言える。

 名古屋工業大学とその出身者によるテクノスピーチの共同研究は、2019年3月に開催される日本音響学会2019年春季研究発表で公開される。

 Sinsyと同じく、人手による調整がされていない「ベタ打ち」の歌詞付き楽譜データをMusicXML形式で与えるだけで、元歌手の特徴を再現する。

今回のデモはCeVIOで歌声を提供している、さとうささら、IAが使われていることから、CeVIOの将来バージョンまたは後継製品で使われることも予想される。

 故人である三波春夫さんをバーチャルシンガーにした「ハルオロイド・ミナミ」がCeVIOに対応する歌声として製品化しているが、この新技術を使った、本物と区別がつかない仮想三波春夫による「世界の国からこんにちは」を期待したいところだ。

http://image.itmedia.co.jp/news/articles/1812/14/koya_cevio2.png
http://image.itmedia.co.jp/news/articles/1812/14/koya_cevio3.png

※記事の音源はこちらのlinkから聞けます
https://www.techno-speech.com/news-20181214a

ITmedia NEWS
http://www.itmedia.co.jp/news/articles/1812/14/news089.html

182ニュースソース検討中@自治議論スレ2018/12/19(水) 07:07:04.19ID:cw6J3wDr
冨田勲が亡くなる前にそこそこ使えるボーカルシンセサイザーが間に合ってよかったという別の感動はあったけどね

183ニュースソース検討中@自治議論スレ2018/12/19(水) 07:10:32.97ID:T3G9iYfr
書道をAIが書いてるようなもんかな。
機械学習できれいな書体を機械がかけたとしても、ツールとして便利だけど出力したものに感動はないよねという。
ただし知らなければ騙されるだろうけど、それなら死ぬまで騙し続けてもらわないと困る

184ニュースソース検討中@自治議論スレ2018/12/19(水) 07:20:59.47ID:T3G9iYfr
でも技術はすごいよな。
凄いんだけど素直に感嘆できないんだよな最近の技術。
電子マネーにしろなんにしろ。これが老いか

185ニュースソース検討中@自治議論スレ2018/12/19(水) 07:48:06.83ID:Lq3Ew3mH
>>184
なんか分かる。
ルパン三世の最新シリーズで、ネット技術やクラッキングを駆使した盗みや追跡等の表現がされてたんだけど
凄く地味なんだよね…
アニメという創作物の枠内ってところを差し引いても、PCやネットで完結する技術は何故か感動やワクワクに結びつかない怪

とはいえ、人の手で調整せずに>>1まで出来るのは凄いなw ボカロ界隈にも再びフィーバー来そう

186ニュースソース検討中@自治議論スレ2018/12/20(木) 02:10:53.40ID:lNtdXGDA
>>184
ボトルネック解消に向けての改良だよ
キー入力がなければ音声入力で代用する

187ニュースソース検討中@自治議論スレ2018/12/20(木) 02:42:41.62ID:c4GEaPwo
>>176
日本語の場合人による微調整は必要だろうな

188ニュースソース検討中@自治議論スレ2018/12/20(木) 03:19:24.37ID:8andnIPh
>>186
なんかコワイな

189ニュースソース検討中@自治議論スレ2018/12/20(木) 04:48:37.96ID:Dvw4W1Az
>>183
ツールとして便利で、完成に至るまでのコストが超絶安い
その結果として現れた作曲文化の裾野の広がり、多様性こそが初音ミクの本質だよ

そもそも初音ミクの歌は、別に人間の歌う歌の劣化版というわけではない
初音ミクというツール、文化が存在しなかったら決して生まれなかった、作曲家自身から
直接生まれて形になった歌なわけで、人の歌とは成り立ちからして別物だよ

別に、その上で「人の歌の方が好き」というのは全く自由だけど、その辺に思い至りもしない
というのは、音楽鑑賞の上で相当問題があると思うぞ

190ニュースソース検討中@自治議論スレ2018/12/20(木) 05:33:07.50ID:/W/DBiai
なんだよ元歌手って。
元歌手とは判別できない程の音痴雇ってもしょうがないだろ。

191ニュースソース検討中@自治議論スレ2018/12/20(木) 05:35:13.50ID:/W/DBiai
>>185
映画のマトリックスは古いビルに侵入して廃棄された
オフィスに残った配線にひとつだけ残ってる電話機から
交換機に侵入する表現の序盤の方がスリリングでカッコいいじゃん。

192ニュースソース検討中@自治議論スレ2018/12/22(土) 11:28:40.00ID:pU1RH2Hn
最新テクノロジー駆使するより声優雇う方が安いという現実

193ニュースソース検討中@自治議論スレ2018/12/23(日) 09:06:58.71ID:pgzqJjTb
いずれ、音痴のあなたが歌った録音を自動修正して、音程の正しい歌唱の
録音データーにしてくれるソフトは実現するだろう。

全国の音痴の皆さん、期待してね。

194ニュースソース検討中@自治議論スレ2018/12/23(日) 15:20:30.45ID:pgzqJjTb
ジャリタレとかアイドル歌手も、実際には音程が不良で、エコーをかけずには
BGM無しでは聞くに堪えないレベルの者がよく居る。そういう本来歌手として
2流3流の技量しかなくても、修正ソフトを使って音程を直すことでCDとして
売れるレベルの作品に仕上げることができるのだ。

195ニュースソース検討中@自治議論スレ2018/12/24(月) 00:44:07.34ID:+Q3nbSZU
歌唱の巧さは音程だけじゃないだろう。
下手の歌を2時間学習したらやっぱり音程以外は下手なんじゃないか

196ニュースソース検討中@自治議論スレ2018/12/24(月) 00:48:33.30ID:ywwDdyoy
>>195
何を言ってるんだ歌下手な人を元にしたら「ちゃんと」音もはずしてくれるだろ?

197ニュースソース検討中@自治議論スレ2018/12/24(月) 01:17:24.76ID:jzTYZTDX
富山さんとか塩沢さんとか加納屋さんを復活させられそうだな

198ニュースソース検討中@自治議論スレ2018/12/24(月) 01:56:52.95ID:0OZv9K6/
脳内口パク

199ニュースソース検討中@自治議論スレ2018/12/24(月) 11:35:06.70ID:kAyY6dFb
亡くなった声優なんとかしてくれ!

200ニュースソース検討中@自治議論スレ2018/12/24(月) 12:44:09.74ID:+Q3nbSZU
>>196
2時間学習させるときに楽譜を見せる必要がないのならば
(今の機械学習ならその可能性がある)、
音痴の歌唱も、そういう音程の歌だと学習する。
その学習結果と楽譜の組み合わせによる歌唱では音程は外れない。

学習時に楽譜の必要があるのかないのか、どちらなのかによる

201ニュースソース検討中@自治議論スレ2018/12/24(月) 17:14:20.78ID:/r4SI0cZ
美空ひばりを蘇らせることができたなら、
マリアカラスを蘇らせることができたなら、
パバロッティを蘇らせることができたなら、
水木一郎を蘇らせることができたなら、
どれほどすばらしいことかと。

202ニュースソース検討中@自治議論スレ2018/12/24(月) 17:53:58.27ID:J6Pe56cg
有名歌手の場合は著作権とかどうなるんだろ?

203ニュースソース検討中@自治議論スレ2018/12/24(月) 19:05:31.37ID:ywwDdyoy
>>200
くせをおぼえこませるんやったら音符のままの歌との差が大切になるから学習段階では音源と楽譜はセットって考えるのが自然じゃない?

204ニュースソース検討中@自治議論スレ2018/12/24(月) 20:36:29.05ID:JSKD4FqK
岡田有希子をもう一度!

205ニュースソース検討中@自治議論スレ2018/12/24(月) 23:51:14.84ID:JXpZwQ9K
>>201
水木一郎死んだの?

206ニュースソース検討中@自治議論スレ2018/12/26(水) 10:34:38.44ID:AAHXUJjd
木口喇叭手は死んでも音霊となって喇叭の音を鳴り響かせました。
進め進め兵隊進め!進め一億火の玉だ。贅沢は敵だ。討ちてしやまん。

207ニュースソース検討中@自治議論スレ2018/12/26(水) 14:35:22.22ID:27wxp7gL
二時間分のサンプルでここまでなるのか。
数十時間数百時間分学ばせたらもう違い分かんなくなるんじゃないの。

この手法ってアニメの動画とかにも使えると思うんだよな。3DCGじゃない、人の手描きによるキャラの造形を
そのまま学んで中割りカットを描いてくれるAI

208ニュースソース検討中@自治議論スレ2018/12/26(水) 17:45:51.59ID:kd3OJPYG
>>207
音と違って絵は素材表現が出来ていない元絵から動きつけるのは難しいだろう、一度3Dにしないと裏側も書けないし
角なのか髪なのか、鎧なのか服なのか

209ニュースソース検討中@自治議論スレ2018/12/26(水) 19:28:06.01ID:mBkVMckF
https://youtu.be/3nx7_G5R0oA
この技術が発達すれば政治家のスキャンダル捏造も思いのまま

210ニュースソース検討中@自治議論スレ2018/12/26(水) 23:15:03.39ID:AAHXUJjd
「VOCALOIDの競合となるのか?中国人天才少年が開発した歌声合成ソフト、Synthesizer Vの破壊力」
https://www.dtmstation.com/archives/22760.html

211ニュースソース検討中@自治議論スレ2018/12/26(水) 23:55:05.52ID:OCghCEB1
ブレスがずいリアルで驚いた。
こりゃいよいよAKBも終わるな。

212ニュースソース検討中@自治議論スレ2018/12/27(木) 01:04:35.67ID:WUMyDB5p
>>207
今のプログラムは二時間で飽和するのかもしれない。

213ニュースソース検討中@自治議論スレ2018/12/27(木) 12:37:50.88ID:B4VqKe9w
>こりゃいよいよAKBも終わるな。

大丈夫まだ*営業という手がアル。

214ニュースソース検討中@自治議論スレ2018/12/27(木) 13:34:14.06ID:DyRAPePk
これ発音のクオンタイズを微かに前のめりに調整すれば間延びせず聴けそうだな
あとは発声時の「擦過音」の音質がもっとクリアな感じにならないと、
声のリアルさにはほど遠い。
スマホで通話してる感じの音質だもの。
エフェクトで誤魔化さずに使えるような、ボーカルパートの元音源に使えるのは
どれくらい先だろうか?・・・

215ニュースソース検討中@自治議論スレ2018/12/27(木) 19:16:19.06ID:bwFSROv/
2010年 GUMI Packaged https://youtu.be/eJnKnLW2ArA
2012年 IA 鳥の詩
https://youtu.be/1CU9tJRlDbk

216ニュースソース検討中@自治議論スレ2018/12/28(金) 07:21:07.70ID:uW3HvL+j

217ニュースソース検討中@自治議論スレ2018/12/29(土) 14:50:12.37ID:c/p4jo3D
元歌手が音痴だったり下手糞だったら、教え込まれたAIも同じように音痴や下手糞に
なるわけだな。

218ニュースソース検討中@自治議論スレ2018/12/30(日) 08:10:00.71ID:Y4mG0F7Y
>>217
そういうふうにもできるし、うまく歌わせることもできる、のだろうね

219ニュースソース検討中@自治議論スレ2018/12/30(日) 10:34:22.56ID:jvee1E24

220ニュースソース検討中@自治議論スレ2018/12/31(月) 15:18:01.05ID:Fc6cyMR6
女の歌手の歌い方の特徴をそっくり盗んで、男の歌手の声で歌わせるとか
できるかもな。美空ひばる、とか

221ニュースソース検討中@自治議論スレ2019/01/02(水) 18:11:53.08ID:OXoa97dj
陛下のお言葉も今にソフトが代わりに読み上げるようになるのか。

222ニュースソース検討中@自治議論スレ2019/01/12(土) 09:09:13.05ID:89sxoMBv
そのうち美貌の少年少女を整形で作り、その声を元にして
AIソフトが裏で歌を歌って、口パクでもって歌手兼タレント
としてデビュー、それが普通の時代になるのかもしれないな。

223ニュースソース検討中@自治議論スレ2019/01/12(土) 10:34:40.44ID:a0ZkL0R0
整形なんて面倒な事をせずとも、ロボアイドルで十分だろ
今でも画面だけならバーチャルしとる

224ニュースソース検討中@自治議論スレ2019/01/12(土) 12:20:33.96ID:89sxoMBv
おらさぁはあ、初音ミクだべや。
歌をば歌うべや。聞いてくんろ。

今後はこういうのが流行るべき。

225ニュースソース検討中@自治議論スレ2019/01/14(月) 07:44:29.73ID:EqP8tKaX
各地の日本の地方語で自然に会話したり歌えるソフトが欲しいね。

あるいは一太郎のようなワープロも、標準日本語から各地方語に
変換する機能が欲しい。あるいは文語表現と現代語表現を変換
したり、明治、大正、昭和初期に新聞などで使われていた字体に
文章の表記を置き換えるような機能とか。草書体で印刷できる
機能なども。

226ニュースソース検討中@自治議論スレ2019/01/14(月) 08:47:49.12ID:F3XCyReK
一周回ってケロケロヴォイスで自然な声から遠ざかる。
ケロケロハルオフォン。

227ニュースソース検討中@自治議論スレ2019/01/14(月) 09:35:12.86ID:hC0Azn2T
初音ミクなどのボカロの歌声はどうしても好きになれなかったけどこれなら良いんじゃないかな
これで自分で楽曲を作れるならボカロよりずっといい
更なる改良を進めて欲しい

228ニュースソース検討中@自治議論スレ2019/01/14(月) 13:06:51.16ID:14/MqfAH
初音ミクが職失いそうだな

229ニュースソース検討中@自治議論スレ2019/01/14(月) 13:34:55.37ID:CLXUD+ih
>>217
口パク禿おっさんアイドルには朗報だな。

230ニュースソース検討中@自治議論スレ2019/01/14(月) 14:05:17.94ID:YWIJiQP/
早く実用化しないと
悟空を永遠に闘わせるために

231ニュースソース検討中@自治議論スレ2019/01/15(火) 07:41:43.18ID:AXtfnf7o
多くの実在の歌手とその声や歌声の対応を学習させることにより、
任意に連れてきた人の顔の形や体形などを見せて、その人の声でも矛盾が無い
と人間が思うような声や歌声をAIに提案させることができるだろう。
たとえば既に死んでいて声などどこにも記録がないような人でも、
肖像画や彫刻を元にして矛盾感の出ない声を合成できる可能性がある。

それをさらに発展させれば、アニメのキャラとその吹き替えで使われている声優の
台詞の対をたくさん学習させる。何百のアニメキャラと声優の対応関係を学習
すると、それを元にAIは、任意にもって来られた漫画や今後制作する予定の
キャラの画とか設定をみて、それがアニメの中でしゃべるとすればこんな感じの
声になるというのを出して来ることができる可能性が高い。

そのソフトに、新幹線の写真を与えれば、如何にも新幹線ならこういう声を
出すかもしれないと思う声がでるし、ヤカンならこういう声を出すかもな、
郵便ポストならこういう声を出すかもな、などと思える声で話したり
歌うなどが実現するかもしれない(CMなどに使えるかも)。

232ニュースソース検討中@自治議論スレ2019/01/15(火) 13:23:55.04ID:XV2CLiyV
>>231
それ安田大サーカスのクロちゃんだとどうなるんや

新着レスの表示
レスを投稿する