“小马声音延续计划”使用神经网络来模拟小马的声音

60
Want create site? Find Free WordPress Themes and plugins.

来自Equestria Daily的消息。

随着《友谊是魔法》剧集的完结,不少制作组的成员与小马相关作品的缘分也暂时告一段落,其中就包括主角的配音演员们。例如在最新的几个3D短片中,萍琪派的配音演员已经不再是Andrea Libman。这是否意味着小马们的声音会就此止步于剧本上的语句呢?

幸运的是,有一群小马爱好者正在尝试以人工神经网络的方式,将六位主角的声音“保存”下来。

该项目属于“小马延续计划”(Pony Preservation Project)中的“声音”(Voice)部分。项目使用的神经网络模型在经过现有语音素材的训练后,可以模仿六位主角的声音来念出你所提供的文本——即使文本内容并不在素材或者剧集的原本台词当中。

该项目所使用的神经网络工具由15.ai团队进行开发,而众多4chan网友和匿名人士通过对剧集数百小时的收集、清理和整理,提供了可用的对话素材。虽然素材的标准非常严格,必须是没有杂音的纯净语音,但是小马拥有整整9季剧集和5部电影以供筛选,能够提供充足的素材来应对复杂的发音需求。

麻省理工学院的计算机科学与人工智能实验室(CSAIL)在两年前为开发团队提供了项目的启动资金,此外MIT的朱莉娅实验室、林肯实验室媒体实验室也提供了一定的帮助。

目前15.ai团队在他们的官网展示出了几条项目成果,除了小马的六位主角以外还包括来自《传送门》《传说之下》《史丹利的预言》等作品的角色。相关应用程序也于3月3日在官网放出。不过意外的是在刚放出应用程序后不久,服务器就遭到了DDoS攻击,程序也不得不暂时下线。不过目前我们仍然可以在官网收听几条提供的样例

(2020年3月7日更新)程序目前已经重新上线,不过暂时只支持暮光闪闪以及小蝶的声音合成。

小马声音延续计划在4chan小马板块明确表示欢迎各位匿名用户加入,并且无论的技术水平如何,只要你感兴趣都能够为该项目提供帮助(并且提供了资料)。


下面是开发团队提供的合成声音例子:

TwAllight welcomes you to the Pony Voice Preservation Project

Artificial Intelligence

Twilight Sparkle; What is this? [neural networks reading]

Twilight Sparkle; The Last Question by Isaac Asimov [neural networks reading]

Twilight Sparkle; Interjection Copypasta [neural networks reading]

Fluttershy; Navy Seals Copypasta [neural networks reading]

后四个剪辑均取自Fifteen.ai,由与创作者无关的人员重新上传到YouTube。


(特别感谢Rainbow Float进行的原始资料整理和最初两版草稿,奈何站点设置不允许有两个作者署名)

Did you find apk for android? You can find new Free Android Games and apps.

关于作者

谁终将声震人间,必长久深自缄默;谁终将点燃闪电,必长久如云漂泊。

已有 60 条评论
  1. 覆叶

    只要不用于商业,仅仅为了满足马迷的兴趣和同人的创作。我觉得这个技术倒是值得肯定

    2020年5月4日 18:55来自移动端2 1 回复
  2. 不悔梦何来

    问一下,这个会不会侵犯了配音的权利

    2020年3月25日 10:02来自移动端4 回复
  3. 小林JK

    问一下生成音频的感情声调怎么设置

    2020年3月22日 12:08来自移动端 回复
  4. WBSS-VE'NAN

    还原度确实很高,就是还是有那么点机械

    2020年3月16日 12:45来自QQ5 6 回复
  5. 战火英雄

    现已增瑞瑞的

    2020年3月15日 23:16来自移动端3 回复
  6. 瑞瑞的已经可以用了

    2020年3月15日 15:351 回复
  7. 守星人

    MLP幕后庞大的团体开始运作,我被这力量震惊了!!这很魔法的

    2020年3月14日 13:11来自移动端2 回复
  8. 星光Starlight大道

    生硬没有感情

    2020年3月13日 23:33来自移动端3 回复
  9. 站在山顶上的猎豹

    而且同一句话每一次生成出来还都不一样!好神奇

    2020年3月13日 17:32来自QQ 回复
  10. 2017.8.18~2020.6.8失踪

    总有人会替我解决ai带来的信息隐患的!
    所以我要欢呼一下
    太像了!

    2020年3月12日 22:13来自移动端 回复
  11. 感觉不错

    2020年3月12日 19:01来自移动端 回复
  12. 流批

    2020年3月12日 13:29来自移动端 回复
  13. 一个身怀绝技の苹果

    自制小马正剧不远啦

    2020年3月10日 23:05来自QQ7 回复
  14. 『Flutteryay』

    让小马的声音永存

    2020年3月10日 12:27来自移动端3 2 回复
  15. 这个必须支持啊!虽然在很多方面还有需要完善的地方

    2020年3月9日 11:0712 回复
  16. B.G.Pony_8iK1

    这简直是神话。

    2020年3月8日 16:511 回复
  17. 悟死参玄

    我个人认为不是攻击,是服务器太lo被外国马迷挤爆了

    2020年3月8日 14:09来自移动端4 回复
    • ~BronyACHolly~

      进那个服务器要排队的

      2020年3月8日 22:34来自移动端 回复
    • 行者无疆

      这个确实是受到了攻击 外国友人们都是这么说的

      2020年3月9日 00:44来自移动端 回复
    • Rainbow Float

      官方发推说的被攻击了 不过已经加保护措施了

      2020年3月9日 17:57 回复
  18. 江边鸟

    哇,这个项目前景无限啊

    2020年3月8日 11:04来自移动端3 回复
  19. 一四呀一四

    我刚刚试了一下,太强了,甚至已经能做出疑问和感叹的语气了
    话说第二个里面有小呆的声音,她才那么几句台词都能做出来!?

    2020年3月8日 10:08来自QQ1 回复
  20. 彩虹冲刺

    云宝和小蝶的声音还原度较高

    2020年3月8日 10:08来自移动端1 回复
  21. Puppysmiles

    二十年后,我们或许还能听到她们的声音……

    2020年3月8日 08:56来自QQ3 2 回复
  22. LoveMLP3000

    Vannamelon模仿的声音是最像小蝶的YouTuber

    2020年3月8日 02:02来自QQ1 1 回复
  23. 笨猫Studio♪

    科技是魔法

    2020年3月8日 01:50来自移动端10 回复
  24. 云宝

    这个是真的强大

    2020年3月8日 01:28来自移动端 回复
  25. 旅者

    梦 回 G 4(泪,流了下来)

    2020年3月8日 00:02来自移动端13 回复
  26. 博才多艺

    将来是不是还要多加一条法律,人工智能模仿人类发音侵犯人类的发音权,或者人工智能模仿人类面貌侵犯肖像权之类的。
    人工智能这种东西,还不到它完全可以问世的时候,如果过早把它发明出来,我只能说,人类往地狱又近了一步。

    2020年3月7日 21:28来自移动端6 3 回复
  27. sunset

    厉害了
    传说之下的声音文件直接提取就行了啊,都只有一个机械声音。还是说要弄马婷婷和小花那唯一有配音的两句话?

    2020年3月7日 19:44来自移动端1 回复
  28. Twilicious

    不知道有没有人声和合成音再合成的操作可能性。毕竟情感的流露光凭合成模拟很难做到真实。如果技术负责原声声线,声优保证感情表达,二者融合起来就再完美不过了。

    2020年3月7日 18:07来自iPhone5 回复
  29. Nightscream

    这种带着一点杂音的机械语音其实感觉挺有赛博朋克的味道的。希望不会有人用她们的声音来干些……不太好的事情。
    不过再想想看,能不能让她们说中文呢?

    2020年3月7日 17:287 回复
    • jazspid

      Shung huoaul ju shiang hai yaung, jir you yee jir jiaan cheaung de ren tsaai neung daao da bee aan.
      通过反复尝试还是有可能像刚学中文的外国人一样说中文的(可以试试上面这段)()

      2020年3月7日 18:02来自移动端5 回复
      • 站在山顶上的猎豹

        说的啥,听不出来

        2020年3月13日 17:24来自QQ 回复
  30. 小马Flintie

    用科技重现魔法的声音

    2020年3月7日 17:075 回复
  31. MagentaSS

    为什么会有UT角色的“声音”?

    2020年3月7日 14:55来自QQ 回复
    • Rainbow Float

      只是为了好玩233

      2020年3月7日 16:322 回复
  32. 就是小砖同学啦~

    TwilAI
    FluttershAI
    LunAI
    celestAI有伴儿啦2333

    2020年3月7日 14:15来自移动端16 回复
  33. 不管怎么说只要能听到m6的声音都可以了。

    2020年3月7日 13:52来自移动端6 回复
  34. Judy

    论马圈的强大

    2020年3月7日 13:46来自iPad6 回复
  35. .. 日长似岁

    世界马迷大团结!

    2020年3月7日 13:22来自移动端5 回复
  36. 飞机派Pie

    如果大规模应用我希望我以后的听力考试是这样的!

    2020年3月7日 13:06来自移动端13 回复
  37. 硼霜

    会不会收到律师函什么的_(:з」∠)_

    2020年3月7日 12:46来自移动端 回复
    • Rainbow Float

      在官网About页面有写哦

      2020年3月7日 16:332 回复
  38. 一卷厕纸

    !!!!!?啊

    2020年3月7日 12:19来自移动端 回复
  39. Puppysmiles

    awsl

    2020年3月7日 12:04来自QQ 回复
  40. 子夜微光

    我感觉就连这个带有机械音的配音都非常有感觉,要是可以把手机助手的声音换成这个就好了

    2020年3月7日 12:00来自移动端3 回复
  41. 射天狼

    能听到这些声音,我简直太激动了。

    2020年3月7日 11:57来自QQ 回复
  42. 高卢鸡

    太强了,这就是两脚兽科技(

    2020年3月7日 11:00来自移动端9 回复
  43. Hornero

    看了个这个的漫画配音,出了部分情况语音会失真外真的很还原了,期待后续

    2020年3月7日 10:58来自QQ1 回复
  44. monkey

    Cool!!!

    2020年3月7日 10:40 回复
  45. AAwesomEE

    已经很还原了,之后肯定会越来越趋和实际的

    2020年3月7日 10:15来自移动端 回复
  46. Twilicious

    标题一出立刻就惊到我了,一看内容更是惊艳。
    以前确实想过完结后缺乏原声声优的情况,当时以为这是无解的顶多只能请同人声优来模拟,还真没敢奢望靠技术手段合成感觉这像科幻电影里的情节。现在看到这些真的感动到哭。听到那几条合成音样例的时候有一种角色重生的亲切感尽管她们在我心中一直是鲜活的并且合成效果还有很大的进步空间。
    马圈一如既往的给予我惊喜与感动,这才是它应有的欣欣向荣之态。我愿称之为伟大的事业。致敬!

    2020年3月7日 10:05来自iPhone21 回复
  47. 一四呀一四

    awesome!

    2020年3月7日 08:57来自QQ 回复
  48. 真的好惊艳!这说明以后同人视频质量会有较高的提升吧

    2020年3月7日 08:36来自iPhone 回复
  49. 八二年的瓶装水

    太伟大了

    2020年3月7日 08:22来自移动端4 回复
  50. 星耀StarTwinkle

    这个声音真的好还原,不过有些地方还是有点机械音的感觉,短时间内应该不会替代同人声优,毕竟感情起伏是ai模拟不出来的

    2020年3月7日 07:13来自移动端1 回复
    • monkey

      其实感觉感情也已经有一些了

      2020年3月7日 10:41 回复
      • 星耀StarTwinkle

        感情也确实有,不过我在想要是想重现一集动画的那种感觉可能会很难,不知道他们团队要怎么克服类似愤怒甚至是嘲讽一类的强烈情感,总之科技的力量是伟大的,能模拟到这种程度真是令马惊叹
        好吧,?我收回刚刚的言论,刚去15.ai试了下,这玩意牛逼疯了,没试的可以去试一下~

        2020年3月7日 12:25来自移动端4 回复
  51. 帕帕艾博CreeperAbel

    终于来了

    2020年3月7日 05:441 回复