“小马声音延续计划”使用神经网络来模拟小马的声音

60

来自Equestria Daily的消息。

随着《友谊是魔法》剧集的完结,不少制作组的成员与小马相关作品的缘分也暂时告一段落,其中就包括主角的配音演员们。例如在最新的几个3D短片中,萍琪派的配音演员已经不再是Andrea Libman。这是否意味着小马们的声音会就此止步于剧本上的语句呢?

幸运的是,有一群小马爱好者正在尝试以人工神经网络的方式,将六位主角的声音“保存”下来。

该项目属于“小马延续计划”(Pony Preservation Project)中的“声音”(Voice)部分。项目使用的神经网络模型在经过现有语音素材的训练后,可以模仿六位主角的声音来念出你所提供的文本——即使文本内容并不在素材或者剧集的原本台词当中。

该项目所使用的神经网络工具由15.ai团队进行开发,而众多4chan网友和匿名人士通过对剧集数百小时的收集、清理和整理,提供了可用的对话素材。虽然素材的标准非常严格,必须是没有杂音的纯净语音,但是小马拥有整整9季剧集和5部电影以供筛选,能够提供充足的素材来应对复杂的发音需求。

麻省理工学院的计算机科学与人工智能实验室(CSAIL)在两年前为开发团队提供了项目的启动资金,此外MIT的朱莉娅实验室、林肯实验室媒体实验室也提供了一定的帮助。

目前15.ai团队在他们的官网展示出了几条项目成果,除了小马的六位主角以外还包括来自《传送门》《传说之下》《史丹利的预言》等作品的角色。相关应用程序也于3月3日在官网放出。不过意外的是在刚放出应用程序后不久,服务器就遭到了DDoS攻击,程序也不得不暂时下线。不过目前我们仍然可以在官网收听几条提供的样例

(2020年3月7日更新)程序目前已经重新上线,不过暂时只支持暮光闪闪以及小蝶的声音合成。

小马声音延续计划在4chan小马板块明确表示欢迎各位匿名用户加入,并且无论的技术水平如何,只要你感兴趣都能够为该项目提供帮助(并且提供了资料)。


下面是开发团队提供的合成声音例子:

TwAllight welcomes you to the Pony Voice Preservation Project

Artificial Intelligence

Twilight Sparkle; What is this? [neural networks reading]

Twilight Sparkle; The Last Question by Isaac Asimov [neural networks reading]

Twilight Sparkle; Interjection Copypasta [neural networks reading]

Fluttershy; Navy Seals Copypasta [neural networks reading]

后四个剪辑均取自Fifteen.ai,由与创作者无关的人员重新上传到YouTube。


(特别感谢Rainbow Float进行的原始资料整理和最初两版草稿,奈何站点设置不允许有两个作者署名)

关于作者

谁终将声震人间,必长久深自缄默;谁终将点燃闪电,必长久如云漂泊。

已有 60 条评论
  1. 只要不用于商业,仅仅为了满足马迷的兴趣和同人的创作。我觉得这个技术倒是值得肯定

    5月4日 18:55来自移动端1 回复
  2. 问一下,这个会不会侵犯了配音的权利

    3月25日 10:02来自移动端2 回复
  3. 问一下生成音频的感情声调怎么设置

    3月22日 12:08来自移动端 回复
  4. 还原度确实很高,就是还是有那么点机械

    3月16日 12:45来自QQ5 6 回复
  5. 现已增瑞瑞的

    3月15日 23:16来自移动端3 回复
  6. 瑞瑞的已经可以用了

    3月15日 15:351 回复
  7. MLP幕后庞大的团体开始运作,我被这力量震惊了!!这很魔法的

    3月14日 13:11来自移动端2 回复
  8. 生硬没有感情

    3月13日 23:33来自移动端3 回复
  9. 而且同一句话每一次生成出来还都不一样!好神奇

    3月13日 17:32来自QQ 回复
  10. 总有人会替我解决ai带来的信息隐患的!
    所以我要欢呼一下
    太像了!

    3月12日 22:13来自移动端 回复
  11. 感觉不错

    3月12日 19:01来自移动端 回复
  12. 流批

    3月12日 13:29来自移动端 回复
  13. 自制小马正剧不远啦

    3月10日 23:05来自QQ7 回复
  14. 让小马的声音永存

    3月10日 12:27来自移动端3 2 回复
  15. 这个必须支持啊!虽然在很多方面还有需要完善的地方

    3月9日 11:0711 回复
  16. B.G.Pony_8iK1

    这简直是神话。

    3月8日 16:511 回复
  17. 我个人认为不是攻击,是服务器太lo被外国马迷挤爆了

    3月8日 14:09来自移动端4 回复
  18. 哇,这个项目前景无限啊

    3月8日 11:04来自移动端3 回复
  19. 我刚刚试了一下,太强了,甚至已经能做出疑问和感叹的语气了
    话说第二个里面有小呆的声音,她才那么几句台词都能做出来!?

    3月8日 10:08来自QQ1 回复
  20. 云宝和小蝶的声音还原度较高

    3月8日 10:08来自移动端1 回复
  21. 二十年后,我们或许还能听到她们的声音……

    3月8日 08:56来自QQ3 2 回复
  22. Vannamelon模仿的声音是最像小蝶的YouTuber

    3月8日 02:02来自QQ1 回复
  23. 科技是魔法

    3月8日 01:50来自移动端10 回复
  24. 这个是真的强大

    3月8日 01:28来自移动端 回复
  25. 梦 回 G 4(泪,流了下来)

    3月8日 00:02来自移动端13 回复
  26. 将来是不是还要多加一条法律,人工智能模仿人类发音侵犯人类的发音权,或者人工智能模仿人类面貌侵犯肖像权之类的。
    人工智能这种东西,还不到它完全可以问世的时候,如果过早把它发明出来,我只能说,人类往地狱又近了一步。

    3月7日 21:28来自移动端6 3 回复
  27. 厉害了
    传说之下的声音文件直接提取就行了啊,都只有一个机械声音。还是说要弄马婷婷和小花那唯一有配音的两句话?

    3月7日 19:44来自移动端1 回复
  28. 不知道有没有人声和合成音再合成的操作可能性。毕竟情感的流露光凭合成模拟很难做到真实。如果技术负责原声声线,声优保证感情表达,二者融合起来就再完美不过了。

    3月7日 18:07来自iPhone4 回复
  29. 这种带着一点杂音的机械语音其实感觉挺有赛博朋克的味道的。希望不会有人用她们的声音来干些……不太好的事情。
    不过再想想看,能不能让她们说中文呢?

    3月7日 17:286 回复
    • Shung huoaul ju shiang hai yaung, jir you yee jir jiaan cheaung de ren tsaai neung daao da bee aan.
      通过反复尝试还是有可能像刚学中文的外国人一样说中文的(可以试试上面这段)()

      3月7日 18:02来自移动端4 回复
  30. 用科技重现魔法的声音

    3月7日 17:075 回复
  31. 为什么会有UT角色的“声音”?

    3月7日 14:55来自QQ 回复
  32. TwilAI
    FluttershAI
    LunAI
    celestAI有伴儿啦2333

    3月7日 14:15来自移动端15 回复
  33. 不管怎么说只要能听到m6的声音都可以了。

    3月7日 13:52来自移动端6 回复
  34. 论马圈的强大

    3月7日 13:46来自iPad6 回复
  35. 世界马迷大团结!

    3月7日 13:22来自移动端5 回复
  36. 如果大规模应用我希望我以后的听力考试是这样的!

    3月7日 13:06来自移动端11 回复
  37. 会不会收到律师函什么的_(:з」∠)_

    3月7日 12:46来自移动端 回复
  38. !!!!!🐮啊

    3月7日 12:19来自移动端 回复
  39. awsl

    3月7日 12:04来自QQ 回复
  40. 子夜微光

    我感觉就连这个带有机械音的配音都非常有感觉,要是可以把手机助手的声音换成这个就好了

    3月7日 12:00来自移动端3 回复
  41. 能听到这些声音,我简直太激动了。

    3月7日 11:57来自QQ 回复
  42. 太强了,这就是两脚兽科技(

    3月7日 11:00来自移动端9 回复
  43. 看了个这个的漫画配音,出了部分情况语音会失真外真的很还原了,期待后续

    3月7日 10:58来自QQ1 回复
  44. Cool!!!

    3月7日 10:40 回复
  45. 已经很还原了,之后肯定会越来越趋和实际的

    3月7日 10:15来自移动端 回复
  46. 标题一出立刻就惊到我了,一看内容更是惊艳。
    以前确实想过完结后缺乏原声声优的情况,当时以为这是无解的顶多只能请同人声优来模拟,还真没敢奢望靠技术手段合成感觉这像科幻电影里的情节。现在看到这些真的感动到哭。听到那几条合成音样例的时候有一种角色重生的亲切感尽管她们在我心中一直是鲜活的并且合成效果还有很大的进步空间。
    马圈一如既往的给予我惊喜与感动,这才是它应有的欣欣向荣之态。我愿称之为伟大的事业。致敬!

    3月7日 10:05来自iPhone21 回复
  47. awesome!

    3月7日 08:57来自QQ 回复
  48. 真的好惊艳!这说明以后同人视频质量会有较高的提升吧

    3月7日 08:36来自iPhone 回复
  49. 太伟大了

    3月7日 08:22来自移动端4 回复
  50. 这个声音真的好还原,不过有些地方还是有点机械音的感觉,短时间内应该不会替代同人声优,毕竟感情起伏是ai模拟不出来的

    3月7日 07:13来自移动端1 回复
    • 其实感觉感情也已经有一些了

      3月7日 10:41 回复
      • 感情也确实有,不过我在想要是想重现一集动画的那种感觉可能会很难,不知道他们团队要怎么克服类似愤怒甚至是嘲讽一类的强烈情感,总之科技的力量是伟大的,能模拟到这种程度真是令马惊叹
        好吧,😂我收回刚刚的言论,刚去15.ai试了下,这玩意牛逼疯了,没试的可以去试一下~

        3月7日 12:25来自移动端4 回复
  51. 终于来了

    3月7日 05:441 回复