火星网校
让霉霉中文开口跪”的AI有开源平替了！每月立省350（doge）
发布时间：2023-11-11 17:43:21 浏览量：112次
郭德纲用英语说相声
丰色 发自 凹非寺
|公众号QbitAI
能让霉霉中文开口跪、郭德纲用英语说相声的那个AI——
有开源平替了！
这是用它让罗翔进行英文普法的效果，张三李四“要素齐全”：
以及英文讲人生哲理“你的内心有没有幽暗的成分”（cr: line xiongjie lin）：
相比起来，虽然和原产品（也就是HeyGen）有一点差距，但是网友的评价是：
也还可以。
主要有了它，咱们在本地就能无限玩视频翻译，直接好处那可就是每月立省350～（手动狗头）
毕竟，HeyGen再厉害，也只有2分钟免费时长。
具体瞧瞧。
HeyGen开源平替来了
这个视频翻译平替名叫MyHeyGen，来自b站UP主：@ai浮世绘。
他的首页里还有很多效果展示，比如这个新鲜出炉的“这英”。
除了英文，MyHeyGen还支持转法语、日语等共计16种语言。
视频翻译的三个流程：音频翻译、翻译校正和视频唇纹合成，它全部一个流程解决。
如果你想亲手试试，步骤也不复杂。
大概流程是先环境准备：
需要分别去Huggface申请个token、去百度翻译申请个AppKey，并下载权重和checkpoints文件。
然后就可以git clone安装了。
开始测试之前，记得将你要翻译的视频下载保存到本地。
然后在执行命令中提供其保存路径+想要翻译成的语言代码（比如’en’代表英语）+翻译好的视频保存路径就可以坐等了。
命令的完整格式如下：
python translate.py 原视频文件路径 目标语言代码 -o 保存路径
有网友实测成功：
不过，还是必须得满足16G显存才ok，以及windows用户可能需要自己再解决一下兼容问题（up主该视频底下有人提供了方法）。
如果这些都不行，可以再等等colab实现，up主表示在测试中了。
效果方面，可以发现MyHeyGen音色复刻得很是到位，用了最新的语音克隆开源技术XTTS v2。
投喂给AI一个明星的采访视频，它就能克隆其中的声音讲不同的话。
这是推特博主@Gorden Sun用霉霉的声音测试的一个效果：
，时长00:10
至于MyHeyGen的缺点，大家看完表示也明显。
比如有人反映口形有一些不同步，有人则吐槽遇上面部大幅活动就容易“抽风”（如本段开头的“这英”）等等。
但整体玩一玩还是ok的。
One More Thing
仔细一翻，HeyGen的开源替代品还真不少。
有俄罗斯程序员也在业余时间做了一个：HeyGenClone。
用的是谷歌翻译，可以支持上百种目标语言，但只支持原语言为英文的视频。
由于只给了一个很短的俄语效果展示，不是很好评鉴，这里就不放视频了～
参考链接：
[1]https://twitter.com/dotey/status/1722543725459452211
[2]https://twitter.com/gorden_sun/status/1722439866112463163
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
3. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
4. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
7. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
8. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
