inswapper-512-live模型计划于2月11号发布

随风漂流 · 发表于 2025-1-31 11:36:45

本帖最后由随风漂流于 2025-1-31 11:55 编辑

inswapper-512-live初始测试版本计划在 2 月 11 日左右发布。

Inswapper-512-Live 是一款超轻量级换脸模型，可提供原生 512x512 分辨率。与 inswapper_128模型相比，它需要的计算资源不到inswapper_128模型的 1/10，但生成的输出像素数是inswapper_128模型的 16 倍（512x512 与 128x128）。

目前rope, facefusion和roop_unleashed都是用的inswapper_128模型, 128分辨率换脸后很模糊, 需要开启高清修复才清晰, 但是开启高清修复后很费显存, 对于直播换脸来说, 有时候很卡

Inswapper-512-Live这个512分辨率的模型2 月 11 日发布出来后, 不管是视频换脸还是直播换脸, 再也不用开启高清修复这个占用显存极高的选项, 如果Inswapper-512-Live模型计算资源真的不到不到inswapper_128模型的 1/10 , 那么对于实时直播换脸, 3060显卡应该可以做到实时无卡顿的直播换脸

对于实时直播换脸来说, 很多人不想露脸直播, 或者是直播的时候想变的更帅更美, 对于相似度要求并不高, 只要求直播换脸更帅更美(我个人需求是这样的), Inswapper-512-Live模型的发布对于直播换脸无疑是非常的好, 对显存要求低又清晰

模型评估

随着继续收集更多样化的测试数据，表中的数字可能会有所波动。

模型	输出	参数	GFLOP	相似度	真实感	属性
INSwapper_128	RGB格式 128x128	138.3 M	174.7 G	86.9	63.3	78.8
INSwapper_Cyn	-	-	-	92.8	75.9	80.6
INSwapper_Dax	-	-	-	92.5	86.0	81.5
INSwapper_Dax(w Optimizer)	-	-	-	93.4	90.2	87.7
INSwapper_512_live_base	RGB 512x512 分辨率	9.5 M	12.1 G	87.0	73.7	80.1
INSwapper_512_live_mini	RGB 512x512 分辨率	4.7 M	6.3 G

从上边的测试结果来看, INSwapper_Dax(w Optimizer)这个模型得分最高, 但是不知道是否发布

参数 Params：网络中的参数数量，值越小表示模型文件大小越小。
GFLOPs：以 FP32 为单位测量的计算复杂度（如果使用 FP16，则减半），值越低表示推理速度越快。

模型评估指标说明：
相似度：使用第三方高精度人脸识别模型评估生成的人脸与源人脸之间的相似性。相似度分数是使用源图像和输出图像的特征嵌入之间的余弦相似度计算的，缩放到 0-100 的范围，其中分数越高表示相似度越高。
真实感：此指标评估生成的面的真实感和清晰度。我们采用了一个全面的评估框架，该框架结合了 FID 分数、定制设计的面部清晰度指标和人类感知评估。分数范围从 0 到 100，分数越高表示结果越真实、越清晰。我们使用了一个由数百张高分辨率面部图像组成的测试集，并在测试时间内在 160x160 和 640x640 像素之间随机调整大小。
属性：此指标评估生成的人脸与目标人脸的属性之间的相关性，包括姿势、凝视方向、表情等因素。我们使用第三方面部属性模型来提取生成图像和目标图像的特征表示。然后计算这些特征向量之间的相似性以获得最终的指标分数，范围从 0 到 100，分数越高表示属性对齐越好。

AI001 · 发表于 2025-1-31 12:00:16

支持作者

ryan1944 · 发表于 2025-2-1 02:19:37

支持轻量化工具，感谢作者分享

due999 · 发表于 2025-2-1 15:31:27

还是不错的支持一下

永殇紫天 · 发表于 2025-2-5 10:43:42

超级期待，坐等更新

dacaishen · 发表于 2025-2-5 19:00:29

新年快乐，期待发布

永殇紫天 · 发表于 2025-2-13 09:05:12

13号了，还没有发布，难产了。。。

mjy9921129 · 发表于 4 天前

难产了吗？？？？

		自动登录	找回密码
密码			立即注册