转DFL换脸技术关键三要素
本帖最后由 woshini 于 2024-9-15 17:10 编辑素材---模型---方法
----------------------------三个关键要素缺哪个都影响着整个换脸效果https://dfldata.xyz/static/image/hrline/1.gifhttps://dfldata.xyz/static/image/hrline/1.gif
---换脸目的就是把SRC的面貌特征整体搬到DST上
---从脸庞能让人分辨出是某人，无不在于动作，表情及神情姿态
---要把这些特征能尽可能的搬到DST上，模型架构很重要，这就是为什么我热衷DF模型架构的原因之一
---模型是面折射镜，效果好坏全靠素材的映射，模型再好若没好素材就成了面照妖镜
---好素材、好模型，出好效果后还需要好方法才能合成出好的效果
素材
---所谓一套完整的SRC素材，包含各种角度，各种光景，各种表情，各种神态；除非你是要做大工程，不然并没有必要去追求
---SRC素材只要有DST的角度范围内的表情，神态，特征已经能完成一次换脸操作
---素材如果缺角度，那效果就不能换出SRC的角度样子（换出来轮廓看上去不像，百分之60的不像都因轮廓）
---素材如果缺表情，那效果就不能体现SRC的表情特征（换出来该闭眼的没闭，该笑的却在哭等）
---素材如果缺光影，那效果就不能溶入DST的背景光线（脸部出现闪烁，颜色不对，很难融合等）
---素材清晰度是各人追求，如果DST素材原本不算高清，也没必要SRC的超清，非要毛孔都出来的，这也是一种追求
---总的来说，素材如果不齐，效果就不可能会好，最关键的要素
模型
---当你有了一套完整的SRC素材，如果没有好的模型去给你映射出效果，那也是需要花费很大的时间与精力
---是不是有时训练的迭代数很多很久都觉得不像SRC？又或者SRC素材本来很齐全，却怎么都练不出好的效果？怎么看都留有DST的影子？很难变得清晰？这时你就要考虑是模型的问题
---如果用亚州女性人像练的模型，在换男性人脸时会很慢，换欧美人时会更慢，为什么？因为人像练出来的模型局限性很大，不同人种的五观位置不一样，限定模型在某个特定区域对色彩的学习
---这种情况常在遇到五观位置差别大时就会出现，一但出现就要通过开启各种参数来重新调整让模型学习
---把模型当作一辆车，一档起步，到了时速20KM时换二档，30KM换三档，40KM换四档，50换五档，80以上换6档
---相当于在训练过程中视迭代效果来开启各项参数，以保证模型的正常学习率
---后来对模型研究有了深入的了解和突破，相当于把一辆车的各项性能都调较得比较完美，只需要一组参数就能跑到输出，连LRD，GAN都不需要了。相当于起步一档就到120KM
---所以有好素材，没有好的模型，效果也不会有预期中的理想，好模型是你成功换脸的第二关键要素
方法
---新手就按照下边的方法
参数开关第一阶段第二阶段第三阶段第四阶段第五阶段第六阶段第七阶段第八阶段完成阶段
SRC随机反转:Flip SRC faces randonly (不太建议使用)关闭关闭关闭关闭关闭关闭关闭关闭关闭
DST随机反转:Flip Dst focey randomly (素材较少时建 常开)开启开启开启开启开启开启开启开启开启
批量大小:Batchszdoo(如模型崩溃，请尝试降低此参数至正常运行）4/88/168/168/168/168/168/16推荐168/16
训练遑罩:Masked calning (建议全程开启)开启开启开启开启开启开启开启开启开启
眼嘴优先:Eyesand mouth priority关闭开启关闭关闭关闭开启关闭关闭开启
侧脸优化:Uniform yaw distribution of samples关闭关闭开启开启关闭关闭开启关闭开启
迪媢边掾模糊:Blur out mask (建议中后期开启)关闭关闭关闭关闭开启开启开启关闭开启
模型和优化器放GPU上: Place models and optimizer on GPU开启开启开启开启开启开启开启开启开启
信仰优化器:Use AdaBeliefoptimizer (建议全程开启)开启开启开启开启开启开启开启开启开启
学习率下降:Use learning rate dropout关闭关闭关闭开启关闭关闭关闭开启关闭
随机扭曲:Enable random warp of samples开启开启开启开启关闭关闭关闭关闭关闭
随机色调/饱和度/光强度关闭关闭关闭关闭0.010.010.01关闭关闭
Gan强度:GAN power(容易崩溃，抛出想要效果后及时关闭）关闭关闭关闭关闭关闭关闭关闭0.01关闭
真睑强度: True face' power关闭关闭关闭关闭0.010.010.01关闭关闭
背景强度:Background style powe关闭关闭关闭关闭0.010.010.01关闭0.01
颜色转换模式:Color trevsier oroacesetnonenonenonenonerct/lctrct/lctrct/lctrct/lctrct/lct
梯度剪裁:Enable gt zoeulipping开启开启开启开启开启开启开启开启开启
预训练(不是跑万能底就无需开启)关闭关闭关闭关闭关闭关闭关闭关闭关闭
阶段转换条件，主要看预压窗口效果建议每次调整参数前都先备份好模型文件loss<0.3或loss极慢或不降反升loss<0.3或
不降反升loss<0.1或
不降反升loss极慢或
不降反升loss极慢或
不降反升loss极慢或不降反升注意备份
至少2-3W
不降反升
页:
[1]