我下面讲解的是原版,也就是英文版本的。
基础部分:
0.1) extract images from video data_dst FULL FPS.bat(这个功能是把视频分解成每一帧图片的批处理文件,分解的是源视频,也就是你要把这个视频里面的人脸替换掉的视频,这个你肯定要分解的,注意要把切脸的视频名字改成data_dst.mp4)
0.2) data_dst faceset extract.bat(这个功能是把分解出来的图片里面的所有人脸切出来的,切的是源视频的人脸)
0.3) extract images from video data_src.bat(这个功能是把你想换谁的脸去其它视频里面的脸的主人的视频分解成一帧一帧地图片,表达有点拗口,举例你想把刘亦菲的脸换到某个视频上,那么这个就是要有刘亦菲的视频,然后把这个视频分解成一帧一帧地图片格式和0.1的功能一样,注意要把切脸的视频改成data_src.mp4)
0.4) data_src faceset extract.bat(这个功能是把你分解好的图片里面的人脸都切出来,也就是切刘亦菲的脸,如果图片里面不止一个,他所有脸都会切出来,提醒一下,不一定非要在视频里面找脸,在网上找图片放到data_src这个文件夹里面,同样可以切)
0.5) train SAEHD.bat(这个功能就是训练了,也就是我们说的练丹的启动程序,点击它就可以让程序练习SRC和DST的脸部数据了)
0.6) merge SAEHD.bat(这个功能是合成功能,就是把训练好以后的脸合成到你想要的视频的每一帧图片上,点击它在里面调整你要合成的各种参数,可以实时看到效果的,输出的是在merged这个文件夹里面,里面你可以检查图片的不合理和错误的地方)
0.7) merged to mp4.bat(这个功能就是把图片合成成视频的启动程序,注意合成的时候merged这个文件夹和merged_mask这个文件夹的名字不能更改,同时源文件名字data_dst也不能修改,否则合成报错)
初级部分:
这时候我们已经知道了整个软件的运用流程了,下面开始讲解训练时候需要选择项的基本含义
Autobackup every N hour,每N小时自动备份一次
Writr preview history,写入器预览历史记录
Target iteration,目标迭代(训练的次数)
Flip faces randomly,随意翻脸(可以让两边两部对称训练)
Batch_size,批量大小(这个越大显卡越吃力)
Eyes priority,眼睛优先(这个直接选Y眼镜是长相的心灵窗口)
Uniform yaw distribution of samples,样本的均匀偏航分布(这个我没搞清楚什么东西,听说可以调整脸部轮廓,我开他模型必定崩溃)
place models and optimizer on CPU,将模型和优化器放在CPU上(字面意思)
Use learning rate dropout,利用辍学率(不知道干嘛的)
Enable random warp of samples,启用样本的随机扭曲(这个就是你没有的脸,他随即模拟出来(即使你不开,通过训练过其它的脸,也可以模拟出来的,但是LOSS只不能太低,太低反而会把模拟出来的地方给弄没了),后期才能开,建议还是收集好脸部全方位的图片吧,因为我开这个模型也崩溃,不知道是不是我显卡的问题,还是算法的问题)
GAN power,甘力(不知道干嘛的)
True face power,真面力(不建议开,开了可以训练出毛孔但是可能会把模型弄崩溃)
Face style power,脸型力量(感觉和两部有关系,不过我不开,我开了会把模型弄崩溃,可能是我显卡问题,我4G显卡)
Background style power,背景风格力度(训练背景的力度,除了脸以外的其它地方都叫背景)
Color transfer for src faceset,src面集的颜色转移(一般选SRC、lct我只知道选这两个训练,但是合成的时候我会每一个效果都看一下,接近的我就在合成截面选择,其实训练的时候我感觉开哪个都一样,合成的时候选对就行,这句话是我编的,你自己试试)
Enable gradient clipping,启用渐变剪裁(训练的时候模型自己判断光影截面来训练脸部信息,就是一张脸左边很亮,右边很黑,那么他就训练很亮的那边这个你直接用默认就行,因为遮罩可以忽略它)
Enable pretraining mode,启用预训练模式(这个是没用的东西)
注意事项:
在我们切脸完成以后,我们需要点击进入aligned_debug这个文件夹里面检查切脸错误的图片,把他们找出来,切磋的我们把它删除,然后我们就点击 5) data_dst faceset MANUAL RE-EXTRACT DELETED ALIGNED_DEBUG.bat这个程序,这个程序可以进入手动切脸模式,这个功能很烦,因为还是自动切,有些脸部扭曲或者角度很刁钻的脸切不了,然后只能按一下A,A这个功能可以让它转换成PS里面的磁性套索功能来切脸部,但是任然不理想,一旦你切得不好,和上一帧不在同一个位置,那么换出来的脸就会大小不一样,合成视频以后就会发现脸部抖动,所以如果发现切脸错误比较多得,手动又切不好的视频,你还是不要换了,因为你在浪费时间。
遇到脸部有遮挡物的时候:
这个时候我们就必须画遮罩了,5.XSeg) data_dst mask - edit.bat这个程序就是启动绘制源文件脸部的遮罩,点进去,把处留海以及眼镜还有其它遮挡物的东西用左上角第一个画一下,因为是闭合的线段,在封闭线里面如果还有挡住脸部的东西,这个时候鼠标右键点击一下空白位置,鼠标左键选择左边第二个模式把遮挡物画一圈(这个是剔除遮挡的,第一个是包含训练的),发型一样的画一张就可以自己训练了,不要傻瓜式的每一张都画,平均300张画一次,1000张画有20张就差不多了,如果发型没有变就画1张(5.XSeg) data_src mask - edit.bat这个同理,它是画替换脸的遮罩的),画完以后我们要点击5.XSeg) train.bat这个来训练遮罩,训练的时候你可以按空格键和P键来刷新看,就看那个白色区域是你理想的就行,我一般练遮罩短视频就练30秒,长视频30分钟,然后按回车,这个时候我们需要点击一下5.XSeg) data_dst trained mask - apply.bat这个,然后再点击一下5.XSeg) data_dst mask - edit.bat这个,进入画遮罩的模式里面,按D一张一张地检查遮罩有没有错误,有错误的我们就停下来手动再画一下,连续10张错误,你就画中间那张就可以,把错误的出来完以后,出来再点击5.XSeg) train.bat这个训练一次,再检查,确认遮罩没问题了,好的,可以点击0.5) train SAEHD.bat这个训练了,训练的时候你就看最后一排,像就可以了,不需要等LOSS到0啊,0.3左右都可以了,只要像0.7你都可以合(因为有时候LOSS值高可能是因为你SRC图片太模糊导致LOSS值下不来,但是你需要替换的角度脸都已经训练的很好了),进去合成模式以后按TAB键,然后按X键选择到你满意的遮罩模式,我一般先全脸遮罩,这样整个脸可以覆盖(大部分1/5的额头部分还是会有漏,这个时候按一下S,-10~-20左右都可,然后按E,大约按40~80)多了都不好。然后按C选择光影效果,不规定你选哪个,你觉得满意就可以。满意了就直接按住SHIFT+>,给它合成吧。最后点击0.7) merged to mp4.bat它合成视频就好。
打字很累,先说到这来,可能有些地方说得不到位,但是你可以自己摸索。说错了希望各位大神为我指出来
基础部分:
0.1) extract images from video data_dst FULL FPS.bat(这个功能是把视频分解成每一帧图片的批处理文件,分解的是源视频,也就是你要把这个视频里面的人脸替换掉的视频,这个你肯定要分解的,注意要把切脸的视频名字改成data_dst.mp4)
0.2) data_dst faceset extract.bat(这个功能是把分解出来的图片里面的所有人脸切出来的,切的是源视频的人脸)
0.3) extract images from video data_src.bat(这个功能是把你想换谁的脸去其它视频里面的脸的主人的视频分解成一帧一帧地图片,表达有点拗口,举例你想把刘亦菲的脸换到某个视频上,那么这个就是要有刘亦菲的视频,然后把这个视频分解成一帧一帧地图片格式和0.1的功能一样,注意要把切脸的视频改成data_src.mp4)
0.4) data_src faceset extract.bat(这个功能是把你分解好的图片里面的人脸都切出来,也就是切刘亦菲的脸,如果图片里面不止一个,他所有脸都会切出来,提醒一下,不一定非要在视频里面找脸,在网上找图片放到data_src这个文件夹里面,同样可以切)
0.5) train SAEHD.bat(这个功能就是训练了,也就是我们说的练丹的启动程序,点击它就可以让程序练习SRC和DST的脸部数据了)
0.6) merge SAEHD.bat(这个功能是合成功能,就是把训练好以后的脸合成到你想要的视频的每一帧图片上,点击它在里面调整你要合成的各种参数,可以实时看到效果的,输出的是在merged这个文件夹里面,里面你可以检查图片的不合理和错误的地方)
0.7) merged to mp4.bat(这个功能就是把图片合成成视频的启动程序,注意合成的时候merged这个文件夹和merged_mask这个文件夹的名字不能更改,同时源文件名字data_dst也不能修改,否则合成报错)
初级部分:
这时候我们已经知道了整个软件的运用流程了,下面开始讲解训练时候需要选择项的基本含义
Autobackup every N hour,每N小时自动备份一次
Writr preview history,写入器预览历史记录
Target iteration,目标迭代(训练的次数)
Flip faces randomly,随意翻脸(可以让两边两部对称训练)
Batch_size,批量大小(这个越大显卡越吃力)
Eyes priority,眼睛优先(这个直接选Y眼镜是长相的心灵窗口)
Uniform yaw distribution of samples,样本的均匀偏航分布(这个我没搞清楚什么东西,听说可以调整脸部轮廓,我开他模型必定崩溃)
place models and optimizer on CPU,将模型和优化器放在CPU上(字面意思)
Use learning rate dropout,利用辍学率(不知道干嘛的)
Enable random warp of samples,启用样本的随机扭曲(这个就是你没有的脸,他随即模拟出来(即使你不开,通过训练过其它的脸,也可以模拟出来的,但是LOSS只不能太低,太低反而会把模拟出来的地方给弄没了),后期才能开,建议还是收集好脸部全方位的图片吧,因为我开这个模型也崩溃,不知道是不是我显卡的问题,还是算法的问题)
GAN power,甘力(不知道干嘛的)
True face power,真面力(不建议开,开了可以训练出毛孔但是可能会把模型弄崩溃)
Face style power,脸型力量(感觉和两部有关系,不过我不开,我开了会把模型弄崩溃,可能是我显卡问题,我4G显卡)
Background style power,背景风格力度(训练背景的力度,除了脸以外的其它地方都叫背景)
Color transfer for src faceset,src面集的颜色转移(一般选SRC、lct我只知道选这两个训练,但是合成的时候我会每一个效果都看一下,接近的我就在合成截面选择,其实训练的时候我感觉开哪个都一样,合成的时候选对就行,这句话是我编的,你自己试试)
Enable gradient clipping,启用渐变剪裁(训练的时候模型自己判断光影截面来训练脸部信息,就是一张脸左边很亮,右边很黑,那么他就训练很亮的那边这个你直接用默认就行,因为遮罩可以忽略它)
Enable pretraining mode,启用预训练模式(这个是没用的东西)
注意事项:
在我们切脸完成以后,我们需要点击进入aligned_debug这个文件夹里面检查切脸错误的图片,把他们找出来,切磋的我们把它删除,然后我们就点击 5) data_dst faceset MANUAL RE-EXTRACT DELETED ALIGNED_DEBUG.bat这个程序,这个程序可以进入手动切脸模式,这个功能很烦,因为还是自动切,有些脸部扭曲或者角度很刁钻的脸切不了,然后只能按一下A,A这个功能可以让它转换成PS里面的磁性套索功能来切脸部,但是任然不理想,一旦你切得不好,和上一帧不在同一个位置,那么换出来的脸就会大小不一样,合成视频以后就会发现脸部抖动,所以如果发现切脸错误比较多得,手动又切不好的视频,你还是不要换了,因为你在浪费时间。
遇到脸部有遮挡物的时候:
这个时候我们就必须画遮罩了,5.XSeg) data_dst mask - edit.bat这个程序就是启动绘制源文件脸部的遮罩,点进去,把处留海以及眼镜还有其它遮挡物的东西用左上角第一个画一下,因为是闭合的线段,在封闭线里面如果还有挡住脸部的东西,这个时候鼠标右键点击一下空白位置,鼠标左键选择左边第二个模式把遮挡物画一圈(这个是剔除遮挡的,第一个是包含训练的),发型一样的画一张就可以自己训练了,不要傻瓜式的每一张都画,平均300张画一次,1000张画有20张就差不多了,如果发型没有变就画1张(5.XSeg) data_src mask - edit.bat这个同理,它是画替换脸的遮罩的),画完以后我们要点击5.XSeg) train.bat这个来训练遮罩,训练的时候你可以按空格键和P键来刷新看,就看那个白色区域是你理想的就行,我一般练遮罩短视频就练30秒,长视频30分钟,然后按回车,这个时候我们需要点击一下5.XSeg) data_dst trained mask - apply.bat这个,然后再点击一下5.XSeg) data_dst mask - edit.bat这个,进入画遮罩的模式里面,按D一张一张地检查遮罩有没有错误,有错误的我们就停下来手动再画一下,连续10张错误,你就画中间那张就可以,把错误的出来完以后,出来再点击5.XSeg) train.bat这个训练一次,再检查,确认遮罩没问题了,好的,可以点击0.5) train SAEHD.bat这个训练了,训练的时候你就看最后一排,像就可以了,不需要等LOSS到0啊,0.3左右都可以了,只要像0.7你都可以合(因为有时候LOSS值高可能是因为你SRC图片太模糊导致LOSS值下不来,但是你需要替换的角度脸都已经训练的很好了),进去合成模式以后按TAB键,然后按X键选择到你满意的遮罩模式,我一般先全脸遮罩,这样整个脸可以覆盖(大部分1/5的额头部分还是会有漏,这个时候按一下S,-10~-20左右都可,然后按E,大约按40~80)多了都不好。然后按C选择光影效果,不规定你选哪个,你觉得满意就可以。满意了就直接按住SHIFT+>,给它合成吧。最后点击0.7) merged to mp4.bat它合成视频就好。
打字很累,先说到这来,可能有些地方说得不到位,但是你可以自己摸索。说错了希望各位大神为我指出来