背景描述
我需要将视频中的图像拆帧后对齐到标准人脸上,进行一些算法加工后在反对齐回原始视频里。对齐人脸主要依赖于仿射变换,即根据lmks中的5个关键点(眼睛眉毛)找出仿射变换矩阵,再将原img中的所有像素点变换到标准人脸上,反对齐其实就是把对齐后人脸变换到原img的位置,再做一次仿射变换就可以了。另外以防我以后忘记,记录下变换像素的计算公式:设仿射矩阵为M
x = M[0,0]*pixel[0] + M[0,1]*pixel[1] + M[0,2]
y = M[1,0]*pixel[0] + M[1,1]*pixel[1] + M[1,2]
人脸对齐
首先你需要先把人脸的lmk提取出来(提取方法可以参考dlib)
#计算仿射矩阵
def align(src_points, dst_points):
# align dst to src
src_points = np.matrix(src_points.astype(np.float64))
dst_points = np.matrix(dst_points.astype(np.float64))
c1 = np.mean(src_points, axis=0)
c2 = np.mean(dst_points, axis=0)
#print c1, c2
src_points -= c1
dst_points -= c2
s1 = np.std(src_points)
s2 = np.std(dst_points)
src_points /= s1
dst_points /= s2
u, s, vt = np.linalg.svd(src_points.T * dst_points)
r = (u * vt).T
m = np.vstack([np.hstack(((s2 / s1) * r, c2.T - (s2 / s1) * r * c1.T)), np.matrix([0., 0., 1.])])
return m
def align_imgs(data_path, lmk_path, out_path, dst_lmks, dst_img):
file_name = os.path.basename(data_path)
if not os.path.exists(lmk_path):
return
data = os.listdir(data_path)
try:
os.mkdir(out_path)
except:
pass
count = 0
for i in data:
if not (i.endswith('.jpg') or i.endswith('.png')):
continue
name = i.split('.')[0]
if os.path.exists(out_path+i):
continue
try:
src_lmks = np.load(lmk_path+'/saved_spot'+name+'.lmks.npy')
except:
print(i)
continue
img = cv2.imread(os.path.join(data_path,i))
#仿射矩阵
M = align(src_lmks, dst_lmks)
#对齐所有像素点
aligned_img = cv2.warpAffine(img, M[:2], (dst_img.shape[0], dst_img.shape[1]), flags=cv2.INTER_LINEAR,)
#存储对齐后图像
cv2.imwrite(os.path.join(out_path+i), aligned_img)
注意
对齐标准人脸里dst_lmk和dst_img是标准人脸的所以应该是一样的,反对齐时候对应的就是每帧的lmk和img。
shell里批量注释的方法:
:'
xxxx
’
来源:CSDN
作者:Coding_Ann
链接:https://blog.csdn.net/Coding_Ann/article/details/104693126