python-opencv-人脸对齐和反对齐

删除回忆录丶 提交于 2020-03-06 13:59:14

背景描述

我需要将视频中的图像拆帧后对齐到标准人脸上,进行一些算法加工后在反对齐回原始视频里。对齐人脸主要依赖于仿射变换,即根据lmks中的5个关键点(眼睛眉毛)找出仿射变换矩阵,再将原img中的所有像素点变换到标准人脸上,反对齐其实就是把对齐后人脸变换到原img的位置,再做一次仿射变换就可以了。另外以防我以后忘记,记录下变换像素的计算公式:设仿射矩阵为M
x = M[0,0]*pixel[0] + M[0,1]*pixel[1] + M[0,2]
y = M[1,0]*pixel[0] + M[1,1]*pixel[1] + M[1,2]

人脸对齐

首先你需要先把人脸的lmk提取出来(提取方法可以参考dlib)

#计算仿射矩阵
def align(src_points, dst_points):
    # align dst to src
    src_points = np.matrix(src_points.astype(np.float64))
    dst_points = np.matrix(dst_points.astype(np.float64))

    c1 = np.mean(src_points, axis=0)
    c2 = np.mean(dst_points, axis=0)
    #print c1, c2
    src_points -= c1
    dst_points -= c2

    s1 = np.std(src_points)
    s2 = np.std(dst_points)

    src_points /= s1
    dst_points /= s2

    u, s, vt = np.linalg.svd(src_points.T * dst_points)
    r = (u * vt).T

    m = np.vstack([np.hstack(((s2 / s1) * r, c2.T - (s2 / s1) * r * c1.T)), np.matrix([0., 0., 1.])])

    return m

def align_imgs(data_path, lmk_path, out_path, dst_lmks, dst_img):
    file_name = os.path.basename(data_path)
    if not os.path.exists(lmk_path):
        return
    data = os.listdir(data_path)
    
    try:
        os.mkdir(out_path)
    except:
        pass
    count = 0
    for i in data:
        if not (i.endswith('.jpg') or i.endswith('.png')):
            continue
        name = i.split('.')[0]
        if os.path.exists(out_path+i):
            continue
        try:
            src_lmks = np.load(lmk_path+'/saved_spot'+name+'.lmks.npy')
        except:
            print(i)
            continue

        img = cv2.imread(os.path.join(data_path,i))
        
        #仿射矩阵
        M = align(src_lmks, dst_lmks)
        
        #对齐所有像素点
        aligned_img = cv2.warpAffine(img, M[:2], (dst_img.shape[0], dst_img.shape[1]), flags=cv2.INTER_LINEAR,)
		#存储对齐后图像
        cv2.imwrite(os.path.join(out_path+i), aligned_img) 
        

注意

对齐标准人脸里dst_lmk和dst_img是标准人脸的所以应该是一样的,反对齐时候对应的就是每帧的lmk和img。

shell里批量注释的方法:
:'
xxxx

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!