PaddlePaddle : AI抠图及图片合成

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

通过预训练模型进行图像的自动抠图及整合。

代码已经共享在AIStudio上，链接：

https://aistudio.baidu.com/aistudio/projectdetail/242887

模型概述 DeepLabv3+ 是Google DeepLab语义分割系列网络的最新作，其前作有 DeepLabv1，DeepLabv2, DeepLabv3。在最新作中，作者通过encoder-decoder进行多尺度信息的融合，同时保留了原来的空洞卷积和ASSP层，其骨干网络使用了Xception模型，提高了语义分割的健壮性和运行速率，在 PASCAL VOC 2012 dataset取得新的state-of-art performance。该PaddleHub Module使用百度自建数据集进行训练，可用于人像分割，支持任意大小的图片输入。

命令行预测示例 $ hub run deeplabv3p_xception65_humanseg --input_path "/PATH/TO/IMAGE" $ hub run deeplabv3p_xception65_humanseg --input_file test.txt test.txt 存放待分割图片的存放路径

API def segmentation(data) 用于人像分割

参数

data：dict类型，key为image，str类型；value为待分割的图片路径，list类型。 output_dir：生成图片的保存路径，默认为 humanseg_output

result：list类型，每个元素为对应输入图片的预测结果。预测结果为dict类型，有以下字段：

origin 原输入图片路径 processed 分割图片的路径。

In[1]

cd work

/home/aistudio/work

先定义抠图的函数，通过调用图像分割模型抠图

In[7]

def body_seg_fore(imgname):

module = hub.Module(name="deeplabv3p_xception65_humanseg")

test_img_path = "./"+imgname+".jpg"

# 预测结果展示

img = mpimg.imread(test_img_path)

plt.imshow(img)

plt.axis('off')

plt.show()

# set input dict

input_dict = {"image": [test_img_path]}

# execute predict and print the result

results = module.segmentation(data=input_dict)

for result in results:

print(result)

test_img_path = "./humanseg_output/"+imgname+".png"

img = mpimg.imread(test_img_path)

plt.imshow(img)

plt.axis('off')

plt.show()

return test_img_path

In[8]

body_seg_fore('body2')

[2020-01-10 06:39:53,705] [ INFO] - Installing deeplabv3p_xception65_humanseg module

2020-01-10 06:39:53,705-INFO: Installing deeplabv3p_xception65_humanseg module

[2020-01-10 06:39:53,753] [ INFO] - Module deeplabv3p_xception65_humanseg already installed in /home/aistudio/.paddlehub/modules/deeplabv3p_xception65_humanseg

2020-01-10 06:39:53,753-INFO: Module deeplabv3p_xception65_humanseg already installed in /home/aistudio/.paddlehub/modules/deeplabv3p_xception65_humanseg

[2020-01-10 06:39:54,539] [ INFO] - 0 pretrained paramaters loaded by PaddleHub

2020-01-10 06:39:54,539-INFO: 0 pretrained paramaters loaded by PaddleHub

{'origin': './body2.jpg', 'processed': 'humanseg_output/body2.png'}

'./humanseg_output/body2.png'

定义图片合成函数。

In[12]

#图片整合

#foreimage：前景照片，baseimage：景区照片,outputimage：数据结果,rate：前景照片缩放比例

def combine_image(foreimage,baseimage,outputimage,rate):

from PIL import Image

base_img = Image.open(baseimage)

BL, BH = base_img.size

#读取要粘贴的图片 RGBA模式

#当需要将一张有透明部分的图片粘贴到一张底片上时，如果用Python处理，可能会用到PIL，

#但是PIL中有说明，在粘贴RGBA模式的图片是，alpha通道不会被帖上，也就是不会有透明的效果，

#当然也给出了解决方法，就是粘贴的时候，将RGBA的的alpha通道提取出来做为mask传入。

fore_image = Image.open(foreimage)

L, H = fore_image.size

#缩放

fore_image = fore_image.resize((int(L * rate), int(H * rate)))

L, H = fore_image.size

#分离通道

r,g,b,a = fore_image.split() #粘贴

box=(int(BL/2-L/2), BH-H, int(BL/2+L/2) ,BH)

base_img.paste(fore_image,box,mask = a)

base_img.save(outputimage) # 保存图片

#输出程序

def show_image(originimage,baseimage,outputimage,rate):

segname=body_seg_fore(originimage)

combine_image(segname,baseimage,outputimage,rate)

img = mpimg.imread(outputimage)

plt.imshow(img)

plt.axis('off')

plt.show()

return test_img_path

结果展示：

In[14]

show_image('body2','./desert.jpg','body2_desert.jpg',2)

[2020-01-10 06:42:43,724] [ INFO] - Installing deeplabv3p_xception65_humanseg module

2020-01-10 06:42:43,724-INFO: Installing deeplabv3p_xception65_humanseg module

[2020-01-10 06:42:43,746] [ INFO] - Module deeplabv3p_xception65_humanseg already installed in /home/aistudio/.paddlehub/modules/deeplabv3p_xception65_humanseg

2020-01-10 06:42:43,746-INFO: Module deeplabv3p_xception65_humanseg already installed in /home/aistudio/.paddlehub/modules/deeplabv3p_xception65_humanseg

[2020-01-10 06:42:44,629] [ INFO] - 0 pretrained paramaters loaded by PaddleHub

2020-01-10 06:42:44,629-INFO: 0 pretrained paramaters loaded by PaddleHub

{'origin': './body2.jpg', 'processed': 'humanseg_output/body2.png'}

'./humanseg_output/body2.png'

In[18]

show_image('body1','./desert.jpg','body2_desert.jpg',0.3)

[2020-01-10 06:44:26,397] [ INFO] - Installing deeplabv3p_xception65_humanseg module

2020-01-10 06:44:26,397-INFO: Installing deeplabv3p_xception65_humanseg module

[2020-01-10 06:44:26,423] [ INFO] - Module deeplabv3p_xception65_humanseg already installed in /home/aistudio/.paddlehub/modules/deeplabv3p_xception65_humanseg

2020-01-10 06:44:26,423-INFO: Module deeplabv3p_xception65_humanseg already installed in /home/aistudio/.paddlehub/modules/deeplabv3p_xception65_humanseg