GPUImage简单实用及碰到的问题

六月ゝ 毕业季﹏ 提交于 2019-11-29 20:54:37

正式开始之前先介绍一下GPUImage,这是一款基于OpenGL ES 2.0的开源图像处理库。在iOS上将OpenGL ES的使用封装成Objective-C接口,可以用来给图像、相机视频、视频等添加滤镜等渲染操作。GPUImage一代已经不再维护,OC只能给iOS和Mac使用;同时有GPUImage2使用Swift(基于Swift 3)开发,可以给Mac, iOS和Linux使用;最新的GPUImage3仍在开发完善中,基于Swift4,并且将OpenGL ES替换成苹果的Metal,由于是苹果官方封装GPU方法,可以预见会比使用OpenGL ES的性能效率更高。本文使用的仍是第一代GPUImage。

接入GPUImage使用cocoapods直接接入就行,就不再赘述。下面是一个简单的滤镜使用:

GPUImage使用有三个关键点,input, output, filter(filter也是output但主要实现了滤镜,所以分开说)。output一般是用来承载图像内容输出,可以是GPUImageUIElement(通过UIView来创建并承载整个UIView的内容), GPUImagePicture(使用UIImage或者CGImage之类的图像来创建);filter就是所使用的滤镜,可以使用GPUImage自带的比如GPUImageGaussianBlurFilter, GPUImageColorInvertFilter等等,当然也可以自建Filter来实现一些自己所需要的滤镜,当然也需要一些OpenGL的功底;input则是内容输入需要GPUImage进行一些处理的,下面用一个MovieWriter进行视频和一个动态画面进行合成来举例:

使用中第一版没有提到声音问题所以没有发现,第二版需要使用视频原声音并录制进去,查了一下可以这样使用:

录制开始会有随机闪退问题,网上查了一下,大致是因为音频处理比视频处理快,当音频处理完直接callback去做渲染处理了,但这时视频这帧还没有加载完成,导致处理失败崩溃,网上有一个替换GPUImageMovieWriter.m源文件的方法来规避这个问题,但我尝试了一下仍然会发生,就不贴出来了。暂时也没有更好的办法来修复这个问题,由于时间紧迫,我采取只传递声音而取消写入视频中,使用ffmpeg进行音视频合成(或其他视频处理工具,因为本身项目有视频剪切使用了ffmpeg)。如果以后对这方面有更深入的了解和研究会继续更新如何解决这个问题。

PS: 说个题外关于视频编码问题,腾讯家的qq和微信SDK分享视频只能分享网络源无法分享本地源,但如果通过苹果系统自带的分享则可以分享视频。最新版部分视频会发生视频压缩失败的问题,无法上传。起先认为是视频编码问题,通过ffmpeg重新使用h264或者libx264都无法解决;后来发现那些无法通过腾讯系压缩的是音频重新合成过的,所以我对音频重新编码,使用的是网络上流媒体目前比较通用的aac,结果让我大失所望,还是不行!网上也找不到腾讯有关这两款分享视频所需要的编码问题,而如果我不通过ffmpeg进行编辑,原视频的H.264+aac就是好的,没有办法只能采取控制变量法来一个一个试编码。最后测出来是视频H.264没有问题,音频则需要使用ac3来进行编码才能通过。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!