直播技术iOS 端实时音频采集与播放

爱⌒轻易说出口 提交于 2020-04-27 10:29:32

今天图玩智能为大家介绍在视频直播iOS中可以进行音视频采集的方法。我们为企业提供专业的直播平台二次开发服务,欢迎随时咨询www.toivan.com.

如 AVCaptureDevice, AudioQueue以及Audio Unit。其中 Audio Unit是最底层的接口,它的优点是功能强大,延迟低; 而缺点是学习成本高,难度大。对于一般的iOS应用程序,AVCaptureDevice和AudioQueue完全够用了。但对于音视频直播,最好还是使用 Audio Unit 进行处理,这样可以达到最佳的效果,著名的 WebRTC 就使用的 Audio Unit 做的音频采集与播放。今天我们就重点介绍一下Audio Unit的基本知识和使用。

下图是 Audio Unit在 iOS架构中所处的位置:

基本概念

在介绍 Audio Unit 如何使用之前,先要介绍一下Audio Unit的基本概念,这样更有利于我们理解对它的使用。

  • Audio Unit的种类

-Audio Units共可分为四大类,並可细分为七种,可参考下表:

  • Audo Unit 的内部结构

-参考下图,Audio Unit 内部结构分为两大部分,Scope 与Element。其中 scope 又分三种,分別是 input scope, output scope, global scope。而 element 则是 input scope 或 output scope 內的一部分。

  • Audio Unit 的输入与输出

-下图是一个 I/O type 的 Audio Unit,其输入为麦克风,其输出为喇叭。这是一个最简单的Audio Unit使用范例。

  • The input element is element 1 (mnemonic device: the letter “I” of the word “Input” has an appearance similar to the number 1)
  • The output element is element 0 (mnemonic device: the letter “O” of the word “Output” has an appearance similar to the number 0)

使用流程概要

1.描述音频元件(kAudioUnitType_Output/kAudioUnitSubType_RemoteIO /kAudioUnitManufacturerApple)

2.使用 AudioComponentFindNext(NULL, &deionOfAudioComponent) 获得 AudioComponent。AudioComponent有点像生产 Audio Unit 的工厂。

3.使用 AudioComponentInstanceNew(ourComponent, &audioUnit) 获得 Audio Unit 实例。

4.使用 AudioUnitSetProperty函数为录制和回放开启IO。

5.使用 AudioStreamBasicDeion 结构体描述音频格式,并使用AudioUnitSetProperty进行设置。

6.使用 AudioUnitSetProperty 设置音频录制与放播的回调函数。

7.分配缓冲区。

8.初始化 Audio Unit。

9.启动 Audio Unit。

初始化

初始化看起来像下面这样。我们有一个 AudioComponentInstance 类型的成员变量,它用于存储 Audio Unit。

下面的音频格式用16位表式一个采样。

开启 Audio Unit

关闭 Audio Unit

结束 Audio Unit

录制回调

播放回调

Audio Unit可以做很多非常棒的的工作。如混音,音频特效,录制等等。它处于 iOS 开发架构的底层,特别合适于音视频直播这种场景中使用。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!