首先了解音频有几个重要的概念:
采样频率：每秒钟采样次数,采样率越高，数字波形的形状越接近原始模拟波形，通常的采用频率有22050，44100，48000，96000
采样位数：采样声波时，为每个采样指定最接近原始声波振幅的振幅值。 采样位数提高可提供更多可能的振幅值，产生更大的动态范围、更低的噪声基准和更高的保真度。通常的采样位数有8bit，16bit，24bit，32bit。
通道数：即声音的通道的数目。常有单声道和立体声之分，单声道的声音只能使用一个喇叭发声（有的也处理成两个喇叭输出同一个声道的声音），立体声可以使两个喇叭都发声（一般左右声道有分工） ，更能感受到空间效果，当然还有更多的通道数。
PCM :PCM（Pulse Code Modulation----脉码调制录音)。所谓PCM录音就是将声音等模拟信号变成符号化的脉冲列，再予以记录。PCM信号是由[1]、[0]等符号构成的数字信号，而未经过任何编码和压缩处理。与模拟信号比，它不易受传送系统的杂波及失真的影响。动态范围宽，可得到音质相当好的影响效果。
WAV：wav是一种无损的音频文件格式，WAV符合 PIFF(Resource Interchange File Format)规范。所有的WAV都有一个文件头，这个文件头音频流的编码参数。WAV对音频流的编码没有硬性规定，除了PCM之外，还有几乎所有支持ACM规范的编码都可以为WAV的音频流进行编码。
WAV和PCM的关系
WAV可以使用多种音频编码来压缩其音频流，不过我们常见的都是音频流被PCM编码处理的WAV，但这不表示WAV只能使用PCM编码，MP3编码同样也可以运用在WAV中，和AVI一样，只要安装好了相应的Decode，就可以欣赏这些WAV了。在Windows平台下，基于PCM编码的WAV是被支持得最好的音频格式，所有音频软件都能完美支持，由于本身可以达到较高的音质的要求，因此，WAV也是音乐编辑创作的首选格式，适合保存音乐素材。因此，基于PCM编码的WAV被作为了一种中介的格式，常常使用在其他编码的相互转换之中，例如MP3转换成WMA。
简单来说：pcm是无损wav文件中音频数据的一种编码方式，但wav还可以用其它方式编码。
网上很多资料都是移除wav文件的头部44个字节后，获取的就是pcm。但这样不能用于全部情况，具体请看这里
http://www-mmsp.ece.mcgill.ca/Documents/AudioFormats/WAVE/WAVE.html。
UE中要播放动态生成的声音，可以使用USoundWaveProcedural 派生类生成波形资源，也可以使用USynthComponent
派生新的组件输出动态声音。 主要是 通过USoundWave的函数GeneratePCMData，在该函数中获取需要播放的声音数据。
UCLASS(hidecategories=Object, editinlinenew, BlueprintType)
class ENGINE_API USoundWave : public USoundBase
{
/**
* This is only used for DTYPE_Procedural audio. It's recommended to use USynthComponent base class
* for procedurally generated sound vs overriding this function. If a new component is not feasible,
* consider using USoundWaveProcedural base class vs USoundWave base class since as it implements
* GeneratePCMData for you and you only need to return PCM data.
*/
virtual int32 GeneratePCMData(uint8* PCMData, const int32 SamplesNeeded) { ensure(false); return 0; }
/**
* Return the format of the generated PCM data type. Used in audio mixer to allow generating float buffers and avoid unnecessary format conversions.
* This feature is only supported in audio mixer. If your procedural sound wave needs to be used in both audio mixer and old audio engine,
* it's best to generate int16 data as old audio engine only supports int16 formats. Or check at runtime if the audio mixer is enabled.
* Audio mixer will convert from int16 to float internally.
*/
virtual Audio::EAudioMixerStreamDataFormat::Type GetGeneratedPCMDataFormat() const { return Audio::EAudioMixerStreamDataFormat::Int16; }
}
第一种：使用USynthComponent派生组件进行声音的输出：
|
class MOTIONMOCAP_API UMocapAudioComponent : public USynthComponent { GENERATED_BODY() // Called when synth is created virtual bool Init(int32& SampleRate) override; // Called to generate more audio virtual int32 OnGenerateAudio(float* OutAudio, int32 NumSamples) override; protected: UPROPERTY(BlueprintReadOnly, EditAnywhere, meta = (ClampMin = "8000 ", ClampMax = "192000")) int32 ResSampleRate = 44100; UPROPERTY(BlueprintReadOnly, EditAnywhere, meta = (ClampMin = "1", ClampMax = "2")) int32 ResNumChannels = 2; }; |
|
// Fill out your copyright notice in the Description page of Project Settings. #include "MocapAudioComponent.h" #include "AudioReceiveThread.h" bool UMocapAudioComponent::Init(int32& SampleRate) { SampleRate = ResSampleRate; NumChannels = ResNumChannels; return true; }
int32 UMocapAudioComponent::OnGenerateAudio(float* OutAudio, int32 NumSamples) { for(int i=0; i < NumSamples/NumChannels; i++){ for(int j = 0; j <NumChannels; j++ ){ //获取每个信道的采样数据,这里仅是简单展示数据关系 OutAudio[i*NumChannels + j]= FMath::RandRange(-1.0f, 1.0f); } } return NumSamples; } |
bool UMocapAudioComponent::Init(int32& SampleRate)
{
// Initialize the DSP objects
SampleRate = ResSampleRate;
NumChannels = ResNumChannels;
return true;
}
在该组件中的Init函数中，我们需要设置SampleRate和NumChannels。该设置决定了输出音频的采样率和音频的通道数量。
int32 UMocapAudioComponent::OnGenerateAudio(float* OutAudio, int32 NumSamples)
{
for(int i=0; i < NumSamples/NumChannels; i++){
for(int j = 0; j <NumChannels; j++ ){
//获取每个信道的采样数据
OutAudio[i*NumChannels + j]= FMath::RandRange(-1.0f, 1.0f);
}
}
return NumSamples;
}
在OnGenerateAudio中，我们根据NumSamples 获取指定数量的声音数据，该值是每个声道需要的采样数*声道数。 OutAudio是存放输出数据的地址。返回值返回的是实际获得的数据长度。声音的振幅为-1到1. 这里的 OnGenerateAudio 并不是主线程中调用的，我们在使用时需要注意。
第二种：使用USoundWaveProcedural派生类生成波形资源，然后使用AudioComponent输出：
|
#include "CoreMinimal.h" #include "Sound/SoundWaveProcedural.h" #include "DSP/Osc.h" #include "NewSoundWaveProcedural.generated.h" /** * */ UCLASS() class DEMOPROJECT_API UNewSoundWaveProcedural : public USoundWaveProcedural { GENERATED_BODY() public: UNewSoundWaveProcedural(const FObjectInitializer& ObjectInitializer); virtual int32 OnGeneratePCMAudio(TArray<uint8>& OutAudio, int32 NumSamples) override; virtual Audio::EAudioMixerStreamDataFormat::Type GetGeneratedPCMDataFormat() const override; protected: Audio::FOsc Osc; }; |
|
UNewSoundWaveProcedural::UNewSoundWaveProcedural(const FObjectInitializer& ObjectInitializer) :Super(ObjectInitializer) { NumChannels = 2; SampleRate = 44100; //下面的是简单的测试声音生成设置。 Osc.Init(SampleRate); Osc.SetFrequency(440.0f); Osc.Start(); } int32 UNewSoundWaveProcedural::OnGeneratePCMAudio(TArray<uint8>& OutAudio, int32 NumSamples) { OutAudio.Reset(); OutAudio.AddZeroed(NumSamples * sizeof(int16)); int16* OutAudioBuffer = (int16*)OutAudio.GetData(); for (int32 i = 0; i < NumSamples; ++i) { OutAudioBuffer[i] = (int16)(32767.0f * FMath::Clamp(Osc.Generate(), -1.0f, 1.0f)); } return NumSamples; } Audio::EAudioMixerStreamDataFormat::Type UNewSoundWaveProcedural::GetGeneratedPCMDataFormat() const { return Super::GetGeneratedPCMDataFormat(); } |
需要指定波形文件的NumChannels和SampleRate。 然后OnGeneratePCMAudio 中获取输出的声音数据。NumSamples同样是每个声道需要的采样数*声道数。 OutAudio中，需要存储的数据是与GetGeneratedPCMDataFormat有关的。 默认是Audio::EAudioMixerStreamDataFormat::Int16。从上面的代码我们可以看到OutAudio最终获取的数据长度其实是NumSamples*sizeof(int16)。默认OnGeneratePCMAudio是在主线程中的。如果设置了bCanProcessAsync = true; 则OnGeneratePCMAudio 将运行于线程池。
来源：https://blog.csdn.net/u010385624/article/details/102779686