简介
OpenAtom OpenHarmony(以下简称“OpenHarmony”)是由开放原子开源基金会孵化及运营的开源项目,是面向全场景、全连接、全智能时代的智能物联网操作系统。
多媒体子系统是OpenHarmony系统中的核心子系统,为系统提供了相机、音频和视频等多媒体功能。多媒体子系统的音频模块、音频录音功能可以提供两套接口,一是由ohos.multimedia.media提供的AudioRecorder接口,能够直接设置录音保存的文件路径,在录制结束以后自动生成对应的录音文件,代码编写比较简单;二是由ohos.multimedia.audio提供的AudioCapturer接口,能够获得录音过程中的PCM数据,并对数据进行处理。由于Capturer接口对于原始数据的处理更加灵活,今天就和大家介绍通过Capturer接口实现录音变速的功能的方法。
效果展示
通过Capturer接口实现音频的录制,在录制过程中对PCM数据进行重采样实现声音的快放和慢放。
首先设置录音加速或者录音减速,设置完成以后点击“录音开始”按钮进行录音,点击“录音结束”按钮停止录音,再通过点击“播放开始”对录音的音频进行播放,播放的音频是设置后的加速或者减速效果。
目录结构
调用流程
1.Start的框架层调用流程
2. Read的框架层调用流程
源码分析
1.首先看一下页面的布局,主要分为四个模块:
(1)设置录音加速
<div style="text-color: aqua;margin-bottom: 20fp;">
<text style="font-size: 30fp;">设置录音加速:</text>
</div>
<div class="container">
<button class="first" type="capsule" onclick="set_5_4">1.25倍速</button>
<button class="first" type="capsule" onclick="set_6_4">1.5倍速</button>
</div>
<div class="container">
<button class="first" type="capsule" onclick="set_7_4">1.75倍速</button>
<button class="first" type="capsule" onclick="set_8_4">2倍速</button>
</div>
(2)设置录音减速
<div style="text-color: aqua;margin-bottom: 20fp;margin-top: 20fp;">
<text style="font-size: 30fp;">设置录音减速:</text>
</div>
<div class="container">
<button class="first" type="capsule" onclick="set_3_4">0.75倍速</button>
<button class="first" type="capsule" onclick="set_2_4">0.5倍速</button>
</div>
(3)录音
<div style="text-color: aqua;margin-bottom: 20fp;margin-top: 20fp;">
<text style="font-size: 30fp;">录音:</text>
</div>
<div class="container">
<button class="first" type="capsule" onclick="record">录音开始</button>
<button class="first" type="capsule" onclick="recordstop">录音结束</button>
</div>
(4)播放
<div style="text-color: aqua;margin-bottom: 20fp;margin-top: 20fp;">
<text style="font-size: 30fp;">播放:</text>
</div>
<div class="container">
<button class="first" type="capsule" onclick="play">播放开始</button>
<button class="first" type="capsule" onclick="playstop">播放结束</button>
</div>
<div class="container">
<video if="{{ display }}" id="{{ videoId }}"
class="video"
src="{{url}}"
autoplay="{{ autoplay }}"
controls="{{ controlShow }}"
muted="false"
onseeked="seeked"
onprepared="prepared"
>
</video>
</div>
2.逻辑代码在JS中:
(1)首先通过AudioCapturer接口获取到PCM数据,再通过调用AudioCapturer的start接口来启动录音流程。
globalThis.capturer.start().then(function () {
console.log("gyf start");
globalThis.capturer.getBufferSize((err, bufferSize) => {
if (err) {
console.error('gyf getBufferSize error');
} else {
console.log("gyf bufferSize = " + bufferSize);
globalThis.getBuf(bufferSize);
}
});
});
(2)启动成功以后,getBuf会调用到getData函数,getData函数通过AudioCapturer的read方法来读取数据,成功读取到数据以后,通过handleBuffer函数对数据进行处理。handleBuffer函数的参数arrayBuffer就是通过read方法读取出来的pcm数据,在handleBuffer中对数据进行了快速播放或者慢速播放的处理。
//循环调用read,进行数据的读取
handleBuffer(arrayBuffer) {
console.log("gyf handleBuffer");
let result = new Uint8Array(arrayBuffer);
console.log("gyf handleBuffer ================== " + result);
let outData = this.test(result, up, down);
fileio.writeSync(globalThis.fd, outData.buffer);
globalThis.capturer.read(globalThis.bufSize, true).then(this.handleBuffer);
},
getData(bufSize) {
console.log("gyf getData");
globalThis.capturer.read(bufSize, true).then(this.handleBuffer);
},
getBuf(bufSize) {
console.log("gyf getBuf");
this.getData(bufSize);
},
(3)快速播放或者慢速播放是通过up和down两个方法的组合来实现的,down方法的原理是对PCM数据进行插值处理,在相邻两点间插入down个采样点,up方法的原理是间隔抽取,间隔up个点进行抽取采样。
up(data, up) {
if (1 == up) {
return data;
}
let length = data.byteLength;
let upLength = Math.round(length / up);
var upData = new Uint8Array(upLength);
for (var i = 0, j = 0; i < length; ) {
if (j >= upLength) {
break;
}
upData[j] = data[i];
i += up;
j++;
}
return upData;
},
down(data, down) {
if (1 == down) {
return data;
}
let length = data.byteLength;
let downLength = Math.round(length * down);
var downData = new Uint8Array(downLength);
for (var i = 0, j = 0; i < length - 1; ) {
for (var k = 0; k < down; k++) {
downData[j] = data[i];
j++;
}
i++;
}
return downData;
},
(4)将down和up的方法组合调用,来实现1.25倍、1.5倍、1.75倍、2倍、0.75倍、0.5倍的速度播放。
test(data, up, down) {
let downData = this.down(data, down);
let upData = this.up(downData, up);
return upData;
},
(5)播放wav格式的音频文件,采集获取PCM数据,需要我们根据设置的参数对pcm数据进行添加wav的头部信息,通过创建AudioCapturer实例的时候设置采集音频的参数,如采样率、通道数、采样格式等。
//音频采集初始化
var audioStreamInfo = {
samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_8000,
channels: audio.AudioChannel.CHANNEL_1,
sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_U8,
encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW
}
var audioCapturerInfo = {
source: audio.SourceType.SOURCE_TYPE_MIC,
capturerFlags: 1
}
var audioCapturerOptions = {
streamInfo: audioStreamInfo,
capturerInfo: audioCapturerInfo
}
let that = this;
audio.createAudioCapturer(audioCapturerOptions,(err, data) => {
if (err) {
console.error(`gyf AudioCapturer Created : Error: ${err.message}`);
}
else {
console.info('gyf AudioCapturer Created : Success : SUCCESS');
that.capturer = data;
}
});
(6)根据这些参数设置的信息需要对wav文件写入文件头,头信息一般包含44个字节,里面需要设置三个chunk的信息(RIFF chunk、fmt chunk、data chunk),具体的信息可以查看官网的介绍WAV文件格式介绍:
//假设数据为1000秒钟的时间(8000 * 1000)
encodeWAV() {
var dataLen = 8000000;
var sampleRate = 8000;
var sampleBits = 8;
var buffer = new ArrayBuffer(44);
var data = new DataView(buffer);
var channelCount = 1; // 单声道
var offset = 0;
// 资源交换文件标识符
this.writeString(data, offset, 'RIFF'); offset += 4;
// 下个地址开始到文件尾总字节数,即文件大小-8
data.setUint32(offset, 36 + dataLen, true); offset += 4;
// WAV文件标志
this.writeString(data, offset, 'WAVE'); offset += 4;
// 波形格式标志
this.writeString(data, offset, 'fmt '); offset += 4;
// 过滤字节,一般为 0x10 = 16
data.setUint32(offset, 16, true); offset += 4;
// 格式类别 (PCM形式采样数据)
data.setUint16(offset, 1, true); offset += 2;
// 通道数
data.setUint16(offset, channelCount, true); offset += 2;
// 采样率,每秒样本数,表示每个通道的播放速度
data.setUint32(offset, sampleRate, true); offset += 4;
// 波形数据传输率 (每秒平均字节数) 单声道×每秒数据位数×每样本数据位/8
data.setUint32(offset, channelCount * sampleRate * (sampleBits / 8), true); offset += 4;
// 快数据调整数 采样一次占用字节数 单声道×每样本的数据位数/8
data.setUint16(offset, channelCount * (sampleBits / 8), true); offset += 2;
// 每样本数据位数
data.setUint16(offset, sampleBits, true); offset += 2;
// 数据标识符
this.writeString(data, offset, 'data'); offset += 4;
// 采样数据总数,即数据总大小-44
data.setUint32(offset, dataLen, true); offset += 4;
return data;
},
总结
本文介绍了通过使用OpenHarmony音频模块的AudioCapturer接口实现录音功能。AudioCapturer接口对于原始数据的处理非常灵活,能够对采集的数据进行插值/抽值的重采样处理,并将处理后的音频处理保存至本地文件。由于本地文件使用的是WAV格式,故在写数据前需要对WAV文件进行头部信息的添加,这些信息可以根据创建AudioCapturer时设置的参数来进行设置,以此保证头部信息的准确性,最后再通过应用层的video组件对音频数据进行播放。
经常有很多小伙伴抱怨说:不知道学习鸿蒙开发哪些技术?不知道需要重点掌握哪些鸿蒙应用开发知识点?
为了能够帮助到大家能够有规划的学习,这里特别整理了一套纯血版鸿蒙(HarmonyOS Next)全栈开发技术的学习路线,包含了鸿蒙开发必掌握的核心知识要点,内容有(ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、WebGL、元服务、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、OpenHarmony驱动开发、系统定制移植等等)鸿蒙(HarmonyOS NEXT)技术知识点。
《鸿蒙 (Harmony OS)开发学习手册》(共计892页
如何快速入门?
1.基本概念
2.构建第一个ArkTS应用
3.……
开发基础知识:
1.应用基础知识
2.配置文件
3.应用数据管理
4.应用安全管理
5.应用隐私保护
6.三方应用调用管控机制
7.资源分类与访问
8.学习ArkTS语言
9.……
基于ArkTS 开发
1.Ability开发
2.UI开发
3.公共事件与通知
4.窗口管理
5.媒体
6.安全
7.网络与链接
8.电话服务
9.数据管理
10.后台任务(Background Task)管理
11.设备管理
12.设备使用信息统计
13.DFX
14.国际化开发
15.折叠屏系列
16.……
鸿蒙开发面试真题(含参考答案)
OpenHarmony 开发环境搭建
《OpenHarmony源码解析》
- 搭建开发环境
- Windows 开发环境的搭建
- Ubuntu 开发环境搭建
- Linux 与 Windows 之间的文件共享
- ……
- 系统架构分析
- 构建子系统
- 启动流程
- 子系统
- 分布式任务调度子系统
- 分布式通信子系统
- 驱动子系统
- ……
OpenHarmony 设备开发学习手册