音視頻開發(fā)進(jìn)階指南：基于Android與iOS平臺的實(shí)踐

Contents?目　　錄
推薦序一
推薦序二
前言
第1章　音視頻基礎(chǔ)概念 1
1.1　聲音的物理性質(zhì) 1
1.1.1　聲音是波 1
1.1.2　聲波的三要素 2
1.1.3　聲音的傳播介質(zhì) 3
1.1.4　回聲 3
1.1.5　共鳴 4
1.2　數(shù)字音頻 4
1.3　音頻編碼 6
1.4　圖像的物理現(xiàn)象 7
1.5　圖像的數(shù)值表示 8
1.5.1　RGB表示方式 8
1.5.2　YUV表示方式 9
1.5.3　YUV和RGB的轉(zhuǎn)化 10
1.6　視頻的編碼方式 10
1.6.1　視頻編碼 10
1.6.2　編碼概念 11
1.7　本章小結(jié) 13
第2章　移動端環(huán)境搭建 14
2.1　在iOS上如何搭建一個基礎(chǔ)項(xiàng)目 14
2.2　在Android上如何搭建一個基礎(chǔ)項(xiàng)目 21
2.3　交叉編譯的原理與實(shí)踐 26
2.3.1　交叉編譯的原理 26
2.3.2　iOS平臺交叉編譯的實(shí)踐 27
2.3.3　Android平臺交叉編譯的實(shí)踐 33
2.3.4　使用LAME編碼MP3文件 38
2.4　本章小結(jié) 42
第3章　FFmpeg的介紹與使用 43
3.1　FFmpeg的編譯與命令行工具的使用 43
3.1.1　FFmpeg的編譯 43
3.1.2　FFmpeg命令行工具的使用 51
3.2　FFmpeg API的介紹與使用 60
3.3　FFmpeg源碼結(jié)構(gòu) 68
3.3.1　libavformat與libavcodec介紹 68
3.3.2　FFmpeg通用API分析 69
3.3.3　調(diào)用FFmpeg解碼時用到的函數(shù)分析 70
3.3.4　調(diào)用FFmpeg編碼時用到的函數(shù)分析 71
3.3.5　面向?qū)ο蟮腃語言設(shè)計(jì) 72
3.4　本章小結(jié) 74
第4章　移動平臺下的音視頻渲染 75
4.1　AudioUnit介紹與實(shí)踐 75
4.2　Android平臺的音頻渲染 84
4.2.1　AudioTrack的使用 85
4.2.2　OpenSL ES的使用 87
4.3　視頻渲染 90
4.3.1　OpenGL ES介紹 90
4.3.2　OpenGL ES的實(shí)踐 91
4.3.3　上下文環(huán)境搭建 98
4.3.4　OpenGL ES中的紋理 104
4.4　本章小結(jié) 109
第5章　實(shí)現(xiàn)一款視頻播放器 110
5.1　架構(gòu)設(shè)計(jì) 110
5.2　解碼模塊的實(shí)現(xiàn) 115
5.3　音頻播放模塊的實(shí)現(xiàn) 118
5.3.1　Android平臺的音頻渲染 118
5.3.2　iOS平臺的音頻渲染 119
5.4　畫面播放模塊的實(shí)現(xiàn) 121
5.4.1　Android平臺的視頻渲染 121
5.4.2　iOS平臺的視頻渲染 122
5.5　AVSync模塊的實(shí)現(xiàn) 124
5.5.1　維護(hù)解碼線程 124
5.5.2　音視頻同步 125
5.6　中控系統(tǒng)串聯(lián)起各個模塊 127
5.6.1　初始化階段 127
5.6.2　運(yùn)行階段 128
5.6.3　銷毀階段 129
5.7　本章小結(jié) 130
第6章　音視頻的采集與編碼 131
6.1　音頻的采集 131
6.1.1　Android平臺的音頻采集 131
6.1.2　iOS平臺的音頻采集 134
6.2　視頻畫面的采集 137
6.2.1　Android平臺的視頻畫面采集 137
6.2.2　iOS平臺的視頻畫面采集 146
6.3　音頻的編碼 156
6.3.1　libfdk_aac編碼AAC 156
6.3.2　Android平臺的硬件編碼器MediaCodec 158
6.3.3　iOS平臺的硬件編碼器AudioToolbox 161
6.4　視頻畫面的編碼 166
6.4.1　libx264編碼H264 166
6.4.2　Android平臺的硬件編碼器MediaCodec 172
6.4.3　iOS平臺的硬件編碼器 175
6.5　本章小結(jié) 184
第7章　實(shí)現(xiàn)一款視頻錄制應(yīng)用 185
7.1　視頻錄制的架構(gòu)設(shè)計(jì) 185
7.2　音頻模塊的實(shí)現(xiàn) 188
7.2.1　音頻隊(duì)列的實(shí)現(xiàn) 189
7.2.2　Android平臺的實(shí)現(xiàn) 191
7.2.3　iOS平臺的實(shí)現(xiàn) 194
7.3　音頻編碼模塊的實(shí)現(xiàn) 198
7.3.1　改造編碼器 198
7.3.2　編碼器適配器 199
7.4　畫面采集與編碼模塊的實(shí)現(xiàn) 202
7.4.1　視頻隊(duì)列的實(shí)現(xiàn) 202
7.4.2　Android平臺畫面編碼后入隊(duì) 203
7.4.3　iOS平臺畫面編碼后入隊(duì) 204
7.5　Mux模塊 205
7.5.1　初始化 206
7.5.2　封裝和輸出 208
7.5.3　銷毀資源 212
7.6　中控系統(tǒng)串聯(lián)起各個模塊 213
7.7　本章小結(jié) 214
第8章　音頻效果器的介紹與實(shí)踐 215
8.1　數(shù)字音頻基礎(chǔ) 215
8.1.1　波形圖 215
8.1.2　頻譜圖 217
8.1.3　語譜圖 219
8.1.4　深入理解時域與頻域 219
8.2　數(shù)字音頻處理：快速傅里葉變換 222
8.3　基本樂理知識 229
8.3.1　樂譜 229
8.3.2　音符的音高與十二平均律 231
8.3.3　音符的時值 233
8.3.4　節(jié)拍 233
8.3.5　MIDI格式 234
8.4　混音效果器 235
8.4.1　均衡效果器 236
8.4.2　壓縮效果器 239
8.4.3　混響效果器 240
8.5　效果器實(shí)現(xiàn) 243
8.5.1　Android平臺實(shí)現(xiàn)效果器 243
8.5.2　iOS平臺實(shí)現(xiàn)效果器 252
8.6　本章小結(jié) 255
第9章　視頻效果器的介紹與實(shí)踐 256
9.1　圖像處理的基本原理 256
9.1.1　亮度調(diào)節(jié) 257
9.1.2　對比度調(diào)節(jié) 258
9.1.3　飽和度調(diào)節(jié) 259
9.2　圖像處理進(jìn)階 259
9.2.1　圖像的卷積過程 260
9.2.2　銳化效果器 260
9.2.3　高斯模糊算法 262
9.2.4　雙邊濾波算法 263
9.2.5　圖層混合介紹 264
9.3　使用FFmpeg內(nèi)部的視頻濾鏡 266
9.3.1　FFmpeg視頻濾鏡介紹 266
9.3.2　濾鏡圖的構(gòu)建 267
9.3.3　使用與銷毀濾鏡圖 269
9.3.4　常用濾鏡介紹 270
9.4　使用OpenGL ES實(shí)現(xiàn)視頻濾鏡 272
9.4.1　加水印 273
9.4.2　添