WebRTC技術(shù)詳解：從0到1構(gòu)建多人視頻會(huì)議系統(tǒng)

●第1章　WebRTC概述1
1.1　WebRTC的歷史1
1.2　WebRTC的技術(shù)架構(gòu)2
1.3　WebRTC的網(wǎng)絡(luò)拓?fù)?
1.4　Simulcast聯(lián)播4
1.5　可伸縮視頻編碼5
1.6　WebRTC的兼容性5
1.7　其他直播技術(shù)6
1.8　統(tǒng)一計(jì)劃與Plan B8
1.9　本章小結(jié)9

●第2章　本地媒體10
2.1　媒體流10
2.1.1　構(gòu)造媒體流11
2.1.2　MediaStream屬性11
2.1.3　MediaStream方法11
2.1.4　MediaStream事件14
2.2　媒體軌道15
2.2.1　MediaStreamTrack屬性15
2.2.2　MediaStreamTrack方法17
2.2.3　MediaStreamTrack事件20
2.3　媒體約束22
2.3.1　約束類型22
2.3.2　數(shù)據(jù)類型與用法23
2.3.3　通用約束25
2.3.4　視頻約束25
2.3.5　音頻約束25
2.3.6　屏幕共享約束26
2.3.7　圖像約束26
2.3.8　約束的advanced屬性27
2.4　媒體設(shè)備28
2.4.1　WebRTC隱私和安全28
2.4.2　獲取攝像頭與話筒29
2.4.3　共享屏幕30
2.4.4　查詢媒體設(shè)備31
2.4.5　監(jiān)聽媒體設(shè)備變化33
2.5　從canvas獲取媒體流34
2.6　從媒體元素獲取媒體流34
2.7　播放媒體流35
2.8　錄制媒體流36
2.8.1　構(gòu)造MediaRecorder36
2.8.2　MediaRecorder屬性37
2.8.3　MediaRecorder方法39
2.8.4　MediaRecorder事件42
2.9　示例45
2.9.1　代碼結(jié)構(gòu)45
2.9.2　獲取圖片像素?cái)?shù)據(jù)46
2.9.3　替換視頻背景47
2.10　本章小結(jié)48

●第3章　傳輸技術(shù)49
3.1　RTP49
3.2　RTCP52
3.3　SRTP/SRTCP54
3.4　TLS/DTLS55
3.5　SDP55
3.6　ICE57
3.7　搭建STUN/TURN服務(wù)器63
3.8　本章小結(jié)65

●第4章　連接管理66
4.1　WebRTC建立連接的過程66
4.1.1　會(huì)話描述信息RTCSession-Description69
4.1.2　pending狀態(tài)與current狀態(tài)70
4.1.3　ICE候選者RTCIceCandidate70
4.2　RTCPeerConnection接口72
4.2.1　構(gòu)造函數(shù)RTCPeerConnection73
4.2.2　連接配置RTCConfiguration74
4.2.3　RTCPeerConnection接口的屬性76
4.2.4　RTCPeerConnection接口的方法82
4.2.5　RTCPeerConnection接口的事件90
4.3　完美協(xié)商模式94
4.3.1　SDP沖突問題95
4.3.2　使用完美協(xié)商模式95
4.3.3　再談ICE重啟97
4.4　示例98
4.4.1　運(yùn)行示例98
4.4.2　使用WebSocket99
4.4.3　創(chuàng)建RTCPeerConnection的時(shí)機(jī)100
4.5　本章小結(jié)102

●第5章　RTP媒體管理103
5.1　WebRTC編解碼104
5.2　RTCPeerConnection RTP擴(kuò)展110
5.2.1　RTCPeerConnection擴(kuò)展方法111
5.2.2　RTCPeerConnection擴(kuò)展事件113
5.3　傳輸媒體流114
5.3.1　無流軌道115
5.3.2　有流軌道115
5.4　RTP收發(fā)管理116
5.4.1　RTCRtpTransceiver屬性117
5.4.2　RTCRtpTransceiver方法118
5.5　RTP發(fā)送器118
5.5.1　RTCRtpSender屬性119
5.5.2　RTCRtpSender方法119
5.6　RTP接收器123
5.6.1　RTCRtpReceiver屬性123
5.6.2　RTCRtpReceiver方法123
5.7　DTLS傳輸層126
5.7.1　RTCDtlsTransport屬性126
5.7.2　RTCDtlsTransport方法127
5.7.3　RTCDtlsTransport事件127
5.8　ICE傳輸層128
5.8.1　RTCIceTransport屬性128
5.8.2　RTCIceTransport方法130
5.8.3　RTCIceTransport事件132
5.9　使用DTMF134
5.9.1　RTCDTMFSender屬性134
5.9.2　RTCDTMFSender方法135
5.9.3　RTCDTMFSender事件135
5.10　RTC錯(cuò)誤處理136
5.11　通話的掛起與恢復(fù)137
5.11.1　通話掛起137
5.11.2　通話恢復(fù)138
5.12　示例139
5.12.1　 動(dòng)態(tài)設(shè)置視頻碼率140
5.12.2　 使用VP9和H264141
5.12.3　使用虛擬背景144
5.13　本章小結(jié)145

●第6章　信令服務(wù)器146
6.1　使用Node.js147
6.2　使用TypeScript156
6.3　使用Express164
6.4　使用Socket.IO173
6.5　實(shí)現(xiàn)信令服務(wù)器179
6.6　實(shí)現(xiàn)信令客戶端186
6.7　示例189
6.8　本章小結(jié)191

●第7章　數(shù)據(jù)通道192
7.1　SCTP192
7.2　RTCPeerConnection數(shù)據(jù)通道擴(kuò)展接口196
7.3　RTCSctpTransport199
7.4　RTCDataChannel200
7.5　帶內(nèi)協(xié)商與帶外協(xié)商206
7.6　文字聊天與文件傳輸206
7.7　本章小結(jié)216

●第8章　統(tǒng)計(jì)數(shù)據(jù)217
8.1　統(tǒng)計(jì)數(shù)據(jù)入口217
8.2　RTCStats及其擴(kuò)展219
8.3　實(shí)時(shí)碼率監(jiān)測(cè)241
8.3.1　使用Chart.js242
8.3.2　獲取碼率數(shù)據(jù)244
8.4　本章小結(jié)247

●第9章　移動(dòng)端WebRTC248
9.1　原生應(yīng)用與混合應(yīng)用248
9.2　原生開發(fā)環(huán)境249
9.2.1　Android原生開發(fā)環(huán)境249
9.2.2　iOS原生開發(fā)環(huán)境250
9.3　WebView251
9.4　Cordova252
9.4.1　編譯環(huán)境253
9.4.2　全局配置config.xml254
9.4.3　應(yīng)用程序行為preference258
9.4.4　應(yīng)用程序圖標(biāo)icon261
9.4.5　簡(jiǎn)單的WebRTC移動(dòng)應(yīng)用264
9.4.6　調(diào)試Cordova應(yīng)用267
9.5　Ionic Framework268
9.5.1　安裝與使用269
9.5.2　開發(fā)工具269
9.6　基于Ionic的WebRTC移動(dòng)應(yīng)用270
9.6.1　使用模板創(chuàng)建應(yīng)用程序271
9.6.2　首頁(yè)組件272
9.6.3　連接管理服務(wù)275
9.6.4　視頻與聊天組件281
9.6.5　構(gòu)建Android應(yīng)用程序283
9.6.6　構(gòu)建iOS應(yīng)用程序285
9.7　本章小結(jié)286

●第10章　從0到1打造多人視頻會(huì)議系統(tǒng)287
10.1　整體設(shè)計(jì)287
10.2　媒體服務(wù)器289
10.2.1　OWT289
10.2.2　Kurento289
10.2.3　Janus290
10.2.4　Mediasoup291
10.2.5　媒體服務(wù)器的選擇291
10.3　Mediasoup信令交互過程293
10.4　服務(wù)器端實(shí)現(xiàn)294
10.4.1　房間與參與者295
10.4.2　管理與監(jiān)控接口296
10.5　客戶端實(shí)現(xiàn)298
10.5.1　發(fā)布媒體流298
10.5.2　訂閱媒體流301
10.5.3　共享桌面303
10.5.4　共享本地媒體303
10.5.5　文檔及白板304
10.5.6　文字聊天307
10.6　傳輸質(zhì)量監(jiān)控308
10.7　從網(wǎng)絡(luò)故障中恢復(fù)309
10.8　本章小結(jié)310