什么是流媒體協(xié)議？
那么，什么是流媒體協(xié)議？流媒體協(xié)議是通過(guò) Internet 在設備之間傳輸視頻或音頻流內容的標準化方法。
視頻流媒體協(xié)議將視頻或音頻內容的“塊”從一臺設備發(fā)送到另一臺設備。在播放器設備上將這些“塊”轉換為可重播內容的方法稱(chēng)為“重新組合”方法。
為了成功處理，終端設備必須支持發(fā)送方使用的協(xié)議。否則，將無(wú)法播放廣播。
什么是RTSP？
RTSP，全稱(chēng)為Real-Time Streaming Protocol（實(shí)時(shí)流媒體傳輸協(xié)議），是一種用于在計算機網(wǎng)絡(luò )中傳輸流媒體數據的應用層協(xié)議。它的主要目的是支持實(shí)時(shí)音視頻的傳輸和控制，使用戶(hù)能夠通過(guò)網(wǎng)絡(luò )實(shí)時(shí)獲取和播放音視頻數據。
“實(shí)時(shí)流媒體協(xié)議 （RTSP） 建立和控制單個(gè)或多個(gè)連續媒體（如音頻和視頻）的時(shí)間同步流。它本身通常不提供連續流，盡管連續媒體流與控制流的交錯是可能的，換句話(huà)說(shuō)，RTSP充當多媒體服務(wù)器的“網(wǎng)絡(luò )遠程控制”。Internet Engineering Task Force 是這樣解釋RTSP的：
當用戶(hù)使用RTSP從 IP 攝像機啟動(dòng)視頻流時(shí)，設備會(huì )向流服務(wù)器發(fā)送RTSP請求。完成 IP 攝像機和服務(wù)器之間的設置后，可以使用 RTP 傳輸視頻和音頻數據。
RTSP 技術(shù)規格
- 音頻編解碼器：AAC、AAC-LC、HE-AAC+ v1 & v2、MP3、Speex、Opus、Vorbis
- 視頻編解碼器：H.265（預覽版）、H.264、VP9、VP8
- 播放兼容性：未得到廣泛支持，很少用于播放（Quicktime Player 和其他符合RTSP/RTP 的播放器、VideoLAN VLC 媒體播放器、兼容 3Gpp 的移動(dòng)設備）
- 優(yōu)點(diǎn)：低延遲，在 IP 攝像機中無(wú)處不在
- 缺點(diǎn)：未針對體驗質(zhì)量和可擴展性進(jìn)行優(yōu)化
- 延遲：2 秒
- 變體格式：RTP、RTCP（實(shí)時(shí)控制協(xié)議）和RTSP的整個(gè)堆棧通常稱(chēng)為RTSP
RTSP流媒體的歷史
RTSP流式傳輸已經(jīng)使用了很長(cháng)時(shí)間。RealNetworks、Netscape 和哥倫比亞大學(xué)之間的合作伙伴關(guān)系于 1996-97 年首次開(kāi)發(fā)并交付了該協(xié)議。RTSP協(xié)議是通過(guò)RealNetworks的RealAudio和Netscape的LiveMedia的流媒體實(shí)踐實(shí)踐經(jīng)驗開(kāi)發(fā)的。它的主要目的是對媒體流進(jìn)行“類(lèi)似 VCR 的控制”。類(lèi)似 VCR 的控制是播放、暫停、倒帶和以其他方式指導觀(guān)看體驗的能力。這在 90 年代后期非?？?，即使現在聽(tīng)起來(lái)并不有趣。RTSP 于 1998 年標準化為 RFC 2326，并立即成為用戶(hù)直接從 Internet 播放音頻和視頻的一種方式，而無(wú)需先將文件下載到他們的設備。人們真的很喜歡它！
它建立在當時(shí)的現有標準之上，類(lèi)似于操作中的HTTP（因此很容易與現有的HTTP網(wǎng)絡(luò )兼容），并且能夠使用SDP（會(huì )話(huà)描述協(xié)議）進(jìn)行多媒體通信會(huì )話(huà)。
它是一種應用層協(xié)議，它與媒體服務(wù)器通信以創(chuàng )建會(huì )話(huà)并發(fā)送“暫停”和“播放”等命令，而不是傳輸實(shí)際的流數據。傳統上，大多數RTSP服務(wù)器使用RTP（實(shí)時(shí)傳輸協(xié)議）和RTCP（實(shí)時(shí)控制協(xié)議）來(lái)傳輸媒體流。
正如我上面所說(shuō)，RTSP曾經(jīng)是互聯(lián)網(wǎng)音頻和視頻流的領(lǐng)先流媒體技術(shù)之一。隨著(zhù)時(shí)間的流逝，基于HTTP的流媒體技術(shù)和自適應比特率流媒體解決方案開(kāi)始使RTSP和RTMP（R.I.P）等舊技術(shù)黯然失色。原作者Anup Rao、Rob Lanphier等人在2016年提出了RTSP2.0版本，其更新旨在縮短與媒體服務(wù)器的往返通信，并解決網(wǎng)絡(luò )地址轉換（NAT）的一些問(wèn)題。
它仍然是 IP 攝像機的首選協(xié)議，用于大多數監控、閉路電視和會(huì )議視頻技術(shù)，所有這些都可能用作直播源。
RTSP如何工作？
RTSP在功能上與HTTP在概念上相似，并且在最初開(kāi)發(fā)時(shí)很容易與現有的HTTP網(wǎng)絡(luò )兼容。
- 建立連接和會(huì )話(huà)管理：RTSP協(xié)議通過(guò)建立客戶(hù)端和服務(wù)器之間的連接，實(shí)現音視頻流的傳輸和控制。它提供了一種機制來(lái)管理會(huì )話(huà)，包括開(kāi)始、暫停、重新定位和關(guān)閉會(huì )話(huà)等。
- 控制音視頻流的操作：使用RTSP協(xié)議，可以控制音視頻流的操作，例如播放、暫停、快進(jìn)、倒退和跳轉到指定位置等。這使得用戶(hù)可以對音視頻數據進(jìn)行靈活的控制和操作。
- 描述音視頻流的信息：RTSP協(xié)議可以通過(guò)發(fā)送會(huì )話(huà)描述協(xié)議（SDP）文件來(lái)描述音視頻流的信息，包括編碼格式、傳輸方式、媒 ** 置等。這些信息使得客戶(hù)端能夠正確解碼和播放音視頻流。
- 支持多媒體流的傳輸：RTSP協(xié)議支持傳輸多個(gè)媒體流，例如音頻流、視頻流和字幕流。它可以通過(guò)多路復用和分解復用技術(shù)將這些流組合到一個(gè)傳輸通道中，以便同時(shí)傳輸和控制。
RTSP還支持多種控制請求操作（也稱(chēng)為“命令”），例如播放、暫停、設置等（我將在下一節中為您提供一些示例請求。第一個(gè)請求還必須通過(guò)“OPTIONS”命令通知客戶(hù)端可用選項。之后，用戶(hù)可以觀(guān)看或關(guān)閉流。RTSP與 TCP 保持端到端連接，并通過(guò)此穩定連接實(shí)現高吞吐量，而無(wú)需任何本地下載或緩存。
該協(xié)議不支持內容加密或丟失數據包的重傳，因為RTSP連接到專(zhuān)用服務(wù)器進(jìn)行流式傳輸，并依賴(lài) RTP 傳輸真實(shí)媒體。這些限制以及擴展問(wèn)題導致整體RTSP使用率下降。
RTSP請求
在協(xié)商和控制媒體流時(shí)，RTSP通常使用通常從客戶(hù)端發(fā)送到服務(wù)器的以下命令：- 選項：此請求確定媒體服務(wù)器將接受哪些其他類(lèi)型的請求。
- 描述：描述請求標識數據的 URL 和類(lèi)型。
- Announce：Announce 方法描述從客戶(hù)端發(fā)送到服務(wù)器時(shí)的演示文稿，并在從服務(wù)器發(fā)送到客戶(hù)端時(shí)更新描述。
- 設置：設置請求指定在發(fā)送播放請求之前必須如何傳輸媒體流。
- 播放：播放請求通過(guò)告訴服務(wù)器開(kāi)始發(fā)送數據來(lái)啟動(dòng)媒體傳輸。
- 暫停：暫停請求暫時(shí)停止流傳輸。
- 錄制：錄制請求啟動(dòng)媒體錄制。
- 拆解：此請求將完全終止會(huì )話(huà)并停止所有媒體流。
- 重定向：重定向請求通過(guò)為客戶(hù)端提供要向其發(fā)出請求的新 URL 來(lái)通知客戶(hù)端它必須連接到另一臺服務(wù)器。
RTSP的替代方案
現在讓我們換個(gè)角度，了解可以替代RTSP的其他協(xié)議。這里的關(guān)鍵點(diǎn)是，每個(gè)協(xié)議都有自己獨特的目的、功能和工作方式。因此，每種情況下的“最佳流媒體協(xié)議”完全取決于使用場(chǎng)景。在本節之后，您將能夠根據自己的需求和用例選擇RTSP流媒體協(xié)議的最佳替代方案。RTSP與RTMP
RTMP流媒體協(xié)議，基于傳輸控制協(xié)議的技術(shù)，由Macromedia開(kāi)發(fā)，用于在Flash播放器和服務(wù)器之間通過(guò)Internet流式傳輸音頻，視頻和數據。Macromedia于2005年12月3日被其競爭對手Adobe Inc.收購。RTMP代表實(shí)時(shí)消息傳遞協(xié)議，它曾經(jīng)是最流行的直播協(xié)議。它可用于第一英里的交付/提取，但不能用于最后一英里的交付/播放。
RTMP 流媒體協(xié)議技術(shù)規格
- 音頻編解碼器：AAC、AAC-LC、HE-AAC+ v1 & v2、MP3、Speex
- 視頻編解碼器：H.264、VP8、VP6、Sorenson Spark®、屏幕視頻 v1 和 v2
-
播放兼容性：不再廣泛支持
- 僅限于 Flash Player、Adobe AIR、RTMP 兼容播放器
- 不再被 iOS、Android、大多數瀏覽器和大多數可嵌入播放器接受
- 優(yōu)點(diǎn)：低延遲和最少的緩沖
- 缺點(diǎn)：未針對體驗質(zhì)量或可擴展性進(jìn)行優(yōu)化
- 延遲：5 秒
- 變體格式：RTMPT（通過(guò) HTTP 隧道）、RTMPE（加密）、RTMPTE（隧道和加密）、RTMPS（通過(guò) SSL 加密）、RTMFP（通過(guò) UDP 而不是 TCP 分層）
RTSP與 WebRTC
WebRTC 代表 Web 實(shí)時(shí)通信。WebRTC 是一種非常令人興奮、功能強大且極具顛覆性的尖端技術(shù)和流媒體協(xié)議。
WebRTC 與 HTML5 兼容，您可以使用它直接在瀏覽器和設備之間添加實(shí)時(shí)媒體通信。您可以做到這一點(diǎn)，而無(wú)需在瀏覽器中安裝任何插件的先決條件。WebRTC 正逐漸受到所有主要現代瀏覽器供應商的支持，包括 Safari、Google Chrome、Firefox、Opera 等。
借助 WebRTC 視頻流技術(shù)，您可以將實(shí)時(shí)視頻直接嵌入到基于瀏覽器的解決方案中，為您的觀(guān)眾創(chuàng )建引人入勝的交互式流媒體體驗，而無(wú)需擔心延遲。WebRTC視頻流正在改變新常態(tài)下的參與方式。
WebRTC 特性
- 超低延遲視頻流 – 延遲為 0.5 秒
- 平臺和設備獨立性
- 高級語(yǔ)音和視頻質(zhì)量
- 安全的語(yǔ)音和視頻
- 易于擴展
- 適應網(wǎng)絡(luò )條件
- WebRTC 數據通道
RTSP與 HLS
HLS 代表 HTTP Live Streaming。HLS 是一種基于 HTTP 的自適應協(xié)議，用于將視頻和音頻數據/內容從媒體服務(wù)器傳輸到最終用戶(hù)的設備。
HLS 由 Apple 于 2009 年創(chuàng )建。蘋(píng)果公司宣布HLS與傳奇設備iPhone 3幾乎同時(shí)發(fā)布。前幾代 iPhone 3 存在實(shí)時(shí)流媒體播放問(wèn)題，Apple 希望通過(guò) HLS 解決這個(gè)問(wèn)題。
HLS視頻流媒體協(xié)議的特點(diǎn)
- 隱藏式字幕
- 快進(jìn)和快退
- 備用音頻和視頻
- 回退備選方案
- 定時(shí)元數據
- 廣告插入
- 內容保護
HLS 技術(shù)規格
- 音頻編解碼器：AAC-LC、HE-AAC+ v1 & v2、xHE-AAC、Apple Lossless、FLAC
- 視頻編解碼器：H.265、H.264
- 播放兼容性：它是為 iOS 設備創(chuàng )建的。但是現在所有的谷歌瀏覽器;Android、Linux、Microsoft 和 macOS 設備;一些機頂盒、智能電視和其他播放器都支持 HLS。它現在是一個(gè)通用協(xié)議。
- 優(yōu)點(diǎn)：支持自適應碼率，可靠，支持廣泛。
- 缺點(diǎn)：視頻質(zhì)量和觀(guān)看者體驗優(yōu)先于延遲。
- 延遲：HLS 允許我們有 5-20 秒的延遲，但低延遲 HLS 擴展現在已被合并為 HLS 的功能集，有望提供低于 2 秒的延遲。
RTSP與CMAF
通用媒體應用程序格式 （CMAF） 基本上是一種簡(jiǎn)化基于 HTTP 的流媒體交付的新格式。它是一種新興標準，有助于降低成本、復雜性，并在流媒體中提供大約 3-5 秒的延遲。
由于RTMP的地位下降，其他基于HTTP（超文本傳輸協(xié)議）的自適應比特率流技術(shù)已經(jīng)出現。但是，不同的流式處理標準需要不同的文件容器。例如，MPEG-DASH 使用.mp4容器，而 HLS 流以.ts格式交付。
因此，每個(gè)想要覆蓋更廣泛受眾的廣播公司都必須對同一視頻文件進(jìn)行兩次編碼和存儲，因為加密會(huì )創(chuàng )建完全不同的文件組。
同一視頻流的這兩個(gè)版本應提前或立即制作。這兩個(gè)過(guò)程都需要額外的存儲和處理成本。
蘋(píng)果和Microsoft建議運動(dòng)圖像專(zhuān)家組創(chuàng )建一個(gè)新的統一標準，稱(chēng)為通用媒體應用程序格式（CMAF），以降低在線(xiàn)傳輸視頻時(shí)的復雜性。
讓我們看看 Akamai 對此的評價(jià)：
“這些相同的文件雖然代表相同的內容，但打包成本是原來(lái)的兩倍，存儲成本是原來(lái)的兩倍，而且在 Akamai 邊緣緩存上相互競爭空間，從而降低了交付效率。”
CMAF的重要性在這里發(fā)揮作用。作為所有平臺的標準流媒體格式，它幫助我們進(jìn)行單一方法的編碼、打包和存儲。因此，通用媒體應用程序格式使視頻流過(guò)程更便宜且更簡(jiǎn)單。
CMAF串流的優(yōu)勢
CMAF 流媒體技術(shù)是減少流媒體延遲和流媒體復雜性的最簡(jiǎn)單方法之一。CMAF流媒體可以幫助我們;- 削減成本
- 最大限度地降低工作流程復雜性
- 減少延遲
RTSP和IP攝像機
大多數 IP 攝像機使用RTSP協(xié)議來(lái)捕獲到媒體服務(wù)器的廣播。IP攝像機，專(zhuān)門(mén)用于監控。當您想從固定位置進(jìn)行直播時(shí)，它們也非常有效。IP攝像機的一大優(yōu)點(diǎn)是它們不需要額外的編碼器。將 IP 攝像機與服務(wù)器配對時(shí)，RTSP可以輕松為您完成工作。
使用科能融合的RTSP流媒體
螞蟻傳媒提供即用型、高度可擴展的實(shí)時(shí)視頻流解決方案，以滿(mǎn)足實(shí)時(shí)視頻流需求。根據客戶(hù)的要求和偏好，它可以在本地或公共云網(wǎng)絡(luò )（如阿里云、AWS、Azure 等）上輕松快速地部署實(shí)時(shí)視頻流解決方案。螞蟻媒體服務(wù)器支持大多數常見(jiàn)的媒體流媒體協(xié)議，如 RTMP、HLS、DASH、WebRTC，當然還有RTSP。實(shí)際上，螞蟻媒體服務(wù)器是市場(chǎng)上最好的媒體服務(wù)器之一，可以滿(mǎn)足不同的流媒體需求?？颇苋诤蟂erver 提供了上面列出的所有功能。
