NO.52 | 2019.02.27
banner
title資訊百科 友善列印>>
【108年智慧城市展參展主題系列】物聯網遠距視訊應用之vMOS評測平台_檢技暨網通技術組 施嘉興高級工程師



    數位匯流線上影音服務已成為現今網際網路應用中之主流,,使用者可以透過開放式的網際網路,使多樣的行動載具、物聯網設備,得以接收各種線上視訊內容、語音通訊等服務。而線上影音服務的快速發展已直接衝擊傳統廣播電視,甚至改變使用者的收視習慣,減少對傳統電視、收訊的依賴;轉向藉由物聯設備、載具透過固定網路、第四台網路或行動寬頻吃到飽服務下的線上影音服務。目前我國平均每人每月行動數據傳輸量已超過14GB,更是高居世界排名第一;但因開放式網際網路不具有服務品質(Quality of Service,QoS)保證的特性,加上不同的終端裝置有多樣性的螢幕尺寸、各用戶多樣化的使用情境等因素,如何掌握用戶的體驗品質、進而優化架構以改善品質,成為線上影音服務營運與管理的重要課題。

國內線上影音平臺服務產業現況
    根據NCC 於2017年匯流發展調查,我國民眾擁有智慧型手機的比例為79.6%,已超過於擁有一般電視的63.3%。電信產業、廣播電視與網際網路的數位匯流,加速了線上影音視訊服務(Video Streaming)的發展,特別是開放式網路、無QoS保證的線上影音服務。OTT服務的收視增長改變了付費電視的優勢,根據ABI Research預估,2018年OTT將達4億用戶,2022年全球營收將達514億美元。

圖1、台灣使用者平常觀看的OTT影音服務
(資料來源:台灣OTT電視使用行為調查,OVO,2016)
 
    如上圖所示,隨4G網路日益成熟,廣電、電信與網路三路業者積極布局搶佔線上影音市場大餅,近年來除持續開台上線的新興線上影音影音平臺業者外,廣電業者受到傳統電視廣告量下滑影響,亦積極進軍線上影音市場,而電信業者與有線電視結盟進行合縱連橫之團體戰,推出線上影音型態的隨選視訊;中華電信則是強打MOD服務,並強化主流頻道於MOD上架。由此可見在物聯網遠距視訊的應用上,線上影音服務將是第一波主力戰場。

    新興的線上影音平臺服務(指透過網際網路的傳輸提供線上影音觀看)已成為最受歡迎且最耗頻寬的網路應用,根據Cisco的視覺化網路指數預估報告顯示,全球消費者上網流量至2021年時將有80%來自於線上影音平臺。在這類服務中,自適性串流(Adaptive Streaming or Adaptive Bitrate Streaming)的技術被廣泛地與
內容傳遞網路(Content Delivery Network, CDN)一同佈署以向用戶傳遞多媒體資源。對於影音平臺服務提供商、網路營運商以及用戶來說,都有服務品質量測的需求,特別是量化的用戶體驗品質(Quality of Experience,QoE),以利評估和改進系統效能及用戶滿意度。

vMOS評測平台對線上影音量測之方法
    受到視訊品質、播放器行為和螢幕尺寸等影響,傳統的網路性能量測(例如吞吐量、延遲和抖動等)沒有辦法完整評估用戶實際的體驗品質。因此,本中心物聯網遠距視訊的應用之vMoS評測平台即針對有線廣播電視系統、電信事業固網與行動寬頻等通傳事業經營者透過行動寬頻或自建WiFi網路提供的影音服務(可能是自有影音平臺或第三方影音平臺,如 YouTube)建立一套可佈建於用戶端的客觀QoE模型與量測方法,以便評估用戶對於影音服務品質的真實感受。據此,我們將著重於:
一、 探討客觀評估線上影音服務體驗品質的可行性與對應的評估指標;
二、 依據評估指標提出具體的量測方法;
三、 實作量測工具進行實驗驗證所提的評估指標與量測方法。

    首先我們必須先了解QoS(Quality of Service)與QoE(Quality of Experience)的不同,QoS可視為網路傳輸性能的指標,至於用戶主觀地感受到的體驗品質則另以QoE來表示:
1.QoS主要從網路的角度進行評價,評價對象為承載該項服務的網路品質。
2.QoE主要是由終端用戶所評價,評價對象為該項服務的體驗品質。

    兩者之間有明顯的差距,傳統的QoS指標主要規範提供傳輸網路的業者,對大多數基於網際網路協定
(Internet Protocol; IP)的服務而言,影響QoS的主要可量測的量化參數包含吞吐量(throughput)、
傳輸延遲(delay or latency)、傳輸延遲變異(packet delay variation or jitter)與丟包率(packet loss rate)。至於QoE 則受到許多主觀因素影響,其中包含許多與網路傳輸性能無關的因素,例如:觀賞設備的螢幕品質、播放中斷、畫面解析度與大小等等,甚至在主觀QoE研究中連影片劇情內容都會影響到使用者體驗,於此,也同時可以了解到QoE量化量測相較於QoS量測更加困難。

    針對線上影音服務提供商和End-User的影音串流,在度量指標的考量上,本中心站在過往研究之基礎上,針對QoE量測方法採用電信技術中心既有研發之「視訊服務品質綜合指標(Video Mean Opinion Score;vMOS)」模型:vMOS = f (視訊解析度, 初始緩衝時間, 卡頓率)

    該vMOS模型所參照之指標參數,乃是基於過往主觀QoE研究上,類聚了會影響使用者體驗的各項重要指標。並從眾多的主觀指標中,選擇會對使用者感受體驗產生影響且可以被量測的主要指標。因此選擇了視訊解析度、初始緩衝時間與卡頓率這三項指標,對於QoE的綜合影響甚鉅且可被量測,其中第一項參數主要反映視訊源本身的空間品質,後二項參數則反映了網路傳輸對時間品質造成的影響。

vMOS量測平台驗證
    本中心vMOS模型,透過實際佈建量測,共有222個用戶進行量測,其中有104個用戶量測15天以上(如下圖2,各用戶量測天數)。結果目前已超過20,000筆數據。累計了3,144數據人天數,其中包含行動網路數據達2,109人天數、固網或有線網路透過WiFi蒐集之數據達1,035人天數。
 

圖 2、各用戶量測天數-依天數多寡排序
(資料來源:本研究整理)
 
    依照區域來劃分,本研究量測分布在台灣北、中、南各地進行,共量測21,993筆量測數據,下圖3為依區域劃分量測數據量比例,其中有11,054筆數據來自北部(占整體的50%),有4,865筆數據來自中部(占整體的22%),有5,478筆數據來自南部(占整體的25%),有596筆數據來自東部(占整體的3%)。
圖 3、依區域劃分量測數據量比例
(資料來源:本研究整理)
 
    透過足夠的樣本數與數據量進行迴歸分析,利用散點圖搭配線性趨勢線,以視覺化方式呈現vMOS 與用戶評分 (MOS) 的相關性,如下圖4所示,該圖中的紅色實線為理想的完全正相關參考線 (斜率為 1 的對角線)。從圖中可以觀察到散點非常集於對角線上,代表量測工具的量測結果與使用者評分具有高度正相關性。其中,vMOS 為量測平台之工具量測的 QoE,MOS則為用戶回饋的主觀 QoE,下圖中的藍色虛線即為對應該函式的線性趨勢線。皮爾森相關係數達0.93。

圖4 、量測結果與用戶評分之視覺化相關性
(資料來源:本研究整理)
 
    另一方面,也透過誤差統計方式呈現量測結果的 RMSE 與各誤差等級的百分比,如下表所示。由表中可以觀察到大多數情況下,量測結果與真人評分的誤差97.75%都在 1 分以內。
表 1 量測結果之誤差統計
  統計結果
實驗數量 1,110
RMSE 0.34
誤差1級 1,085 (97.75%)
誤差2級 22 (1.98%)
誤差3級 1 (0.09%)
誤差4級 2 (0.18%)
(資料來源:本研究整理)
 
    通過上述可靠性驗證,可以了解vMOS評測平台之量測工具不但可以進行大規模佈建量測,且對於線上影音的服務品質體驗量化上,有可靠的評估指標與量測方法。此外,本中心更將vMOS評測工具之數據呈現進行視覺化處理,資料視覺化是指運用視覺的方式呈現數據,有效的圖表可以將繁雜的數據簡化成為易於吸收的內容,透過圖像化的方式,我們更容易辨別數據的規律、趨勢及關聯。本中心開發的vMOS評測視覺化平台(如下圖),更能讓使用者、服務提供者清楚的了解數據,有助於進行使用者資料數據分析。
圖5、vMOS評測視覺化平台
(資料來源:本研究整理)
 

結語
    物聯網遠距視訊應用之vMOS評測平台,目前已驗證vMoS之QoE量測方法的確可以透過設備端APP量測進行大規模佈建量測,此方法收集之指標數據具有信效度之基礎,校標效度達0.93,也意謂著量測平台工具量測到的 QoE 值與真人的主觀 QoE具有高度正相關性。另一方面,透過誤差統計方式呈現量測結果的 RMSE 與各誤差等級的百分比,量測結果與真人評分的誤差97.75%,都在 1 分以內,具有高度代表性,未來研究方面可以提供給經營線上影音業務之有線電視、固網或行網業者,導入到業者的機上盒系統或平台系統,並透過業者提供給消費者之機上盒或線上影音系統平台收集使用者QoE數據。藉由將相關的數據收集並分析,以了解消費者感受狀況;當消費者有所疑慮時,即可以有完整數據支持與說明。一方面可讓本國線上影音服務業者提供vMoS品質保證之影音服務,提升產業價值與競爭力;同時進而消彌消費爭端與維護消費者權益。