智東西

以下文章來源于加智 ，作者智東西公開課

加智

導讀：

12月12日，「智東西公開課」策劃推出計算機視覺應用系列課第8講，主題為《利用自動內容識別技術ACR實現精準電視廣告投放》，由酷云互動合伙人&CTO陸承恩主講。

在本次講解中，陸承恩老師從電視大屏廣告投放的演進歷程開始講解，針對實現精準電視廣告投放的四大挑戰提出了基于自動內容識別技術ACR的解決辦法，并對自動內容識別技術ACR的算法設計進行深度剖析，結合實際應用案例給我們帶來了系統的講解。

本文為此次公開課的完整實錄。

大家好，我是酷云互動陸承恩，很高興今天有機會在智東西公開課跟大家分享。我今天分享的主題是《利用自動內容識別技術ACR實現精準電視廣告投放》，我將從以下4個部分來為大家分享：

1、 電視大屏廣告的演進之路

2、 實現精準電視廣告投放的挑戰與解決辦法

3、 自動內容識別技術ACR算法設計

4、 基于ACR的精準廣告平臺架構解析與應用

電視大屏廣告的演進之路

首先，看一下電視大屏廣告的演進之路，我把它總結成5個階段：

（1） 非智能電視

我們幾年前看到的電視，不管是液晶屏的還是顯像管其實就是一個顯示器，既不能連網也一點都不智能。主要的作用就是用來收看電視節目，這里面的廣告以硬廣為主。

（2） 智能電視

從2014年開始非智能電視已經基本停產，誕生了智能電視，目前的智能電視主要基于安卓系統。智能電視中比較多的是開機廣告，因為在系統啟動之前會有一定的時間，很多廠商會在這個時間段去插播開機廣告。智能電視初期階段電視機本身其實沒有任何所謂的用戶畫像，特別是一些傳統的廠商，他們不會去做這樣的事情。但是一些互聯網形態的終端廠商，比如小米會嘗試去做。

（3） 精準廣告

隨著互聯網發展出現了精準廣告，精準廣告其實就是千人千面，對于智能電視的精準廣告而言，不一樣的地方在于電視具有家庭屬性，家庭數據會放到DMP（數據管理平臺）里面。在做廣告投放時，首先從DMP里圈選出廣告主需要的人群，然后針對具體的人群做投放。但是電視本身是一座數據孤島。數字化伴隨著互聯網而生，尤其是移動互聯網擁有海量的數據，比如像BAT、TMD等這些巨頭在互聯網領域生根。但是電視難以數字化，數據來源困難。電視本身也沒有像手機和人那樣的緊密關聯，它只是一個松耦合關系，所以在構建DMP的時候是非常困難的。當然目前也有廠商在做這個事情，有的是基于自己的DMP平臺，我們也在不斷幫廠商去構建自己的DMP平臺。

（4） 基于ACR(Automatic Content Recognition)技術的增強電視廣告

通過ACR技術識別電視或者說大屏里面的內容，將內容進行數字化，然后就可以把內容和廣告關聯起來，如果要投放的廣告和某個明星相關我們就在明星在大屏中出現的時候投放廣告；如果是一個場景，就要在場景出來的時候投放廣告，這個都可以通過ACR技術來實現。

實現基于LBS的投放：因為電視機本身是比較固定的，不會像手機一樣可以隨意移動，那么它就有一個LBS屬性，即位置屬性。

酷云輕應用平臺：這個有點類似于微信小程序，基于我們的ACR技術做了數字化之后，把技術和數字化能力開放出來，去應用于更多的需要在大屏幕上和人產生關聯的一些服務，比如在大屏上放置點餐、天氣等，這些可以通過酷云的應用平臺來做，同時也可以通過這個平臺推送和用戶、內容相關的廣告。

（5）廣告閉環效果評估

在移動互聯網和互聯網中，這個效果一般都是通過點擊的行為產生，但是在大屏上面是完全不一樣的，因為在大屏上大家以觀看為主，很少會有點擊的行為，而且電視廣告曝光數據也難以采集。但廣告主一定會關心廣告投放的效果。這個事情以前是很難做評估的， ACR技術便可以解決這個難題。

實現精準電視廣告投放的挑戰與解決辦法

要實現精準的電視廣告投放，我們面臨著4個難題：

（1）信號采集

即便是在目前的智能電視時代，電視其實很多時候也只是一塊屏幕，電視接收到的信號主要是圖像信號和聲音信號。信號的采集可能需要用到一些AI技術，例如圖像處理、計算機視覺、語音處理和語音識別等技術；

（2）內容的理解與分析

首先，因為圖像本身是一個實時的視頻畫面，面對這種實時的視頻畫面去做分析和離線狀態做分析是完全不一樣的，它需要的計算量和實時處理的要求也不一樣。其次，因為聲音和圖像都是非結構化數據，數據采集后要能夠在DMP廣告平臺里面使用，就要把非結構化數據進行結構化處理。最后，計算資源有限，比如酷云覆蓋幾千萬臺終端，每一塊屏幕都在不停的產生數據，都要進行計算。這種計算資源需要的計算量是巨大的，不可能在云端完成所有工作，也不可能都放在終端來完成，因為計算資源有限。

這里還有一點，不同屏幕之間只是一座座孤島，大屏和小屏之間、大屏和人之間也很難關聯，所以在構建用戶行為畫像時是非常困難的，把用戶在其他場景上的行為和大屏聯系起來是我們需要解決的問題；

（3）廣告信息輸出

結合實時的內容實現精準廣告的觸達，這需要我們對場景、內容本身有實時的識別能力，同時也要非常迅速從我們的廣告平臺把廣告下發出去，來產生比較好的體驗，因此實時性是非常重要的；

（4）效果的閉環評估

因為大屏廣告一般沒有點擊行為，如何評價廣告效果很困難，但是這件事情又特別的重要，通過ACR技術，把投放的過程數字化記錄之后，可以嘗試去解決這個問題。

我們利用ACR技術來解決上面遇到的問題，ACR主要做兩件事情，第一是精準實時的大屏內容分析，簡而言之就是把大屏上的畫面和聲音分析出來，讓計算機能夠理解和記錄用戶在大屏上的行為；第二是連接人和大屏，我們不僅要知道大屏里面的內容，還將觀眾與大屏關聯起來。

ACR解決了4個W：什么時候、什么人看了這個屏幕？里面發生什么事情？精準的地點在哪里？（地點具體到經緯度，經緯度本身有具體的屬性。）

我們通過ACR延伸了幾項服務：

（1）酷云TV Ad：即大屏精準廣告平臺，基于10億+用戶數據，廣告主在大屏上將獲得與互聯網一樣的投放能力。支持按人或家庭進行精準投放，以及多種創新的廣告形式，讓酷云TV Ad具備了高轉化、強曝光的特點

（2）酷云DMP：以家庭數據為核心的數據管理平臺，基于跨屏關聯技術，將10億+用戶家內外數據全場景打通，為企業、代理公司、媒體提供實時精準的定向策略與洞察服務。支持自動化對接程序化廣告、第三方DMP以及其他流量平臺。

（3）酷云EYE Grow：全媒體營銷決策平臺，為企業、代理公司、媒體提供全媒體營銷決策方案。基于電視、戶外、互聯網媒體的跨屏同源數據，打通企業后鏈路數據，提供投前策略計劃、投中優化監測、投后效果評估的一體化營銷閉環產品。

自動內容識別技術ACR算法設計

ACR服務分為云端框架和客戶端框架。因為ACR不可能只在云端或客戶端運行，需要二者結合。

首先，在云端我們做了大量的數據采集工作，比如在北京會有有線信號直接接到我們的機房里，然后通過衛星信號轉發出來再進入到計算服務器里，對這個信號進行實時的分析，同時也會抓取一些網絡的視頻，進行圖像和聲音的提取，通過字幕識別、廣告識別、商品識別、視頻分段、精準EPG、語音識別、聽音識別、時延檢測、聲紋ACR等把圖像數據進行數字化，然后做進一步的抽象化。

酷云背后有個AI Center，分別為：K-EYE、K-EAR、K-NOSE、K-BRAIN。

可以看到這是一擬人化的過程，用戶所見即算法所見，K-EYE指在大屏觀看到了什么圖像，K-EAR指在大屏里聽到什么聲音；K-NOSE是一個嗅探，就是像小狗一樣去聞，嗅覺敏銳，這里”聞”是指我們要把用戶和大屏的內容關聯起來，關聯上之后產生一個ID，這個ID在大屏和小屏都是通用的，這樣就可以把信息的孤島打通了，能把大屏和小屏的整個用戶行為和所有的時間點串連在一起，就產生了大數據的巨大價值；K-BRAIN是指我們每天有千萬量級的終端，在數據采集上來之后要做大量分析工作，后面要做數據挖掘、用戶畫像分析等。

這個擬人化的技術是非常重要的，比如廣告主在投放廣告時，如果想知道這個廣告有沒有投放出去，一般會通過第三方的監測公司去監測。監測公司一般是利用廣告回傳鏈接來監測，廣告播放的時候會向第三方廣告回傳鏈接發送請求，這樣即使廣告沒有曝光也可以訪問鏈接，造成數據不準確。

但是如果利用我們的技術，廣告只有在屏幕上曝光了或者這個聲音已經被播出來了才能被捕捉到，才認為廣告真的被投放了，AI看到的和我們看到的是完全一致的，所以這個數據是真實準確的。

基于ACR的精準廣告平臺架構解析與應用

整個廣告平臺是基于ACR的框架作為底層的數據支撐，我們可以看到兩點，左邊的是我們的ACR云端的服務，下邊是酷云的大屏終端，在里面植入了一個ACR這樣的SDK，同時有一個推送可視化服務的輕應用平臺，用于和用戶之間進行交互，做一些展示。

右邊是我們的DMP平臺，它通過大數據的框架和架構把底層的ACR數據做了各種各樣的畫像，各種維度的畫像生成之后產生了一個DMP平臺，那么廣告主就可以選擇需要的人群進行投放。

所有的大屏終端里面可能包含了好幾個我們的服務，因為我們的服務除了和廠商有關系，和一些APP也會有結合，例如把我們的SDK植入到他們的APP里面。一個大屏里面可能會有N個這樣的服務,我們還會通過酷云統一KID服務去給他們建立統一的ID，相當于在終端里面，做了一個分布式的架構，然后他們自己會去競爭，產生一個leader出來，大家會把數據統一發往leader，然后由leader統一發往云端，這樣就降低了很大的數據量。通過這樣的設計極大節省帶寬，服務能力也有了顯著的提升。

下面重點說一下圖片上面的內容管理模塊，這里很有意思的是，我們發現很多知識點和技術都是相同的，計算機視覺的一些技術甚至可以在構建廣告平臺中提供很好的思路。比如同一廣告組的廣告，可能在很多地方是相似的，只是在一些特定的地方不太一樣，為了節省網絡的帶寬每次只是去傳不一樣的部分，相同的部分一次性的傳到客戶端去。

在廣告下發的過程中，我們發現傳輸的數據量巨大，那么如何去降低數據量，降低帶寬？我們想到了計算機視覺，大家用c語言比較多的一定很熟悉的一個函數printf，差不多就是這個形式：printf(“hello, %s”, “智東西”)，“智東西”是一個變量，“hello, %s”是一個常量，我們把這種形式改造一下，把常量提取出來做成模版，這個只需要往終端發送一次，變量是每次需要改變的的東西，只有變量才是每次都需要發送的，而且我們把變量統一轉化為一個byte數組，那么它就具有了通用性，通過這種模版我們減少了廣告投放的大量冗余信息，降低了90%的網絡帶寬。

其實有很多類似的設計，比如我們在做語音的識別服務時，也用了很多圖像處理的經驗，比如把語音轉化成頻譜，然后就變成一個二維的圖，在上面尋找一些特征點做特征匹配；在做收視曲線的時候，需要標識出收視率不斷上升和下降的區間，這個時候我們用了圖像里的關于一個形狀的算法：離散曲線演化，就是把形狀做抽象，這樣我們把比較關鍵的點找出來之后就可以把上升和下降這條曲線做得很好。

又比如要分析一個月或一年的某一個頻道的平均收視率，因為背后的數據量巨大，我們就想到了用積分圖來做，在積分圖上面查幾個點就可以搞定這件事情。

下面分享一個案例，某日化品牌的廣告，我們利用ACR技術，在電視機里面播放廣告時要立刻把它識別出來，這個時候在電視里面利用聲紋識別的方式，去識別電視機里面的這一段廣告，提取出這種聲音的指紋后在云端做實時的匹配。這個匹配過程不能超過一秒鐘，要很快地匹配出來，云端一旦把這個廣告檢測出來就發送到廣告平臺。廣告平臺里面涉及到客戶投放廣告，投放廣告在廣告觸發時做一個送話費的活動，來吸引大家參與活動從而對廣告有一個更深刻的印象。

這個就是用ACR技術識別到廣告之后在廣告平臺進行匹配，然后利用輕應用平臺去推送一個這樣的卡片，用戶就可以用遙控器參與活動了，參與活動獲得話費后輸入自己的手機號碼領取。整個的過程的體驗很棒、用戶的參與率也很高。

這背后的技術其實并不容易，需要非常精確快速的識別，同時彈出的卡片不能占據其他廣告的時間。識別后還需要做一個精準的對齊，整個活動涉及到客戶端、云端、大數據平臺、DMP等整個廣告平臺的實時協同。

我們現在利用酷云EYE Grow平臺，想法其實是非常多的，我們要做全媒體的閉環營銷，這個問題如果解決了，會對業界產生一個巨大的推力，它的本質其實就是數字化。從電視大屏移到戶外的大屏是非常迅速的，因為不管是什么屏幕都需要畫面和聲音，背后都可以使用ACR技術，可以很容易做到平移，這樣我們就可以得到最底層的真實可靠的數據，然后利用大數據所產生的價值服務于各行各業。這就是計算機視覺在這個領域產生的非常奇妙而且非常重要的作用，具有很大的價值。

今天我的分享就先到這里，謝謝大家。

END

你的每一個“在看”，我都當成了喜歡▼

原標題：《顛覆電視廣告投放新技術—自動內容識別ACR全解！》

閱讀原文