TMR marketing data science

在美國加州大學戴維斯分校任教的馬丁‧希爾伯特（Martin Hilbert）教授，回顧約180篇關於大數據分析的期刊論文，並於2016年發表了一篇文章 1 《  Big Data for Development: A Review of Promises and Challenges》， 其中談到大數據分析的前景與挑戰。 作者： prettysleepy  （圖片取自 pixabay，如有侵犯到您的權益，歡迎來信告知，我們會立即刪除。） 1.  資訊流通（Information Flow） 廣義的資訊流通，指的是人們利用各種方式來做資訊交流，從每天面對面的直接交談，到使用行動電話、電子郵件或是Line等各種現代化的傳播媒體都算是資訊流通。而如果再往深處探究，則又可分成資訊的傳遞、蒐集、貯存、檢索和分析的管道與過程。 至於狹義的資訊流通，則是從現代資訊技術研究、發展、應用的立場來看，指的是資訊處理過程中，資訊在電腦系統和通信網路中的流動。 希爾伯特指出，從1986至2007年之間，全球資訊交流的數量提升了近220倍。其中這些資訊數位化的程度自1986年的20%，成長至2007年的99.9%。而這中間的過程，人們把傳統的膠捲相機換成數位相機，將自己的影像資料貢獻出來，對於資訊流通，有著莫大的幫助。 資訊流通在2007年之後，成長量更是驚人，因為智慧型手機、平板電腦的出現，配合內建GPS功能，更是大量記錄下各類資訊，還有物聯網IoT的加入，各種感測器亦加入記錄資訊的行列，更讓資訊流通量如洪水滾滾而來。 此外，資訊本身也會自我成長，在人工智慧中，機器學習是很重要的一支，意思是開發電腦程式，讓數據能在電腦系統中，自動變成資訊或知識。舉例來說，在自動駕駛車輛的電腦輸入所有交通規則，讓電腦自動學習，車子一上路之後，它就知道碰到十字路口要停等紅燈，碰到行人、幼童要避讓，原來的規則，經過電腦的自我處理變成駕駛知識，等於資訊也自我成長。 2. 資訊儲存（Information Stock） 以往大家會把學校作業或者辦公室的文件儲存在電腦的硬碟，但現在大家已開始習慣將檔案丟到谷歌的雲端硬碟，或者丟到Dropbox裡來相互修改加工，資訊的儲存已透過網路來完成。 希爾伯特指出，資訊儲存的空間，大約每三年就成長一倍。資訊儲存的數位化程度

在熟悉資料的各種型態、分類與運用方式之後，我們已逐漸了解「行銷資料科學」除了可擴大傳統行銷研究的領域，行銷資料科學還可進一步協助企業修正現有營運模式與創新營運模式。 行銷資料科學在應用上可分成三個層次，如圖1所示︰ 圖1 行銷資料科學三種應用層次（繪圖者：張庭瑄） 傳統的行銷研究（Marketing Research）主要屬於營運分析層的範疇（例如︰透過問卷進行市場調查），然而行銷資料科學（Marketing Data Science）的範圍則可擴及三個層次。以下簡單就三個層次進行說明︰ 1.營運分析層（Operation Analysis Level）︰ 以資料科學為基礎，在現有商業模式下，進行營運分析，協助進行市場調查、顧客分析…等。例如：透過網路爬文技術，進行網路社群平台的口碑調查。 舉例來說︰汽車廠商透過分析網路論壇的討論內容，了解各汽車品牌的網路口碑聲量與好感度，進而繪製出各汽車品牌的網路聲量與好感度定位圖。在實務上，傳統行銷研究大多透過問卷調查、焦點群體訪談…等工具，進行市場調查。「行銷資料科學」則提供更多的工具，協助企業瞭解更多的消費者行為。 2.產品服務層（Product/Service Level）︰ 以資料科學為基礎，對商業模式進行修改。例如：透過資料科學的概念，發展新產品與新服務。 舉例來說︰Nike整合智慧型行動裝置與物聯網技術，發展Nike+的系列產品，協助消費者了解自己的身體狀況，並讓消費者自己來擬定相關計畫，以達到健身與健康的目的。再舉個例來看，美國第三大車輛保險公司「先進公司（Progressive Corporation）」透過裝在車上的感測裝置Snapshot，收集車主的行車數據，包括：頻率、速度、距離、時段、急煞…等。之後，再依車主的開車習慣來決定他的保費。同時，車主也能上網檢視資料，修正自身的駕駛方式。 3.商業模式層（Business Model Level）︰ 以資料科學為基礎，發展創新的商業模式。例如︰將資料科學作為創立新事業的契機，發展出「資料型企業」（Data Based Company）。 舉例來說︰許多「平台企業」（Platform Company），如Uber、Airbnb…等，背後都有「資料型企業」（Data Based Company）的影子。這些平台企業成功的

在RFM模型「系列 1」-  常貴客？新客？ 讓RFM模型簡簡單單解釋一切！（附實現程式碼） ，我們利用了R與F的交叉分析，簡簡單單推導出不同客群的行銷方案。 並在假設條件下，該商場可以利用R與F的交叉分析，在 一年多賺進168萬元的淨利 。 而本次我們將專注在RFM模型中的消費金額（Monetary）分析，並回答系列1的三個問題： 有這麼多顧客區隔，更細部來說，這些區隔都值得我注意嗎？ 難道一次客真的要放棄嗎？可以使用 消費金額（Monetary） 及成本評估顧客終生價值嗎？那該如何評估？ 如何整合時間序列分析？難道時間序列沒有其他用途嗎？ 在開始進行消費金額（Monetary）分析前，要請讀者先行了解 四個概念 ： 商品毛利（Gross Margin, GM） ：每一件產品的毛利；簡單來說，就是「產品營收」- 「進貨的成本」。 顧客終身價值（Customer Lifetime Value, CLV ）：每一個顧客為我們貢獻的收入；簡單來說，就是對每個顧客購買的每一件商品進行「商品毛利」之加總。 顧客購買（取得）成本（Customer Acquisition Cost, CAC） ：為了要賣出商品，在每一個顧客上所花費的成本。 顧客獲利率（CLV/CAC Ratio） ：每一CAC可以為我們賺進多少的CLV。 哪些顧客區隔應該要放棄？ 應該要保留？ 有了上述概念後，接下來，讓我們來回答問題一：「有這麼多顧客區隔邊界，更細部來說，這些區隔都值得我注意嗎？ 難道一次客真的要放棄嗎？可以使用 消費金額（Monetary） 及成本評估顧客終生價值嗎？那該如何評估？」 資料： 我們一樣透過 上一篇文章 的賣場資料，接著本篇在加入每個顧客的CAC（ CAC資料下載 ）與CLV資料（直接以程式碼透過商品毛利計算）。 首先來看一下上一篇R與F交叉分析的資料格式： 將原始資料轉換成R與F模型可分析的形式 那我們再將CLV與CAC的資料加入考量，其中我們假定三樣商品的商品毛利： 瓶裝水 = 10 牛奶麵包 = 50 高麗菜 = 10 最終生成下述每個顧客CAC與CLV的資料。 每個顧客的CAC與CLV資料結構 最後結合CLV與CAC的資料表就產生出來了！也就是在這張資料

消費者的心是善變的，自從行銷獨立成一門學科後，行銷人和行銷學者無時無刻不在想方設法使用各種工具，苦思理解消費者的心。 從一般的「行銷研究」（Marketing Research）出發，一直以來，行銷工作依賴大量的「量化研究」與「質化研究」，來協助解決行銷問題。而這些研究工具，構成行銷學界和實務界初步理解消費者的「傳統工具」。後來，善加對消費者資料進行分析的「資料庫行銷」（Data Base Marketing）出現，再發展到最新的「行銷資料科學」（Marketing Data Science），預料這三者的結合將構成新一代精準剖析消費者心理的尖端武器。 以下，即就資料的蒐集與分析，對行銷研究、資料庫行銷和行銷資料科學三者之間的差異，簡單說明，如下圖所示： 行銷研究、資料庫行銷與行銷資料科學之比較（ 繪圖者：張庭瑄） 附註:目前資料分析在商業上的應用，已從數字分析與文字分析，發展到聲音分析與影像分析。這裡的說明，僅先以數字分析與文字分析為主。 在行銷管理領域，對於「初級資料」的蒐集，主要利用三大類工具協助進行： 一、問卷 透過調查法（survey research）、觀察法（observation）、實驗設計法（experimentation）或是深度訪談法（depth interview）…等收集而來的資料，整理出消費者的人口統計變數和心理變化（態度、行為）的大致輪廓。 透過「問卷」進行調查，將收集到的量化與質化的資料，藉由統計分析，呈現研究結果，這些主要屬於「行銷研究」（Marketing Research）的範疇。例如︰車商委託市場調查公司，透過電話，訪談車主，調查顧客滿意度。 二、資料庫 由交易前、中、後所產生的記錄，例如：透過客戶購買產品的資料（姓名、地址和過去交易內容）、銷售時點情報系統（ POS機）和網站等所收集。 將「交易過程所產生的記錄」（一般以量化資料為主）存在資料庫裡，並透過資料探勘（Data Mining）技術，對資料庫進行分析，則屬於「資料庫行銷」（Database Marketing）的內容。 例如︰車商透過過去買車客戶或潛在客戶資料庫分析，將不同的消費者分群，發展出針對不同車款、不同類型消費者的行銷方案。 三、網路爬蟲（Web Crawler）技術 例如用Python、R語言從網路上抓

以往要執行一項行銷研究，受限於技術，時間和成本都很高。更重要的是，在執行行銷研究前，還有統計抽樣的問題要克服。如何有效地接觸到能充分代表母體的樣本，是行銷研究的難題之一。而隨著行銷資料科學的出現，解決行銷問題的時間與成本有望降低。同時，蒐集資料的來源，雖然未必等於母體，但已經比行銷研究的範圍廣大許多。 「行銷研究」主要將資料分成「初級資料」與「次集資料」。初級資料的蒐集方式，又可分成︰「調查法（survey research）」、「實驗法（experimentation）」、「觀察法（observation）」與「深度訪談法（depth interview）」…等。在蒐集資料的過程裡，「問卷」扮演非常重要的角色。透過問卷蒐集資料，再透過統計分析資料，最後透過圖表呈現資料，這就是行銷研究的基本概念。 深入來看，「行銷研究（Marketing Research）」可以針對某一行銷議題，有系統地蒐集、分析與呈現相關資料，並闡明研究發現。而這些題議可以像台東引進熱汽球觀光的SWOT分析（機會、威脅、優勢、劣勢），或是Airbnb 在台灣發展STP程序（市場區隔、目標市場選擇、定位），也可以是宏達電穿戴式虛擬實境設備的4P（產品、價格、通路、推廣）行銷組合問題。 至於「行銷資料科學」（Marketing Data Science）與「行銷研究」之間的差異，主要在於資料的蒐集、分析與呈現的方法上有所不同（如圖1所示）。「行銷資料科學」在方法上，寬度更寬、廣度更廣，而且所蒐集的資料也更加「客觀」。因為問卷是由受試者主觀填答，容易產生偏誤。例如：當一個人心情好與心情不好時，填答同一份問卷的差異可能有如天壤之別。 圖1 行銷資料科學與行銷研究之比較 繪圖者：張庭瑄 從資料蒐集的角度來看，過去「行銷研究」透過問卷、訪談蒐集初級資料或是透過政府、公協會等蒐集次級資料。現在「行銷資料科學」透過「網路爬蟲（Web Crawler）」技術，從社群媒體（Social media）、部落格（Blog）、論壇（Forum）、應用程式介面（Application Programming Interface，簡稱：API）…等，擷取消費者的上網行為（主要是「數字」與「文字」）。也可以透過網站監控軟體，記錄消費者瀏覽網站的路徑。「行銷資料科學」還可透過影像辨識技術，搜集消費者在賣場中的真實

行銷是一門頗有魅力的科學，因為它是企業產、銷、人、發、財五管當中，最直接與消費者接觸，同時也是最富有人性的領域，而在走過行銷研究一百多年後，現在讓我們再回頭過來看看行銷研究與行銷資料科學的歷史和重要里程碑。 圖1 行銷研究與行銷資料科學的歷史發展 繪圖者：余得如 行銷研究與行銷資料科學的發展歷史，距今大約108年。本書簡述此過程中的重要事件，如圖1所示。 1910年，美國波士頓柯帝斯出版社（Curtis Publishing Company）的負責人查爾斯‧柯立芝‧帕林（Charles Coolidge Parlin）透過收集市場資訊，提供企業進行廣告與商業決策，他並力促幾家美國大型公司，成立自己的市場研究部門。各位有沒有注意到，孫逸仙先生此時正準備建立中華民國。 1923年，丹尼爾‧史塔區（Daniel Starch）提出AIDA （Attention, Interest, Desire, Action）模式。同年，行銷研究公司尼爾森（A.C. Nielsen）成立，它是首波成立的行銷研究公司之一。 1931年，行銷研究公司伯克（Burke）成立，並與P&G進行產品測試研究。1935年，市場調查公司蓋洛普（Gallup）成立，至今仍在市場上赫赫有名；1940年代，企業開始使用「縱橫斷面資料」（panel data）記錄消費者的購買行為。 1961年，喬治‧卡利南（George Cullinan）提出RFM（recency, frequency, monetary）指標的概念。1972年，俗稱POS的銷售時點系統（Point of Sale）在市面上出現，由銷售員在客戶結帳時，一併鍵入客戶資料，成為零售市場大量搜集消費者資料的濫觴。 1974年，丹麥學彼得‧諾爾（Peter Naur）首次提出資料科學（data science）一詞；1981年，IBM推出個人電腦，推升內部客戶數據的分析。1987年，羅伯特‧凱斯騰鮑姆（Robert Kestnbaum）、凱特‧凱斯騰鮑姆（Kate Kestnbaum）和羅伯特‧蕭（Robert Shaw）等三人開啟資料庫行銷的先河。 1990年，顧客關係管理（CRM）軟體開始出現。1991年，Python程式面市；1993年，R程式面市。 1995年，全球資訊網（World Wide Web,

企業在做行銷研究時經常碰到一種狀況，好不容易向高層爭取到一筆經費來進行市場調查，然而開始實施後，卻總得擔心所抽到的樣本代表性不足。因為統計學一再告訴我們，抽樣時務必要讓樣本長得很像母體，也就是樣本這個小孩最好長得跟母體媽媽一模一樣，才能讓調查做的準確。現在拜資料處理技術進步之賜，從「行銷研究」到「資料庫行銷」，再進展到「行銷資料科學」，我們的確可以透過多種方式，來讓所處理的樣本，越來越接近母體，甚至是直接對母體進行普查。而這三者的差異，則如圖1所示： 圖1 行銷研究、資料庫行銷與行銷資料科學 — 母體與樣本的角度 繪圖者：張庭瑄 從母體與樣本的角度來看，「行銷研究」一般會透過抽樣技術，來對母體中的樣本進行調查，而一個簡單、可接受的行銷研究，為了確保它的有效性（95%信賴水準下、正負3%的誤差區間），一般都有最低樣本需求量（1067個）。也就是說，一個有數百萬、數千萬人口的城市或國家，在時間與成本的考量下，行銷研究單位通常會以這樣的樣本數，來推論母體的模樣。而研究要成功則端賴「抽樣」是否抽的好，當然，這裡的好也就是所謂的與母體「不偏」，你可以想像1067人的樣本，要讓它很像擁有270萬人口台北市的母體，難度會有多高。 再看到「資料庫行銷」，假設母體為企業所欲服務的消費者，企業資料庫裡的內容，就好像母體中的小部分母體，包括：已經消費但尚未成為會員者所產生的資料（例如：POS系統裡的交易紀錄），或是已經成為會員者所產生的資料（例如：完整的個資加上交易紀錄）。企業可就這些小母體裡面的資料進行分析，無論是否需要進行抽樣。但在多數中小企業甚或是大型企業裡，行銷部門在進行資料庫行銷時，要先將這些散落在各處的資料調集回來，像是要跟會計部門索取以往的行銷費用資料，要向資訊部門調借顧客名單資料，甚至得向財務部門拿到產品銷售數量的資料，才能分析出有價值的資訊。值得慶幸的是，行銷部門起碼已經知道這些樣本的基本樣態了。 至於到了「行銷資料科學」，由於蒐集資料的管道變多，無論是透過網路爬文、影像辨識、物聯網自動取得…等方式，企業接觸母體的範疇變得更大且更加多元。一樣假設母體為企業所欲服務的消費者，企業可透過網路爬文技術，針對會上網發表文章與討論的消費者（部分母體），進行資料收集，而這背後的人數，已遠遠大於企業所蒐集到的顧客名單。 簡單瞭解了以上三種工具的差異，企業可以再將

神經行銷學（Neuromarketing）這門學問的出現，主要是有學者認為，傳統量化或質化的研究方法，並無法真正解決消費者行為「不一致」的問題。近年，隨著核磁共振造影（MRI）等技術的出現，讓人們有機會能掃描個人的大腦，採用自然科學的工具與方法，協助研究者找出問題真正的解答。 舉例來說，在《買我！從大腦科學看花錢購物的真相與假象（Buyology：Truth and Lies About Why We Buy）》一書中，提到一個反菸研究的例子。研究發現，菸盒上的反菸標語，反而會讓人更渴望吸煙。研究者先針對受測者進行問卷的填答，例如︰題目問到「菸盒上的警示語，會影響你嗎？」，受試者幾乎都會填「是」。 如果進一步追問，「你會因此減少抽菸嗎？」，受試者大多也都會填「是」。不過，真的是這樣嗎？受試者的大腦，是否也真的是這樣想？那可不一定喔！ 透過核磁共振造影，研究者發現，菸盒上的警語，反而會刺激吸菸者大腦中的「依核」 （nucleus accumbens），當身體渴望某種東西時，這個區域的特殊神經元組織，會逐漸興奮，並開始產生需求，直到這個需求被滿足為止。 這項研究凸顯了傳統研究方法上的一個大問題，當受試者填答時，可能會根據自己的「認知」，而非「事實」來進行填答。 舉例來說︰吸菸者面對「菸盒上的警示語是否會影響自己」時，填答者可能會填寫研究人員想看到的答案，或者認為自己「應該會」而填「會」，而不是以實際真正的情況來回答。「應該會」填答「會」的原因，可能是自己覺得抽菸不好，或是自己認為自己會是如此，但事實卻未必如此。就有點像是日文中所說的「口嫌體正直」，嘴巴說不要，身體卻很想要，而這正是消費者嘴巴和行為「不一致」的問題所在。 事實上，在全世界可口可樂和百事可樂爭奪飲料業霸主數十年的過程中，百事可樂曾經砸下巨資舉辦各項活動，取得很好的廣告效果，但卻也發現了一個特殊的現象。儘管在盲測時，多數人都感覺百事可樂的口味好，但他們在實際購買時還是選擇可口可樂。這也是兩家可樂公司互相挑戰過程中，證明「品牌效應」的一個經典案例。 而神經行銷的另一個重點是，如何在廣告中加入圖像或影像的刺激，例如在廣告中塑造歡樂氣息，促使大腦將它儲存到潛意中，如此，品牌資訊就可以快速被提起。君不見，可口可樂一直把過年過節聚餐時，一定要搭配可口可樂，才是真正觀樂的廣告塞進消費者腦袋裡

企業競爭者的調查方式 vs 網路特性 企業的品牌以及形象，是企業一向非常重要的無形資產，沒有一個企業會忽視他的重要性，尤其會與其競爭者相互比較，知道自己在市場上的位置。一般調查的方式，都以問卷的方式居多，但由於社會形態的改變，用問卷調查競爭者的方式，漸漸產生了幾個缺點： 隱私權的興起，問卷填寫率越來越難掌控 網路問卷填寫者大多因為獎品而隨意亂填 填寫問卷時，因題目而有所侷限，所以無法充分顯示非結構化文字的意涵 每做一次問卷，必須要花費不少成本 … 諸如此類的問題，嚴重影響了結果的準確性。讀者可發現問卷在動態競爭的環境中較不易發揮即時快速的特性，更遑論網路輿情言論滿天飛的21世紀。 （但這並不代表問卷一無是處，在調查特定特徵市場區隔變數時或特定問題時，是有可用之處的，詳情可以參考 行銷研究、資料庫行銷與行銷資料科學之比較-1 ） 反觀網路世界，大多數的人都將想法以及討論，放到網路上了，因為網路有匿名的特性，每個人可以不受心理壓力的狀況下，忠實的表達心中的想法， 而這網路輿情，對企業便是把雙面刃。好的行銷手法，可造就大量的銷售業績，但一旦有流言蜚語，便可能壞事傳千里。 網路輿情如同雙面刃，好事、壞事傳得快，但相對的，企業也能更快速使用行銷資料科學技法，取得快速的網路輿情資訊 如何及時觀察網路輿情「雙面刃」? 本文將帶領讀者，透過網路輿情分析，找到自己品牌在網路上的「定位」。這時，我們可簡單透過「定位圖」的概念，抵禦雙面刃帶給我們的外部效益與成本。 實務上，企業在繪製定位圖時，「屬性的確認」與「屬性的衡量」是最大的挑戰。好的屬性有機會協助企業找到新的定位。而屬性的衡量，一般是透過行銷研究或內外部資料分析的方式來進行，例如︰透過問卷調查的方式來收集消費者的資料，進而找出重要特性。只是，問卷調查工具有其限制，成本、時效、樣本接觸…等，都是可能的限制。 當行銷資料科學出現後，除了傳統的行銷研究工具，行銷人員還多了行銷資料科學工具可以使用。我們可以透過網路爬文工具，將消費者在網路上談論公司產品（品牌）、競爭者產品（品牌）的文章進行擷取。再透過分析工具，對這些文章進行分析， 了解該目標市場討論的屬性為何？重視的屬性為何？並且在這些屬性上，顧客對各競爭者屬性的知覺狀況。 透過資料科學工具，我們可以彌補以下幾項實務定位上