“科學(xué)研究”

浙江大學(xué)醫(yī)學(xué)院

如果商場(chǎng)持續(xù)打折，你會(huì)有立即購(gòu)物的沖動(dòng)嗎？可能不會(huì)！不間歇的促銷活動(dòng)可能會(huì)降低您的消費(fèi)熱情。如果一個(gè)網(wǎng)購(gòu)平臺(tái)不斷向你推出同類產(chǎn)品，你會(huì)購(gòu)買嗎？可能不會(huì)！過于相似的產(chǎn)品會(huì)讓您感到厭倦，失去下單的欲望。然而，你是否相信這些問題的改善不需要商家或品牌，只需通過人工智能就可以實(shí)現(xiàn)！從語音識(shí)別到圖像處理，從自動(dòng)駕駛汽車到醫(yī)療機(jī)器人，再到現(xiàn)在的營(yíng)銷領(lǐng)域，人工智能的“深度強(qiáng)化學(xué)習(xí)”給數(shù)字領(lǐng)域帶來了許多前所未有的機(jī)遇。

圖片來源：錢庫(kù)網(wǎng)

浙江大學(xué)管理學(xué)院營(yíng)銷系教授王曉義及其團(tuán)隊(duì)發(fā)現(xiàn)了“深度強(qiáng)化學(xué)習(xí)”給數(shù)字營(yíng)銷領(lǐng)域革命帶來的巨大啟發(fā)和變化。他們對(duì)其進(jìn)行了一系列深入的研究，并設(shè)計(jì)了基于DRL的個(gè)性化定位策略。近日，王曉毅團(tuán)隊(duì)在管理科學(xué)領(lǐng)域國(guó)際頂級(jí)期刊《MANAGEMENT SCIENCE》上發(fā)表了數(shù)字營(yíng)銷方面的科研成果《Deep Reinforcement Learning for Sequential Targeting》。

序列目標(biāo)的深度強(qiáng)化學(xué)習(xí).pdf

結(jié)果在線發(fā)布，點(diǎn)擊鏈接查看詳情

到底什么是“深度強(qiáng)化學(xué)習(xí)”？人工智能算法如何助力數(shù)字營(yíng)銷發(fā)展？科研團(tuán)隊(duì)做了哪些嘗試？

本期【“科學(xué)研究”】，讓我們一起走進(jìn)王小藝團(tuán)隊(duì)的“AI營(yíng)銷世界”。

學(xué)者簡(jiǎn)介

王曉義：浙江大學(xué)管理學(xué)院市場(chǎng)營(yíng)銷學(xué)教授、博士生導(dǎo)師。數(shù)字化轉(zhuǎn)型與腦機(jī)智能營(yíng)銷交叉研究專家。曾獲中國(guó)商會(huì)科技進(jìn)步一等獎(jiǎng)等省部級(jí)獎(jiǎng)勵(lì)多項(xiàng)。在《管理世界》、Management Science、Marketing Science、Journal of Marketing Research、Information Systems Research等期刊發(fā)表論文，Google Scholar H-index為20。

他們?yōu)槭裁搓P(guān)注機(jī)器學(xué)習(xí)？

研究營(yíng)銷定位策略？

目標(biāo)營(yíng)銷通常是指企業(yè)識(shí)別各種購(gòu)買者群體，選擇其中的一個(gè)或幾個(gè)作為目標(biāo)市場(chǎng)，采用適當(dāng)?shù)臓I(yíng)銷組合，集中力量服務(wù)目標(biāo)市場(chǎng)，滿足目標(biāo)市場(chǎng)的需求。然而，在數(shù)字時(shí)代，企業(yè)營(yíng)銷策略越來越依賴于與消費(fèi)者的高頻互動(dòng)和營(yíng)銷策略的快速調(diào)整。此時(shí)，經(jīng)典營(yíng)銷理論的傳統(tǒng)思想和方法面臨著越來越多的挑戰(zhàn)。傳統(tǒng)的定位營(yíng)銷策略往往只考慮與顧客一次性“買、賣”，更多地依賴前期策劃和巨額廣告，忽視了時(shí)間因素對(duì)消費(fèi)者行為的影響和促銷活動(dòng)的連續(xù)性，造成成本巨大且不確定。結(jié)果。在實(shí)踐中，公司需要在多個(gè)周期中決定向誰發(fā)放優(yōu)惠券、選擇哪種促銷活動(dòng)以及兩次活動(dòng)之間等待多長(zhǎng)時(shí)間。與此同時(shí)，消費(fèi)者的真實(shí)偏好可能會(huì)隨著時(shí)間的推移而迅速變化。因此，學(xué)術(shù)界和工業(yè)界都迫切需要一種能夠隨著客戶行為變化而調(diào)整的自適應(yīng)定位營(yíng)銷策略。

企業(yè)常用的動(dòng)態(tài)持續(xù)提升策略

作為一種新興的人工智能算法，“深度強(qiáng)化學(xué)習(xí)”（DRL）算法可以在無需人類監(jiān)督的情況下不斷“學(xué)習(xí)”以提高性能，具有解決上述問題的巨大潛力。

“深度強(qiáng)化學(xué)習(xí)（DRL）”是一種基于獎(jiǎng)勵(lì)的學(xué)習(xí)方法，可以幫助定位營(yíng)銷策略實(shí)現(xiàn)個(gè)性化、適應(yīng)性強(qiáng)，但也面臨很多挑戰(zhàn)，比如處理時(shí)間的影響；針對(duì)復(fù)雜消費(fèi)者行為維度的處理；策略效果評(píng)估等

正是基于這樣的背景，王曉義教授及其團(tuán)隊(duì)提出了這種基于DRL算法的個(gè)性化目標(biāo)定位策略，并采用基于量化的不確定性學(xué)習(xí)啟發(fā)式方法使DRL適應(yīng)復(fù)雜的消費(fèi)者行為維度。

使用雙流計(jì)算的雙決網(wǎng)絡(luò)架構(gòu)

科研團(tuán)隊(duì)做了哪些嘗試？

人工智能的“自主學(xué)習(xí)”和不斷升級(jí)是通過“深度學(xué)習(xí)”、“強(qiáng)化學(xué)習(xí)”等技術(shù)來實(shí)現(xiàn)的。深度學(xué)習(xí)具有較強(qiáng)的感知能力，但缺乏一定的決策能力；而強(qiáng)化學(xué)習(xí)有決策能力，但對(duì)于感知問題卻無能為力。因此，將兩者結(jié)合起來，優(yōu)勢(shì)互補(bǔ)，可以為復(fù)雜系統(tǒng)的感知和決策問題提供新的解決方案。這就是我們所說的“深度強(qiáng)化學(xué)習(xí)（DRL）”，也是一種更接近人類思維方式的方法。人工智能方法。

近年來，“深度強(qiáng)化學(xué)習(xí)（DRL）”取得了巨大突破，這是一種通過讓系統(tǒng)以給予獎(jiǎng)勵(lì)的試錯(cuò)方式不斷與營(yíng)銷環(huán)境交互來尋找答案的人工算法或懲罰反饋。完成學(xué)習(xí)過程的“最佳策略”。

王曉義教授團(tuán)隊(duì)基于DRL人工算法，在順序定位營(yíng)銷設(shè)置的背景下，設(shè)計(jì)了這種個(gè)性化的定位營(yíng)銷策略。該策略首先利用持續(xù)的價(jià)格促銷來吸引顧客的即時(shí)關(guān)注并鎖定顧客，并在每?jī)纱蝺r(jià)格促銷之間提供一個(gè)非促銷期（即冷靜期），并隨著時(shí)間的推移逐漸增加冷靜期。長(zhǎng)度以允許客戶調(diào)整其價(jià)格參考點(diǎn)。

Sequential Targeting是針對(duì)消費(fèi)者持續(xù)開展促銷活動(dòng)。

研究表明，利用深度強(qiáng)化學(xué)習(xí)方法可以解決目前實(shí)施持續(xù)定位營(yíng)銷策略面臨的三大挑戰(zhàn)：

01

前瞻性

平衡公司當(dāng)前收入與未來收入

02

探索學(xué)習(xí)，同時(shí)獲得市場(chǎng)回報(bào)

在探索和發(fā)展中不斷學(xué)習(xí)，實(shí)現(xiàn)利潤(rùn)最大化

03

可擴(kuò)展性

應(yīng)對(duì)高維狀態(tài)和營(yíng)銷政策空間

圖片來源：錢庫(kù)網(wǎng)

為了讓DRL更好地適應(yīng)復(fù)雜的消費(fèi)者行為維度，研究團(tuán)隊(duì)提出了一種基于量化的不確定性學(xué)習(xí)啟發(fā)式算法，以實(shí)現(xiàn)高效的探索和開發(fā)。通過評(píng)估，結(jié)果表明，平均而言，這種新算法代理產(chǎn)生的長(zhǎng)期收益比傳統(tǒng)方法多產(chǎn)生26.75%，并且學(xué)習(xí)速度也比業(yè)界其他常用算法模型更快。行業(yè)的所有基準(zhǔn)。速度提高76.92%。為了更好地理解研究結(jié)果背后的潛在機(jī)制，研究團(tuán)隊(duì)對(duì)多種可解釋性算法進(jìn)行了研究，這些算法可以解釋個(gè)體和群體層面學(xué)習(xí)最優(yōu)策略的行為模式。

此外，王曉義教授和團(tuán)隊(duì)合作者提出的“模擬”在線測(cè)試環(huán)境構(gòu)建了一個(gè)用于DRL訓(xùn)練和測(cè)試的用戶行為模擬器，為平臺(tái)提供了一種經(jīng)濟(jì)高效的方式來學(xué)習(xí)DRL代理，而無需在現(xiàn)實(shí)世界中運(yùn)行它們。大量測(cè)試。

圖片來源：錢庫(kù)網(wǎng)

但也不得不承認(rèn)，人工智能算法在營(yíng)銷領(lǐng)域的應(yīng)用仍然面臨著一些挑戰(zhàn)。由于算法依賴訓(xùn)練數(shù)據(jù)和計(jì)算資源，需要大量的實(shí)驗(yàn)和優(yōu)化來提高算法的效率和準(zhǔn)確性；由于消費(fèi)者行為的復(fù)雜性和不確定性，需要更多的數(shù)據(jù)和模型來解釋和預(yù)測(cè)消費(fèi)者的行為；由于DRL算法需要在短時(shí)間內(nèi)做出實(shí)時(shí)決策和調(diào)整，因此需要建立實(shí)時(shí)決策系統(tǒng)來支持DRL算法的應(yīng)用。為了解決這些挑戰(zhàn)，王曉義教授團(tuán)隊(duì)正在進(jìn)一步努力開展研發(fā)工作，預(yù)計(jì)今年將提供更加通用和通用的DRL框架。該框架還可以輕松擴(kuò)展到其他目標(biāo)營(yíng)銷場(chǎng)景，例如基于位置的服務(wù)、流媒體或在線教育的在線順序推薦，平臺(tái)和營(yíng)銷人員可以在日常實(shí)踐中輕松使用。該框架將基于量化不確定性學(xué)習(xí)啟發(fā)式，結(jié)合實(shí)時(shí)決策系統(tǒng)和用戶行為模擬器，提高DRL算法的效率和準(zhǔn)確性，幫助企業(yè)更好地理解和預(yù)測(cè)消費(fèi)者行為，制定更智能、更有效的營(yíng)銷策略。

總體而言，王曉義教授團(tuán)隊(duì)的研究成果展示了“深度強(qiáng)化學(xué)習(xí)”方法在優(yōu)化定位營(yíng)銷策略以實(shí)現(xiàn)企業(yè)長(zhǎng)期收益最大化方面的巨大潛力，證明該方法可以在數(shù)字營(yíng)銷領(lǐng)域產(chǎn)生顛覆性影響。

圖片來源：錢庫(kù)網(wǎng)

他們的研究是

品牌價(jià)值和數(shù)字營(yíng)銷意味著什么？

基于“深度強(qiáng)化學(xué)習(xí)”的營(yíng)銷策略對(duì)于提升數(shù)字營(yíng)銷效率有何作用？幫助企業(yè)制定數(shù)字營(yíng)銷策略意味著什么？事實(shí)上，這種聽起來“神秘”的算法驅(qū)動(dòng)營(yíng)銷研究成果與品牌和企業(yè)息息相關(guān)，對(duì)企業(yè)數(shù)字化轉(zhuǎn)型具有重要的價(jià)值和戰(zhàn)略意義。具體來說，可以幫助企業(yè)更準(zhǔn)確地進(jìn)行市場(chǎng)定位和目標(biāo)營(yíng)銷，提高數(shù)字營(yíng)銷的效率和準(zhǔn)確性，實(shí)現(xiàn)業(yè)務(wù)增長(zhǎng)和品牌價(jià)值提升。

1

更好地了解消費(fèi)者的需求和偏好

“深度強(qiáng)化學(xué)習(xí)”可以幫助企業(yè)更好地了解消費(fèi)者的需求和偏好，從而準(zhǔn)確地進(jìn)行市場(chǎng)定位和目標(biāo)營(yíng)銷。通過對(duì)消費(fèi)者數(shù)據(jù)的深入分析，企業(yè)可以了解消費(fèi)者的行為模式和心理特征，從而制定更精準(zhǔn)的營(yíng)銷策略。例如，企業(yè)可以根據(jù)強(qiáng)化學(xué)習(xí)算法的分析結(jié)果及時(shí)調(diào)整產(chǎn)品定價(jià)、產(chǎn)品推薦、廣告等策略，以提高消費(fèi)者忠誠(chéng)度和購(gòu)買轉(zhuǎn)化率。

2

優(yōu)化營(yíng)銷渠道，提高效率

“深度強(qiáng)化學(xué)習(xí)”可以幫助企業(yè)優(yōu)化營(yíng)銷渠道，提高數(shù)字營(yíng)銷的效率和準(zhǔn)確性。通過分析比較不同營(yíng)銷渠道的數(shù)據(jù)，企業(yè)可以了解各個(gè)渠道的貢獻(xiàn)和效果，從而制定更科學(xué)的渠道策略。例如，基于強(qiáng)化學(xué)習(xí)算法的分析結(jié)果，企業(yè)可以及時(shí)調(diào)整各渠道的投放比例和投放策略，提高數(shù)字營(yíng)銷的效率和準(zhǔn)確性。

3

實(shí)現(xiàn)數(shù)字營(yíng)銷的精細(xì)化、智能化

深度強(qiáng)化學(xué)習(xí)算法可以幫助企業(yè)實(shí)現(xiàn)數(shù)字營(yíng)銷的精細(xì)化、智能化。通過對(duì)消費(fèi)者數(shù)據(jù)的深度學(xué)習(xí)和分析，企業(yè)可以了解消費(fèi)者的行為和偏好，從而實(shí)現(xiàn)個(gè)性化的營(yíng)銷和服務(wù)。例如，企業(yè)可以根據(jù)強(qiáng)化學(xué)習(xí)算法的分析結(jié)果，針對(duì)不同的消費(fèi)群體提供不同的營(yíng)銷方案和服務(wù)，以提高消費(fèi)者的滿意度和忠誠(chéng)度。

圖片來源：錢庫(kù)網(wǎng)

基于這一研究成果，王小藝團(tuán)隊(duì)與阿里巴巴合作完善數(shù)字營(yíng)銷管理方法論、與浙江中煙合作設(shè)計(jì)智慧營(yíng)銷大腦、為傳統(tǒng)零售業(yè)務(wù)制定自有品牌戰(zhàn)略等，為企業(yè)提供了一條新路徑。數(shù)字化創(chuàng)新和解決方法。近日，王曉義教授與阿里媽媽發(fā)布了DEEPLINK模型，詳細(xì)分析了消費(fèi)者從種植、首次購(gòu)買、再到重復(fù)購(gòu)買的消費(fèi)路徑。如果我們用“個(gè)性化定位營(yíng)銷策略”來分析解讀模型中看似復(fù)雜無序的消費(fèi)路徑，可以將其分解為：發(fā)現(xiàn)——參與——熱情——執(zhí)行——初次購(gòu)買——多次復(fù)購(gòu)——敏銳忠誠(chéng)。該模型是在過去圍繞銷售漏斗的AIPL模型（認(rèn)知-興趣-購(gòu)買-忠誠(chéng)度）的基礎(chǔ)上的進(jìn)一步升級(jí)。這樣的路徑分析可以幫助企業(yè)更好地理解和預(yù)測(cè)消費(fèi)者行為，制定更智能、更有效的營(yíng)銷策略。

附：論文摘要

深度強(qiáng)化學(xué)習(xí)（DRL）為數(shù)字營(yíng)銷領(lǐng)域的革命帶來了許多前所未有的機(jī)遇。在本研究中，我們?cè)陧樞蛟O(shè)置中設(shè)計(jì)了基于DRL 的個(gè)性化定位策略。我們表明，該戰(zhàn)略能夠解決順序目標(biāo)的三個(gè)重要挑戰(zhàn)：（1）前瞻性（公司當(dāng)前收入和未來收入之間的平衡），（2）邊學(xué)習(xí)邊賺錢（通過探索-利用不斷學(xué)習(xí)，實(shí)現(xiàn)利潤(rùn)最大化）， (3)可擴(kuò)展性（應(yīng)對(duì)高維狀態(tài)和策略空間）。我們通過基于DRL 的人工智能(AI) 代理的新穎設(shè)計(jì)來說明這一點(diǎn)。為了更好地使DRL 適應(yīng)復(fù)雜的消費(fèi)者行為維度，我們提出了一種基于量化的不確定性學(xué)習(xí)啟發(fā)式，以實(shí)現(xiàn)高效的探索-利用。我們通過模擬得出的政策評(píng)估結(jié)果表明，所提出的DRL 代理的長(zhǎng)期收入平均比非DRL 方法多26.75%，并且比所有基準(zhǔn)中第二快的模型學(xué)習(xí)速度快76.92%。此外，為了更好地理解潛在的潛在機(jī)制，我們進(jìn)行了多種可解釋性分析，以解釋個(gè)人和群體層面上學(xué)習(xí)到的最優(yōu)政策的模式。我們的研究結(jié)果提供了重要的與管理相關(guān)且理論一致的見解。例如，開始時(shí)連續(xù)的價(jià)格促銷可以立即吸引對(duì)價(jià)格敏感的消費(fèi)者的注意力，而在價(jià)格促銷之間精心間隔的非促銷“冷卻”期可以讓消費(fèi)者調(diào)整他們的參考點(diǎn)。此外，從長(zhǎng)遠(yuǎn)角度考慮未來收入是必要的，但過多權(quán)衡未來也會(huì)抑制收入。此外，對(duì)異質(zhì)治療效果的分析表明，最佳促銷序列模式在消費(fèi)者參與階段存在很大差異?？傮w而言，我們的研究結(jié)果表明，DRL 有潛力優(yōu)化這些策略的組合，以實(shí)現(xiàn)長(zhǎng)期收入最大化。

編輯：王景春

審稿人：佟慶