隨著增量市場逐漸收窄，越來越多的行業(yè)進(jìn)入到存量市場競爭階段。在這個(gè)過程中，企業(yè)普遍面臨客戶增長的放緩以及業(yè)務(wù)需求的日漸多樣化。而隨著疫情和經(jīng)濟(jì)轉(zhuǎn)型等問題的疊加，更為企業(yè)帶來了更嚴(yán)峻的挑戰(zhàn)。在當(dāng)前背景下，企業(yè)如果想贏得先機(jī)，掌握主動(dòng)，勢必要升級舊有的運(yùn)營思路，引入新的工具。

　　4月26日，全球最具影響力的獨(dú)立研究咨詢公司之一Forrester受火山引擎委托調(diào)查并撰寫的《火山引擎 A/B 測試總體經(jīng)濟(jì)影響白皮書》(以下簡稱《白皮書》)正式發(fā)布，通過對三家企業(yè)的采訪，深度了解分析復(fù)雜競爭環(huán)境下企業(yè)面對的挑戰(zhàn)。《白皮書》中，F(xiàn)orrester調(diào)研了多家使用火山引擎A/B測試的企業(yè)，發(fā)現(xiàn)這些企業(yè)的廣告營收和會(huì)員運(yùn)營收益均有明顯提升。綜合財(cái)務(wù)分析來看，企業(yè)使用A/B測試的ROI（投資回報(bào)率）達(dá)到126%。

　　《白皮書》發(fā)現(xiàn)，隨著愈發(fā)激烈的競爭，企業(yè)當(dāng)前面臨的挑戰(zhàn)主要有以下四點(diǎn)：

　　首先是決策方式粗放低效。某受訪企業(yè)CTO表示，一般來說，產(chǎn)品的迭代更新或運(yùn)營優(yōu)化策略，需要通過幾輪內(nèi)部頭腦風(fēng)暴和方案評審，主要依靠經(jīng)驗(yàn)判斷，反復(fù)試錯(cuò)，不但效率低、成本高，并且目前除此之外，還缺乏科學(xué)有效方法來進(jìn)一步提升決策效率。

　　其次是廣告營收增長乏力。在經(jīng)歷了前期的高速發(fā)展后，用戶的增長進(jìn)入平穩(wěn)發(fā)展期，同業(yè)競爭進(jìn)一步加劇，企業(yè)往往會(huì)采取較為保守的廣告業(yè)務(wù)策略，未大規(guī)模增加廣告的展現(xiàn)，企業(yè)營收持續(xù)面臨壓力。

　　第三是會(huì)員營收難以持續(xù)增長。目前，會(huì)員運(yùn)營已經(jīng)成為很多企業(yè)的核心業(yè)務(wù)模式，基于會(huì)員收費(fèi)模式，可以為用戶提供更加優(yōu)質(zhì)、更加個(gè)性化的服務(wù)是保障企業(yè)持續(xù)成長的關(guān)鍵。然而，受訪企業(yè)此前僅依靠傳統(tǒng)的用戶行為分析，缺乏有效方法對多種影響用戶行為因素的探究，無法找到提升用戶轉(zhuǎn)化的關(guān)鍵驅(qū)動(dòng)因素。

　　最后是運(yùn)營成本高、效率低。在產(chǎn)品迭代、發(fā)布上線以及數(shù)據(jù)分析方面，缺乏有效工具提升效率，幫助企業(yè)進(jìn)一步降低運(yùn)營成本。

　　Forrester在研究中發(fā)現(xiàn)，受訪組織普遍表示，需要提供解決方案的技術(shù)供應(yīng)商具有成熟且經(jīng)過廣泛驗(yàn)證的 A/B 測試產(chǎn)品;具備豐富的 A/B 測試方法論和實(shí)踐經(jīng)驗(yàn)，可以幫助企業(yè)降低應(yīng)用 A/B 測試的門檻;能夠提供在不同場景下的實(shí)驗(yàn)設(shè)計(jì)、執(zhí)行以及數(shù)據(jù)分析等功能，以及多場景下積累的分流模型、分析模型等，幫助企業(yè)應(yīng)對復(fù)雜的業(yè)務(wù)需求;并且能夠提供完善的服務(wù)以及技術(shù)支持和相關(guān)服務(wù);而且其提供的解決方案，應(yīng)易于與企業(yè)現(xiàn)有以及未來新增的包括數(shù)據(jù)埋點(diǎn)、報(bào)表分析等在內(nèi)的系統(tǒng)進(jìn)行集成。

　　《白皮書》以數(shù)據(jù)形式，詳細(xì)列舉了某受訪APP企業(yè)在使用火山引擎A/B測試產(chǎn)品前后的運(yùn)營效果對比，為全面展現(xiàn)使用火山引擎 A/B 測試產(chǎn)品的影響，F(xiàn)orrester還特別綜合考量了受訪企業(yè)的規(guī)模、所處行業(yè)、使用規(guī)模及場景等關(guān)鍵因素，將其使用體驗(yàn)整合為一個(gè)虛擬的復(fù)合式組織進(jìn)行量化呈現(xiàn)。

　　《白皮書》指出，使用火山引擎A/B產(chǎn)品前，該APP注冊用戶超過 8000 萬，月活用戶數(shù)超過 900 萬。主要營收來自于廣告業(yè)務(wù)、付費(fèi)會(huì)員服務(wù)。經(jīng)歷了前幾年的用戶高速增長，已經(jīng)進(jìn)入穩(wěn)定增長期，用戶增長以及營收逐漸面臨瓶頸，迫切希望通過有效手段提升營收和降低運(yùn)營效率。為了更加有效率地提升用戶洞察、運(yùn)營策略的持續(xù)優(yōu)化，XYZ 公司決定在內(nèi)部引入 A/B測試方法來提升決策的科學(xué)性、探索廣告及會(huì)員營收增長的機(jī)會(huì)以及提升整體運(yùn)營效率。

　　在使用火山引擎A/B產(chǎn)品后，該公司的整體運(yùn)營效率得到明顯提升。其中每年廣告利潤增加值在經(jīng)風(fēng)險(xiǎn)調(diào)整后，第一年約為36萬元，第二年就達(dá)到了接近90萬元，第三年更是一舉超過了150萬元。同時(shí)，日活用戶數(shù)也逐年遞增，從第一年的30萬，增加到第三年的70余萬。《白皮書》指出，A/B 測試對該公司利潤增加的貢獻(xiàn)度，每年都保持在60%左右，效果是十分明顯的。

　　Forrester在《白皮書》的引言中表示，隨著經(jīng)濟(jì)增長的放緩、人口紅利逐漸消退，各行各業(yè)面臨著不斷增長的產(chǎn)業(yè)升級壓力。金融、互聯(lián)網(wǎng)、零售等行業(yè)發(fā)展更是逐漸進(jìn)入瓶頸期，迫切需要由過去的粗放式運(yùn)營模式轉(zhuǎn)變到以專注客戶體驗(yàn)、不斷提升運(yùn)營效率為核心的精細(xì)化運(yùn)營模式。在這種情況下，A/B測試產(chǎn)品作為實(shí)用的運(yùn)營工具，正在給以上行業(yè)企業(yè)的運(yùn)營帶來一場新的變革，助力這些企業(yè)提升運(yùn)營效率，利于其更長遠(yuǎn)的發(fā)展。