由InfoQ中國(guó)團(tuán)隊(duì)推出，面向高端技術(shù)管理者和架構(gòu)師的全球架構(gòu)師峰會(huì)(ArchSummit)日前在北京國(guó)際會(huì)議中心舉行。來自騰訊、滴滴出行、一點(diǎn)資訊等互聯(lián)網(wǎng)企業(yè)的技術(shù)專家受邀出席并做主題演講。

　　一點(diǎn)資訊高級(jí)技術(shù)總監(jiān)田明軍發(fā)表主題演講

　　在本次大會(huì)上，一點(diǎn)資訊高級(jí)技術(shù)總監(jiān)田明軍詳細(xì)詮釋了深度融合搜索和推薦引擎對(duì)獲取用戶閱讀興趣、實(shí)現(xiàn)信息精準(zhǔn)分發(fā)的必要性，并以一點(diǎn)資訊為例，從技術(shù)框架和產(chǎn)品理念角度，分享了興趣引擎將二者有機(jī)融合的心得。

　　他認(rèn)為，搜索和推薦兩種獲取信息的途徑和體驗(yàn)缺一不可。一點(diǎn)資訊的興趣引擎系統(tǒng)通過結(jié)合了用戶搜索行為所觸及的全網(wǎng)數(shù)據(jù)，不斷學(xué)習(xí)用戶的興趣再進(jìn)行推薦，并由用戶主動(dòng)“訂閱”深化這一興趣，建立興趣之間的連接點(diǎn)，從而打通用戶對(duì)信息的主動(dòng)表達(dá)和被動(dòng)接受兩條通道，使信息獲取更加高效、精準(zhǔn)，為全方位提升用戶體驗(yàn)打下了堅(jiān)實(shí)的基礎(chǔ)。

　　以下為田明軍演講內(nèi)容精編版：

　　大家早上好，非常榮幸今天有機(jī)會(huì)與大家分享一點(diǎn)資訊關(guān)于融合搜索和推薦引擎的一些思考和實(shí)踐。

　　單一的搜索或推薦引擎不利于全面滿足信息分發(fā)需求

　　在移動(dòng)互聯(lián)網(wǎng)時(shí)代，搜索和個(gè)性化推薦都是用戶獲取信息的兩種重要的方式：搜索通常伴隨著用戶的明確表達(dá)，用戶輸入關(guān)鍵詞即可找到自己想要的答案;反觀推薦，則是用戶通過產(chǎn)品呈現(xiàn)的內(nèi)容進(jìn)行非目標(biāo)性的興趣瀏覽。但這兩種體驗(yàn)是不能互替的，單純根據(jù)歷史瀏覽記錄進(jìn)行的個(gè)性化推薦并不能了解用戶某時(shí)刻的自身想法，而另一方面，也很難根據(jù)每天一兩次搜索行為總結(jié)出用戶的長(zhǎng)期規(guī)律。

　　所以從產(chǎn)品角度來說，搜索和推薦的體驗(yàn)二者不可或缺、關(guān)系緊密。這也是我們致力于實(shí)現(xiàn)二者融合的原因。

　　但需要注意的是，二者在意圖表達(dá)方式、訓(xùn)練模型等方面存在著巨大差異，基于這些差異點(diǎn)，我們不能簡(jiǎn)單的用其中一種系統(tǒng)來實(shí)現(xiàn)搜索和推薦融合的目的。

　　搜索和推薦的融合之路應(yīng)該怎樣走?

　　對(duì)于融合的解決之道，一點(diǎn)資訊選擇在搜索和推薦引擎之間加入了一個(gè)基于用戶興趣的任意關(guān)鍵詞訂閱環(huán)節(jié)。通過搜索發(fā)現(xiàn)用戶所查詢的答案同時(shí)，我們也提煉、擴(kuò)充出針對(duì)用戶興趣的表達(dá)，并以此固定沉淀在用戶畫像里。因此，搜索讓個(gè)性化推薦層面，增加了一條高效地獲取用戶興趣的途徑。

　　反過來說，通過推薦系統(tǒng)把共性的有趣、有料的內(nèi)容呈現(xiàn)給用戶，通過推薦產(chǎn)品收集到用戶更多層面的反饋，從而得到這些內(nèi)容的普適性特征。基于這些特征的挖掘，我們也能夠?qū)��?nèi)容有更深刻的了解。而再將搜索體驗(yàn)中加入并有效利用這些共性特征，也更加強(qiáng)化、提升了搜索的品質(zhì)。

　　接下來，我將從興趣引擎的整體系統(tǒng)架構(gòu)中，選取了幾項(xiàng)關(guān)鍵技術(shù)點(diǎn)，闡述一點(diǎn)資訊將搜索和推薦內(nèi)容體驗(yàn)真正融合的方法：

　　異構(gòu)索引引領(lǐng)檢索效率提升 針對(duì)搜索+推薦深度優(yōu)化

　　為實(shí)現(xiàn)深度融合的目的，針對(duì)搜索和推薦不同的服務(wù)特點(diǎn)和系統(tǒng)性能要求，首先我們提出了異構(gòu)索引結(jié)構(gòu)。

　　從上圖可以清楚地看出異構(gòu)索引的數(shù)據(jù)來源和組織形式。我們可以從圖的底部可以看到，產(chǎn)生異性索引數(shù)據(jù)的平臺(tái)一分為三：數(shù)據(jù)平臺(tái)、編輯運(yùn)維平臺(tái)和內(nèi)容平臺(tái)。圖片頂部則展示了不同數(shù)據(jù)的索引構(gòu)建所采用的不同技術(shù)。

　　內(nèi)容平臺(tái)方面，對(duì)外網(wǎng)抓取的內(nèi)容和自媒體平臺(tái)生產(chǎn)的內(nèi)容，我們建立了通用的倒排索引。

　　在左側(cè)的數(shù)據(jù)平臺(tái)，則通過對(duì)用戶行為的挖掘，產(chǎn)生基于協(xié)同過濾信息的挖掘的推薦列表，以及針對(duì)不同人群放置的熱文列表，這部分我們使用通用的KV數(shù)據(jù)庫存儲(chǔ)。

　　中間這部分的數(shù)據(jù)來源于內(nèi)容平臺(tái)和編輯運(yùn)維平臺(tái)，體現(xiàn)了技術(shù)與人工的結(jié)合。這部分?jǐn)?shù)據(jù)存在內(nèi)容的競(jìng)爭(zhēng)機(jī)制，變化比較靈活，使用了自建的支持排序列表的索引結(jié)構(gòu)。

　　大家也許會(huì)問，為什么會(huì)有這樣的區(qū)分?這主要是基于優(yōu)化檢索性能角度的思考。根據(jù)關(guān)鍵詞對(duì)倒排索引進(jìn)行查詢的方式非常成熟，完全夠能夠滿足搜索系統(tǒng)的需求，然而，傳統(tǒng)的倒排索引卻很難對(duì)推薦需求的幾十維以上的特征進(jìn)行查詢。

　　在這個(gè)基礎(chǔ)上，我們做了兩個(gè)優(yōu)化：一是針對(duì)稀疏的頻道，實(shí)現(xiàn)了支持WAND(一種介于AND和OR之間的索引查詢操作符)檢索系統(tǒng)加快召回內(nèi)容的效率;而對(duì)于稠密的頭部頻道，則通過開發(fā)頻道文章索引庫，維護(hù)從頻道到排序內(nèi)容列表的映射，將線上查詢壓力轉(zhuǎn)移到線下，提升檢索的效率。

　　以u(píng)nified feeder為核心的內(nèi)容處理平臺(tái)解決寫入難題

　　剛才看到方方面面的索引，接下來，我們必須要解決里面索引的寫入的問題。這就需要在統(tǒng)一的內(nèi)容處理平臺(tái)，把這些內(nèi)容寫到異構(gòu)的索引結(jié)構(gòu)里面。

　　我們的內(nèi)容處理平臺(tái)的核心之一，則是unified feeder系統(tǒng)，這是內(nèi)容處理平臺(tái)與索引系統(tǒng)之間傳遞信息的橋梁。

　　在unified feeder實(shí)際工作中，首先針對(duì)不同的輸入數(shù)據(jù)，我們存入了很多不同的索引庫，這個(gè)工作通過統(tǒng)一的配置與模板中心進(jìn)行管理，可以方便的維護(hù)和擴(kuò)展。此外，unified feeder內(nèi)部有一個(gè)checkpoint系統(tǒng)，在各個(gè)關(guān)鍵索引內(nèi)容寫入之后，會(huì)向checkpoint系統(tǒng)發(fā)送驗(yàn)證信號(hào)，如果任何數(shù)據(jù)寫入失敗，checkpoint系統(tǒng)會(huì)有記錄，系統(tǒng)可以自動(dòng)進(jìn)行數(shù)據(jù)的重新寫入。這種方式有效的解決了系統(tǒng)容錯(cuò)和異構(gòu)索引數(shù)據(jù)一致性的問題。

　　雙層架構(gòu)的自適應(yīng)索引召回突破異構(gòu)索引挑戰(zhàn)

　　接下來我將講解在有了以上數(shù)據(jù)基礎(chǔ)之后，針對(duì)上面的搜索和推薦請(qǐng)求，我們?nèi)绾瓮ㄟ^自適應(yīng)索引召回技術(shù)，從不同的索引里面獲取數(shù)據(jù)?這主要面臨三個(gè)方面的技術(shù)挑戰(zhàn)——決策需要調(diào)用的索引后端、異構(gòu)索引召回效率，以及可擴(kuò)展性與開發(fā)效率。