2024美團技術(shù)前沿:運用LLM模型建模商品轉(zhuǎn)移概率,提升序列推薦算法效果
2024美團技術(shù)前沿:運用LLM模型建模商品轉(zhuǎn)移概率,提升序列推薦算法效果
近期,關(guān)系感知序列推薦嶄露頭角,通過明確考慮物品間關(guān)系提高了推薦性能,但應(yīng)用中還面臨關(guān)系稀疏和實體稀疏的問題。為解決這些問題,本研究提出了一種創(chuàng)新的Language Knowledge-based Latent Relation Discovery (LRD)方法。LRD通過利用大型語言模型(LLM)來自動發(fā)現(xiàn)和理解物品間非結(jié)構(gòu)化的潛在關(guān)系,這與傳統(tǒng)方法相比,不依賴預(yù)設(shè)規(guī)則,而是基于LLM的語義表示自動生成關(guān)系,以提升推薦效果。
導(dǎo)讀近期,關(guān)系感知序列推薦嶄露頭角,通過明確考慮物品間關(guān)系提高了推薦性能,但應(yīng)用中還面臨關(guān)系稀疏和實體稀疏的問題。為解決這些問題,本研究提出了一種創(chuàng)新的Language Knowledge-based Latent Relation Discovery (LRD)方法。LRD通過利用大型語言模型(LLM)來自動發(fā)現(xiàn)和理解物品間非結(jié)構(gòu)化的潛在關(guān)系,這與傳統(tǒng)方法相比,不依賴預(yù)設(shè)規(guī)則,而是基于LLM的語義表示自動生成關(guān)系,以提升推薦效果。
![](https://img.51dongshi.com/20241126/wz/18337237152.jpg)
在推薦系統(tǒng)領(lǐng)域,序列推薦成為熱門議題,關(guān)注如何通過分析用戶歷史行為預(yù)測未來喜好。早期推薦系統(tǒng)大多基于馬氏鏈建模,但后來隨著深度學(xué)習(xí)的興起,如RNN、CNN和Transformer等深度神經(jīng)網(wǎng)絡(luò)被采用,以捕捉交互行為的復(fù)雜性。然而,這些方法往往依賴于物品相似度的無明顯表達計算,忽略了顯式關(guān)系對用戶決策的影響。近期,關(guān)系感知序列推薦嶄露頭角,通過明確考慮物品間關(guān)系提高了推薦性能,但應(yīng)用中還面臨關(guān)系稀疏和實體稀疏的問題。為解決這些問題,本研究提出了一種創(chuàng)新的Language Knowledge-based Latent Relation Discovery (LRD)方法。LRD通過利用大型語言模型(LLM)來自動發(fā)現(xiàn)和理解物品間非結(jié)構(gòu)化的潛在關(guān)系,這與傳統(tǒng)方法相比,不依賴預(yù)設(shè)規(guī)則,而是基于LLM的語義表示自動生成關(guān)系,以提升推薦效果。LRD方法具體操作上,設(shè)計了一個自我監(jiān)督學(xué)習(xí)框架,通過LLM提取物品的語義信息,然后通過關(guān)系抽取模型預(yù)測潛在關(guān)系。接著,重構(gòu)單個物品模型以增強關(guān)系的準(zhǔn)確性。LRD的優(yōu)勢包括自動發(fā)現(xiàn)潛在關(guān)系、不依賴預(yù)設(shè)規(guī)則、基于LLM的語義表示,這些特性使得LRD方法在提升推薦性能上展現(xiàn)出優(yōu)越性。實驗結(jié)果在多個公開數(shù)據(jù)集上證實了LRD的有效性,它顯著超越了最先進的關(guān)系感知推薦模型,表明了這種方法在提升推薦性能上的潛力。構(gòu)建LRD模型時,首先定義了用戶群體、用戶歷史購買或瀏覽記錄、商品集合、商品之間的關(guān)系和潛在關(guān)系,以及知識圖譜中的預(yù)定義關(guān)系。目標(biāo)是通過分析用戶歷史交互,為用戶下一個可能感興趣的商品提供排序列表。LRD方法通過引入潛在關(guān)系,不僅考慮顯式的關(guān)系,還探索潛在的、未明確定義的用戶行為模式,從而進一步提升推薦性能。為了實現(xiàn)關(guān)系發(fā)現(xiàn),LRD模型采用了一個融合了LLM的文本理解部分,通過LLM提取物品的語義信息,以此預(yù)測它們之間的潛在聯(lián)系。然后,通過關(guān)系提取模型預(yù)測潛在關(guān)系,最后重構(gòu)物品的表示以增強模型對用戶興趣的理解。這種方法通過預(yù)測潛在關(guān)系,擴展了已有的項關(guān)系嵌入,優(yōu)化了用戶偏好模型。關(guān)系發(fā)現(xiàn)過程通過構(gòu)建偽似似然損失函數(shù),利用DVAE的自監(jiān)督學(xué)習(xí)策略實現(xiàn)。假設(shè)所有潛在關(guān)系遵循一個均勻分布,通過優(yōu)化損失函數(shù),模型學(xué)習(xí)到的潛在關(guān)系分布盡可能接近真實分布,實現(xiàn)對潛在關(guān)系的有效發(fā)現(xiàn)。在關(guān)系發(fā)現(xiàn)模型中,通過使用特定的大型語言模型對隱藏狀態(tài)進行池化操作,獲得物品的語義表示。然后,將這些表示通過投影層降維到與推薦模型匹配的維度。這些由LLM生成的表示被用于關(guān)系提取模型,以預(yù)測物品間的潛在關(guān)系。通過關(guān)系提取模型,利用LLM生成的融合向量,預(yù)測物品對在關(guān)系集上的關(guān)系,模型通過線性分類器實現(xiàn)這一功能,提供關(guān)系類別的概率分布。這樣,模型根據(jù)LLM的豐富知識推斷潛在關(guān)系,彌補了僅依賴預(yù)定義關(guān)系的不足。為了優(yōu)化推薦性能,引入了關(guān)系感知推薦系統(tǒng),將LRD方法融入其中。預(yù)測潛在關(guān)系擴展了項關(guān)系嵌入,進一步提升了推薦性能。優(yōu)化目標(biāo)是最大化重構(gòu)真實物品的概率,同時通過加入熵項作為正則化項,保持預(yù)測關(guān)系的多樣性,防止過擬合。在關(guān)系感知推薦中,通過評估函數(shù)量化兩個物品間的關(guān)系強度,選擇通用模型DistMult作為關(guān)系提取的基礎(chǔ)。DistMult通過矩陣乘積模擬關(guān)系的直接作用,估算在特定關(guān)系下,兩個物品的相似度或相關(guān)性。通過調(diào)整模型參數(shù),可以根據(jù)模型學(xué)習(xí)到的關(guān)系規(guī)則預(yù)測和理解不同情境下的物品關(guān)系。結(jié)合關(guān)系嵌入,可以更精確地揭示用戶潛在的喜好。對于用戶與其目標(biāo)項,利用用戶過去的交互記錄和每個交互關(guān)系,引入關(guān)系嵌入來增強推薦的洞察能力。用戶對目標(biāo)項的偏好分?jǐn)?shù)通過融合函數(shù)計算,整合了用戶歷史、交互關(guān)系以及動態(tài)交互信息。在聯(lián)合優(yōu)化策略中,結(jié)合了序列推薦和知識圖譜嵌入兩個任務(wù),通過優(yōu)化目標(biāo)函數(shù)實現(xiàn)了對潛在關(guān)系的發(fā)現(xiàn)與推薦決策的優(yōu)化,從而在提升推薦精確性的同時,靈活地融合用戶行為和領(lǐng)域知識,提供更精準(zhǔn)且相關(guān)的目標(biāo)推薦。實驗研究在多個公開數(shù)據(jù)集上進行,評估了模型在各類推薦環(huán)境下的關(guān)系發(fā)現(xiàn)能力。對比了多種序列推薦模型,驗證了LRD方法在提升推薦質(zhì)量方面的獨特貢獻,以及如何通過調(diào)整參數(shù),優(yōu)化推薦策略,量化這一貢獻。通過實驗,LRD增強的關(guān)系感知序列推薦模型RCF~LRD~和KDA~LRD~表現(xiàn)出顯著的性能提升,超越了非關(guān)系感知的序列推薦模型,表明了通過自動發(fā)現(xiàn)潛在關(guān)系,顯著提升了推薦系統(tǒng)的性能。通過深入分析和實驗結(jié)果,證明了LRD方法在序列推薦領(lǐng)域的創(chuàng)新性和有效性,不僅解決了傳統(tǒng)推薦方法的局限性,還提供了更精準(zhǔn)、個性化的推薦服務(wù),為推薦系統(tǒng)的發(fā)展提供了新的方向。
2024美團技術(shù)前沿:運用LLM模型建模商品轉(zhuǎn)移概率,提升序列推薦算法效果
近期,關(guān)系感知序列推薦嶄露頭角,通過明確考慮物品間關(guān)系提高了推薦性能,但應(yīng)用中還面臨關(guān)系稀疏和實體稀疏的問題。為解決這些問題,本研究提出了一種創(chuàng)新的Language Knowledge-based Latent Relation Discovery (LRD)方法。LRD通過利用大型語言模型(LLM)來自動發(fā)現(xiàn)和理解物品間非結(jié)構(gòu)化的潛在關(guān)系,這與傳統(tǒng)方法相比,不依賴預(yù)設(shè)規(guī)則,而是基于LLM的語義表示自動生成關(guān)系,以提升推薦效果。
為你推薦