深度解读｜WWW2024：利用大语言模型进行富文本序列推荐

头条共创 2024-08-06

WWW（The Web Conference）由万维网发明人、2016 年度图灵奖获得者 Tim Berners-Lee 于 1992 年发起并创办，是互联网系统与应用领域的顶级学术会议，也是中国计算机学会CCF推荐的A类学术会议，WWW-2024于2024年5月13-17日在新加坡召开。

WWW在互联网应用技术、标准制定、内容分析等研究领域享有盛名，在全球范围内为推动互联网技术的发展起到了重要作用。WWW-2024共接受投稿2008篇，录用率为20.2%，此次CSL共有3篇论文被录用，详情：CSL多篇论文入选WWW-2024

本文将对此次收录文章 Harnessing Large Language Models for Text-Rich Sequential Recommendation进行深度解读。

论文标题：

Harnessing Large Language Models for Text-Rich Sequential Recommendation

中文标题：

利用大语言模型进行富文本序列推荐

文章详情：

https://careersciencelab.com/seed-detail?id=62&from=publications

1研究背景

大语言模型（LLM）已经在推荐系统领域引发了巨大的变革，展现了强大的用户行为理解能力。然而，在推荐场景中，当物品包含丰富的文本信息，例如在线购物中的产品描述或新闻媒体上的新闻标题等场景下，大语言模型就需要更长的文本来全面描绘用户的历史行为序列。这给基于 LLM 的推荐系统带来了诸多挑战，包括文本长度限制、巨大的时间和空间消耗，以及模型性能不理想等问题。

针对这些问题，本研究设计了一个创新框架，如图1所示，旨在利用大语言模型进行富文本序列推荐（LLM-TRSR）。具体而言，本研究首先将用户行为文本进行分块处理，并利用基于 LLM 的摘要器来总结这些行为数据块。特别地，借鉴了卷积神经网络（CNN）和循环神经网络（RNN）在用户建模中的成功经验，本研究引入了两种独特的摘要技术：层次化摘要和循环摘要。接着，本研究构建了一个包括用户偏好摘要、最近的用户互动以及候选商品信息的提示文本，该文本被用于基于 LLM 的推荐系统，并通过监督式微调（SFT）技术进行精细调优，以形成最终推荐模型。此外，我们还采用了低秩适应（LoRA）技术进行参数高效微调（PEFT）。本研究在两个公共数据集上进行了实验，实验结果清楚地证明了此方法的有效性。

图1 LLM-TRSR模型框架

2技术细节

2.1 层次化摘要

层次化摘要框架图如图2所示。在层次化摘要中，首先对用户的行为序列进行分段处理，并使用基于LLM的摘要器对每一个用户行为块进行摘要。图3为使用LLM对用户行为块进行摘要的示例图。在得到了每一个用户行为块的摘要后，层次化摘要方法以层次化的形式对多个摘要进行进一步总结，最终得到用户所有行为的总结。图4为层次化摘要方法示例图。

图2 层次化摘要框架图

图3 用户行为块摘要示例

图4 层次化摘要示例图

2.2 循环摘要

循环摘要框架图如图5所示。在循环摘要范式中，首先对用户行为进行分块。随后，使用基于LLM的摘要器对用户的首个行为块进行总结。图6为对用户首个行为块进行总结的示例图。随后，受到循环神经网络启发，循环摘要范式将前面的用户行为摘要和后续的用户行为块输入基于LLM的用户行为摘要器中，得到下一步的用户行为摘要。通过不断的迭代，模型可以得到用户的全部行为摘要。图7为循环摘要示例图。

图5 循环摘要框架图

图6 用户首个行为块摘要示例图

图7 循环摘要示例图

2.3 基于LLM的推荐

得到了用户偏好摘要后，就可以使用基于LLM的推荐模型进行推荐。本研究采用让LLM输出yes or no的方法进行推荐，prompt中包括用户的偏好摘要、用户的最近行为以及候选物品的信息，并使用基于SFT的训练方法对模型进行训练。为减少开销，本研究采用了基于LoRA的PEFT训练技术。图8为基于LLM的推荐示例图。