LinkIn最新研究，利用大模型提升客户技术支持服务质量，有效降低28.6%响应时间

方法

本系统是一个基于LLM的客户服务问答系统，无缝地将检索增强生成（RAG）与知识图谱（KG）相结合。系统分为两个阶段：第一阶段是KG构建阶段，从历史客户服务问题票据中构建全面的知识图谱。第二阶段是问答阶段，解析消费者查询并在KG中导航以生成答案。

构建知识图谱

图结构定义。在定义历史问题表示的知识图谱结构时，我们采用了一种分离问题内部和问题之间关系的双层体系结构。问题间图G（T, E, R）表示不同票证之间的连接网络，包括在问题跟踪票证中定义的显式链接E exp和从票证之间的语义相似性派生的隐式连接E imp。对于隐式连接，我们利用门票标题嵌入向量之间的余弦相似性，这是一种适用于特定用例的方法。

知识图谱的构建。图的构建分为两个阶段：票内解析和票间连接。1）票证内部解析阶段：该阶段将每个基于文本的票证转化为树状表示的票证。我们采用混合方法，最初利用基于规则的提取预定义字段。随后，对于不适合基于规则的解析的文本，我们使用LLM进行解析。2）票务间连接阶段：在这里，单个树T级被合并成一个综合图g。显式连接E exp被描述为票务内指定的。隐式连接E imp是从票名的文本语义相似性中推断出来的，采用嵌入技术和阈值机制来识别每个票证最相关的票证。

嵌入生成。为了支持基于嵌入的在线检索，我们使用BERT和E5等预训练的文本嵌入模型为图节点值生成嵌入，特别针对文本丰富部分的节点，如“问题摘要”、“问题描述”和“重现步骤”等。然后将这些嵌入存储在矢量数据库中。在大多数情况下，每个节点内的文本长度可以满足文本嵌入模型的上下文长度约束，但对于某些冗长的文本，我们可以安全地将文本分成更小的块进行单独嵌入，而不必担心质量问题，因为文本都属于同一部分。

检索和问答

查询实体识别和意图检测。我们从每个用户查询𝑞中提取Map(N→V)类型的命名实体P和查询意图集I。本方法涉及将每个查询𝑞解析为键值对，其中查询中提到的每个键𝑛对应于图模板T模板中的一个元素，值𝑣表示从查询中提取的信息。同时，查询意图I还包括查询旨在处理的图模板T模板中提到的实体。我们利用LLM在解析过程中提供合适的提示符。这种方法通过利用LLM广泛的理解和解释能力，在适应各种查询公式方面展示了显著的灵活性。

基于嵌入的子图检索。本过程包括两个主要步骤：基于EBR的票证识别和基于LLM的子图提取。

在基于EBR的票证识别步骤中，通过利用从用户查询派生的命名实体集P来精确定位最相关的历史票证𝐾。对于每个实体对(𝑘，𝑣)∈P，通过预训练的文本嵌入，计算实体值𝑣与section 𝑘对应的所有图节点𝑛之间的余弦相似度。通过将属于同一票的节点的贡献相加，将这些节点级分数聚合到票级，我们对排名最高的𝐾票进行排序。该方法假定出现多个查询实体表示相关链接，从而提高了检索精度。

在LLM驱动的子图提取步骤中，系统首先将原始用户查询𝑞重新表述为包含检索到的票证ID;然后将修改后的查询𝑞’翻译成图形数据库语言，例如用于Neo4j的Cypher用于问答。值得注意的是，LLM驱动的查询公式足够通用，可以跨子图检索信息，无论它们来自知识图中的同一棵树还是不同的树。

答案生成。通过将检索到的数据与初始查询相关联来合成答案。LLM充当解码器，根据检索到的信息制定对用户查询的响应。对于健壮的在线服务，如果查询执行遇到问题，回退机制将恢复到基于文本的基线检索方法。

实验

实验设置

使用了GPT-4和E5模型，通过MRR、recall@K和NDCG@K等指标来衡量检索效果，通过BLEU、ROUGE和METEOR等指标来衡量问答效果。作者使用了一个”golden”数据集来评估这种方法的效果，数据集包含了典型的查询、支持票据和官方解决方案。作者将实验组和对照组进行了比较，结果表明，实验组的检索效果和问答效果都优于对照组。

结果

通过实验表明该方法在检索和问答性能上都有显著提升，其中MRR提高了77.6%，BLEU得分提高了0.32。