LLM文本小结生成:一种基于内容标签生成文本小结的方法

2024-07-17 78 0

LLM是当前进行各种文本小结生成的有效工具,例如可以生成新闻小结、电话小结、诊断小结等等。

1. 如何提升LLM生成文本小结的效果

一种最容易想到的就是基于标注的文本小结微调LLM模型,但在实际业务中标注各种文本小结往往非常耗时。

是否存在不用微调也能确保LLM生成比较好的文本小结呢?

在这些文章中我们谈论了如何基于标签进行小结评价的方法。

LLM文本摘要落地效果验证:一种基于属性验证的方法

LLM电话小结应用:一种基于结构化标签构建、评价电话小结的方法!

同理,我们亦可以通过各种标签(文本中蕴含的各种属性)进行文本小结的生成,因此我们可以使用标签来改进Prompt,从而改善LLM生成文本小结的效果。

2. 如何基于标签进行文本小结的生成

通常要进行基于标签的文本小结生成,通常分为两步:

第一步:获取标签信息

第二步:基于标签信息生成文本小结

2.1 获取文本标签信息

如果要提升LLM提取标签信息的准确性,可使用微调的方法。见:

FocusValue学习:提升LLM提取结构化标签值的准确性

LLM结构化标签信息抽取提示词撰写模板:提升信息提取准确率

LLM标签信息提取(Key-Value)效果衡量:评价指标构建

但如果不用微调方式,可参考文章《 Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method

在文章中将文章中的标签信息定义为四种:

Entity,Date,Event,Result

并使用如下Prompt获取标签信息:

LLM使用Prompt生成标签信息

你也可以基于自己业务中需要的标签进行Prompt改写,从而获取相关标签信息。

你亦可以使用5w1H方法进行标签确定。

(who, what, when, where, why, how)

2.2 如何基于标签进行文本小结生成

在2.1中获取了标签信息,故可以构建Prompt进行文本小结的生成。例如,在文章中基于2.1中的内容,并增加提示词“ Let’s integrate the above information and summarize the article:”来进行文本小结的生成。

LLM文本小结生成:一种基于内容标签生成文本小结的方法

3. 使用提示词生成文本小结的效果如何?

从论文中的结果来看,基于标签生成文本小结比微调的LLM不使用标签具有更好的效果。

基于标签生成文本小结的效果

另外,由于文本小结是基于各种标签进行生成,故生成的文本小结非常适合使用标签属性进行效果验证。

LLM文本摘要落地效果验证:一种基于属性验证的方法

LLM电话小结应用:一种基于结构化标签构建、评价电话小结的方法!

相关文章

LARS:一种评估LLM输出结果准确性概率的方法
LLM时序对话处理:使用小结更新方法实现对话信息的有效处理
BSDetector: 一种衡量LLM输出结果好坏的评价方法
LLM Self-Improve: 一种使用大LLM生成训练集并微调LLM的方法
LLM Lost-in-the-Middle问题解决:构造信息位置无关的增强训练数据集
LLM长文本处理:Lost in the Middle问题及解决方案

发布评论