LLM是当前进行各种文本小结生成的有效工具,例如可以生成新闻小结、电话小结、诊断小结等等。
1. 如何提升LLM生成文本小结的效果
一种最容易想到的就是基于标注的文本小结微调LLM模型,但在实际业务中标注各种文本小结往往非常耗时。
是否存在不用微调也能确保LLM生成比较好的文本小结呢?
在这些文章中我们谈论了如何基于标签进行小结评价的方法。
LLM电话小结应用:一种基于结构化标签构建、评价电话小结的方法!
同理,我们亦可以通过各种标签(文本中蕴含的各种属性)进行文本小结的生成,因此我们可以使用标签来改进Prompt,从而改善LLM生成文本小结的效果。
2. 如何基于标签进行文本小结的生成
通常要进行基于标签的文本小结生成,通常分为两步:
第一步:获取标签信息
第二步:基于标签信息生成文本小结
2.1 获取文本标签信息
如果要提升LLM提取标签信息的准确性,可使用微调的方法。见:
FocusValue学习:提升LLM提取结构化标签值的准确性
LLM标签信息提取(Key-Value)效果衡量:评价指标构建
但如果不用微调方式,可参考文章《 Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method》
在文章中将文章中的标签信息定义为四种:
( Entity,Date,Event,Result)
并使用如下Prompt获取标签信息:
你也可以基于自己业务中需要的标签进行Prompt改写,从而获取相关标签信息。
你亦可以使用5w1H方法进行标签确定。
(who, what, when, where, why, how)
2.2 如何基于标签进行文本小结生成
在2.1中获取了标签信息,故可以构建Prompt进行文本小结的生成。例如,在文章中基于2.1中的内容,并增加提示词“ Let’s integrate the above information and summarize the article:”来进行文本小结的生成。
3. 使用提示词生成文本小结的效果如何?
从论文中的结果来看,基于标签生成文本小结比微调的LLM不使用标签具有更好的效果。
另外,由于文本小结是基于各种标签进行生成,故生成的文本小结非常适合使用标签属性进行效果验证。