LLM Self-Verification: 提升LLM信息抽取准确性

2024-06-18 228 0

LLM在信息抽取领域表现出了强大的泛化性和效果,以消费金融行业为例,LLM可用于挖掘营销线索、客户违约原因、客户投诉原因等信息,并提升企业的营销、催收、风控等能力。

1.LLM信息抽取应用

例如,可使用LLM从用户与坐席的对话中抽取对应的营销信息,发现用户需求。

在消费金融领域可挖掘:客户需要的资金量、需要资金的时间、期望的借款利率、期望还款方式等等。

在保险领域可挖掘:客户期望的保险类型、期望缴纳的保费金额、期望保险承保的范围等等。

2.LLM信息抽取面临的问题

当前LLM在信息抽取领域面临的问题较多,例如格式问题,值的合法性问题,角色不清问题(只提user的观点,但是却提取了agent的观点)等等。在所有的问题中,值的准确性是最重要的。因此,可使用LLM Self-Verification方法进行改进。

3.LLM Self-Verification

LLM Self-Verification简称LLM自我验证或者自验证,其内涵为LLM本身对其产生的输出进行验证,判断是否输出正确。通常在使用时包含两个步骤:

LLM Self-Verification在信息抽取中的应用

步骤1:LLM基于提示词输出提取的信息

步骤2:判断提取的结果是否正确。

因此在整个过程中LLM被使用了两次。

例如一个步骤2的例子如下:

LLM Self-Verification示例

4.LLM Self-Verification的局限性

当前使用两步骤使用LLM的Self-Verification具有如下限制:

  • LLM使用了两次,这对于实时系统来说不可接受
  • LLM如果提取的结构化信息较多,那么Self-Verification可能存在更多次的调用
  • 当前的Self-Verification方法还不能融合到步骤1当中

虽然存在以上方法,但是该方法不失为一种提升LLM信息抽取准确性的简单方法。

相关文章

LLM时序对话处理:使用小结更新方法实现对话信息的有效处理
TTS效果提升:一种优于VITS的端到端Matcha-TTS实施与训练
LLM准确率提升:LLM Self-Consistency多推理路径结果实现方式
LLM结果可靠性验证:直接输出结果自信分数是否可行?
LLM标签信息提取(Key-Value)效果衡量:评价指标构建
AI智能外呼TTS:带变量合成语音如何达到真人录音效果?

发布评论