LLM在企业落地哪种方式更好:纯Prompt或微调?

2024-06-24 82 0

要在企业实际业务中使用LLM,通常有两种方式:直接使用提示词(纯Prompt方式)或者使用数据进行微调(微调方式)。那么在实际业务中何种方式更好呢?

1.纯Prompt方式

纯Prompt方式:即只通过输入提示词让模型返回结果。

该方式最直接的好处就是实施成本低,且能够实现结果的快速验证。

但存在如输出结果不正确、格式不对、受提示词影响、受模型能力本身等各种影响。例如:

使用Prompt获取LLM结果

在该例子中,输出的竞品名称并不正确,“微信借款活动”并不是一个竞品的名称。

2.模型微调

微调方式即收集或者标注一部分数据,然后通过qlora、LISA等方式进行LLM的微调,从而实现结果的可控,并提升模型的准确性。

但是使用这种方式需要大量的时间进行数据的收集与标注,甚至在真实的业务场景中这种标注会耗费大量的人力与物力。例如,在消费金融领域,要生成每通催收电话或者电销电话的摘要数据,那么在准备数据时,就需要标注人员或者业务人员撰写一定数量的电话总结文本,而这个难度比较大。

3.纯Prompt与微调方式对比

以下是一些纯Prompt方式与微调方式落地LLM时的一些对比:

LLM落地方式:纯Prompt和微调方式

4.实际中如何选择呢?

以我的经验来看,LLM在企业落地时通常都会经历这个两个阶段,并没有一定要选择哪一种或者哪一个更好。

阶段1:使用纯Prompt方式快速验证可行性,当可行的时候,可使用Prompt方式先落地,并在使用过程中积累数据。

阶段2:数据积累到一定阶段后,使用微调方式,确保结果可控且更准确。

综上,大家可基于自己的具体情况采用落地方式。

相关文章

LLM时序对话处理:使用小结更新方法实现对话信息的有效处理
TTS效果提升:一种优于VITS的端到端Matcha-TTS实施与训练
LLM准确率提升:LLM Self-Consistency多推理路径结果实现方式
LLM结果可靠性验证:直接输出结果自信分数是否可行?
LLM标签信息提取(Key-Value)效果衡量:评价指标构建
AI智能外呼TTS:带变量合成语音如何达到真人录音效果?

发布评论