要在企业实际业务中使用LLM,通常有两种方式:直接使用提示词(纯Prompt方式)或者使用数据进行微调(微调方式)。那么在实际业务中何种方式更好呢?
1.纯Prompt方式
纯Prompt方式:即只通过输入提示词让模型返回结果。
该方式最直接的好处就是实施成本低,且能够实现结果的快速验证。
但存在如输出结果不正确、格式不对、受提示词影响、受模型能力本身等各种影响。例如:
在该例子中,输出的竞品名称并不正确,“微信借款活动”并不是一个竞品的名称。
2.模型微调
微调方式即收集或者标注一部分数据,然后通过qlora、LISA等方式进行LLM的微调,从而实现结果的可控,并提升模型的准确性。
但是使用这种方式需要大量的时间进行数据的收集与标注,甚至在真实的业务场景中这种标注会耗费大量的人力与物力。例如,在消费金融领域,要生成每通催收电话或者电销电话的摘要数据,那么在准备数据时,就需要标注人员或者业务人员撰写一定数量的电话总结文本,而这个难度比较大。
3.纯Prompt与微调方式对比
以下是一些纯Prompt方式与微调方式落地LLM时的一些对比:
4.实际中如何选择呢?
以我的经验来看,LLM在企业落地时通常都会经历这个两个阶段,并没有一定要选择哪一种或者哪一个更好。
阶段1:使用纯Prompt方式快速验证可行性,当可行的时候,可使用Prompt方式先落地,并在使用过程中积累数据。
阶段2:数据积累到一定阶段后,使用微调方式,确保结果可控且更准确。
综上,大家可基于自己的具体情况采用落地方式。