最后,我们通过根据 LLM 定制指令来优化聊天机器人的生成,这一过程称为提示工程。我们用于构建此聊天机器人的示例提示是:“请充当 Dataiku 和 Snowflake 的销售工程师。用户将向您询问有关这些平台及其功能的问题。请以清晰、有用且简洁的方式回答用户的问题”。提示工程有助于 LLM 以我们希望的方式做出响应。
评估和微调模型
为了确保我们的法学硕士 (LLM) 的有效性,我们根据四个关键标准对解决方案进行了全面的评估:
生成的答案必须直接解决所提问题的含义。
通过智能检索(上下文)选择的文 克罗地亚 WhatsApp 数据 档应该有助于回答问题。
生成的答案应该得到 RAG 过程中选择的文档的良好支持。
生成的答案应该是正确的!
虽然我们可能无法在所有四个指标上都获得完美的 1.0 分,但我们可以通过尝试不同的 LLM 并不断改进 RAG 流程来尝试最大化它们。