提示工程

思路链（Chain-of-thought）(CoT) 是文本提示（Textual prompting）的一种技术，该技术通过提示 LLM 生成一系列中间步骤来提高 LLM 的推理能力，这些中间步骤会导致多步骤问题的最终答案。[12] 该技术由谷歌研究人员于 2022 年首次提出。[13][14]

提示链接（Prompt chaining）是一种在对话式AI中文本提示使用的一种技术，用于创建更具动态性和上下文感知的聊天机器人。它涉及使用一个提示的输出作为下一个提示或对话的一部分的输入。通过将提示链接在一起，您的对话助手可以更轻松地适应您没有设计的情况，同时保持良好的对话。[15][16]

提示注入(英語：)，是一系列相关的计算机安全漏洞，通过让经过训练的机器学习模型（如大型语言模型）遵循人类给出的指令来遵循恶意用户提供的指令，这与指令遵循系统的预期操作形成对比，其中机器学习模型只遵循机器学习模型操作员所提供的可信指令（提示）。[17][18][19]

提示性注入可以被看作是一种使用对抗性提示工程的代码注入攻击。2022年，NCC集团将提示注入定性为AI/ML系统的一类新漏洞。[20]

在2023年左右，提示注入在针对ChatGPT和类似的聊天机器人的次要漏洞中出现，例如揭示系统隐藏的初始提示，[21]或者欺骗聊天机器人参与到违反聊天机器人内容政策的对话。 [22]

根據OWASP有關大型語言模型的安全漏洞報告指出，提示注入是大型語言模型十大安全漏洞之首。 [23][24]