Prompt Engineering之反思技巧怪圈

Updated on

反思

本文没啥技巧,全是梳理与反思。

之前有人想找我教点东西1,大概是AI啥的。我寻思那就讲门槛最低、最实用的Prompt Engineering2好了。但又一琢磨:不对呀,实际上这有啥好讲的呢?那些通用的纲领性原则不用讲,需要讲的又讲不了——最有价值的就是针对自己的需求情景沉淀use case。别人的按理有用,但作用确实也有限。就好似你买一百本生产力、计划类的书,难有一本完全切中你的习惯。

是的,市面上确实有各种各样的prompt教程。抛开那些卖课的智商税不谈,市面上甚至已经有了提示词工程师岗位3,可能对那些有所关注但了解不多的人有些唬头:哎呀,虽然平常好像聊一聊就能用,但其实里面也有其门道。

我只能说:是,规范且良好的prompt确实可以帮助模型输出更加优质的回答,但是……

指令自有其效率局限

  • 在模型迭代面前prompt的效果可以说是忽略不计
  • 不同模型各有“气质”,需要找针对性摸索调整
  • 同一模型的不同版本也对相同提示词的反应有差别

须知:所有科技巨头会力使操作门槛无限压低,AI能力无限拉高。提示词工程努力调优的地方,是从来被炼丹师致力无限消减的领域。而我们作为使用者,本该自然而为坐享其成,而非产出五分钟,实际调优两小时。

技巧确实有用,但钻深更看经验

浸淫指令工程已久,想必你总能见到各种或正经或邪道但大同小异的指令技巧,比方说:

  • 结构化表达
  • 完整表述背景
  • 设定身份
  • PUA

后来也有人提纲挈领地提出进化新概念:上下文工程(Context Engineering),换一个视角去审视整个指令思路。

但是!我的朋友,但是——再进一步研究,好像就没了,或者说就这么开始鬼打墙了。此后再看更多地技巧、心得,好像都可以四舍五入地把之前学到的归为一类。

——然后按照同样的思路不断地尝试,调优。

是的,我的朋友。前面已经没有可靠的路了,我们得自己趟出来——趟这不断被模型厂商追逐消减的路。你在前面走,他们在后面追。不定方向,不定速度。太多太多的不可控。

放在生产环境中看,我更推荐……

以最小的精力最大限度地发挥模型工作价值

或者说:避免陷入无限追逐模型表现天花板,除非你意旨如此。

付出越少,损失越少4。在这不确定但变化又快的领域,尽可能追求模型表现得最大性能的性价比太低了。试来试去,甚至不如纯人力解决来的高效。没错,我说的正是我,正如本文就是面向个人的梳理总结。 因而,接受它在你自然状态下的表现吧。不要担心你会错过什么。模型会成长,你也是。

尾声

话虽如此,研究指令工程也没有那么塑料。

商业情景我了解不多。以自己为例,我所在的公司还是全球有头有脸的,但听IT的AI培训,里面分享的不算是烂熟于心,也是如数家珍了……也听说其他企业会找实习生调prompt,还有招聘平台上挂个把月提示词工程师岗位但就不闭岗来骗思路

爱好者这块算是我的舒适区了。除了LinuxDo里佬友发帖交流提示词越狱、Coding指令,最值得提的还得是那帮聚集在Discord的酒馆佬。

酒馆是什么?也许你已经有所耳闻——有人会在各种模型的官方app或者AI陪伴平台聊天、谈感情。而酒馆,则是这个赛道的T0级屎山载体。酒馆佬不少会没日没夜高强度在酒馆畅聊,甚至在脑中培养出不同模型的AI语料库,直觉鉴AI。OpenRouter发布报告,有大概40%的Token都被花在这方面。

也就是说,酒馆佬有断层级的热情、经验去钻研如何让模型表现发挥最优。除了最基础的写卡,其中的“预设组”更是前沿悍将。他们想尽各种思路,各种结构,直击不同模型弊端,重塑模型输出范式。他们抵制商业化,乐于在社区里分享自己的知识、思考与经验。甚至也有人会因为更新、分享太频繁会觉得不好意思

天下模型优劣当属华语社区,天下模型调优当属酒馆华语社区5

Footnotes

  1. 先叠一下个人bg,供读者批判性观看:

    • 技术力一般,但一直关注技术社区。算是网上头两批用上ChatGPT的人。初期是在Slack里用上Claude的,后来在官网注册的时候甚至无需手机验证。
    • ChatGPT爆火以后一直高强度关注LLM,与此同时也在学习各种原理、各种提示词工程,看尽模型未出教程先行的笑话。了解AI大体生态与格局。
    • 当前是酒馆重度用户,现在简直是人形AI鉴定机。
  2. 机翻,你害人啊!为什么要把它翻译成提示词工程呢?明明指令工程最贴切了。

  3. 我很怀疑这些岗位的真实性,觉得只是骗面试者的经验。

  4. 结果先行之不该是我的总不是我的。

  5. 洋人当然也玩酒馆,也有社区。但怎么说……这边已经玩出花了,那边还简简单单的。没有说轻量不好的意思。