NotionNext BLOG

AI阅读代码已经成为不可或缺的工具。记得很久之前，李宏毅教授曾经说过，AI最擅长的就是“猜”，无论是分类任务还是预测任务，都属于猜测。而程序员在接收别人写过的代码时所做的第一件事是什么呢？也是猜测。根据文件名、函数名、变量名以及注释对项目有一个宏观的把握。既然都是猜测，让AI来做有时比我们自己来要容易。况且，即使不正确，也可以作为参考。

笔者也非常建议所有人都来尝试使用AI。它能省去很多时间成本。举个例子，我之前虽然有一定的编程基础，但都是基于C#和Unity游戏开发相关的，对Python以及cmd命令接触很少。通过在线版本的ChatGPT plus以及IDE里面的阅读代码功能相结合，部署和阅读的时间都得到了很大提升。将项目主页的运行说明贴上去，并说明自己要使用哪种模式运行，ChatGPT就能编写出一个可运行的命令。

从main.py主文件梳理项目运行流程

入口函数代码：

刨开最开始的一系列对参数的解析，剩下的功能还是比较清晰的。

比如以上代码，对提示词进行了整理。DBs类里存储了多个DB数据库，有的分管日志输出，有的记录用户输入，有的指向生成的代码库。当然，还有一些预定义好的固定提示词。

然后就是这段代码。可以看到，GPT-Engineer的核心逻辑与AutoGPT完全不同。这里只是按照步骤执行，遍历所有的步骤并逐个执行。某个步骤只需从dbs中获取所需数据即可。最后，还会将每个步骤执行的结果保存在一个字典中。

解析官网案例中使用的Step

在Steps.py文件中，展示了所有的AI可执行的步骤，最底部是不同的模式都配置了哪些步骤，这些步骤将会顺序执行。

接下来我们就按照顺序一个一个挨着分析，首先是clarify：

这段代码逻辑很长，看看AI对其的解释作为参考：

这段的系统提示词是这样的：

那么我们就明白了，GPT会针对用户最初的需求列出一个清单，然后挨个询问用户。如果用户回答了，就在清单上打勾并继续下一个问题。如果用户输入“c”，就会跳出循环，让GPT自己回答这个问题。具体效果可参考项目宣传视频：

第二个是gen_clarified_code:

到这里，代码就容易了起来，这里先得到了上一个step中获取到的清单及答案。

然后拿到了系统消息，使用setup_sys_prompt函数，代码如下：

为了降低理解难度，我将最终的提示词翻译并整合成中文，如下：

这一步结束后，就会得到所有的代码了，感觉这里很可能会超过token，由于我是用的是32k，如果不是32k版本的GPT4，可能要做一些优化？

再接下来是gen_entrypoint，代码如下：

这里是针对代码编写一些所需的依赖库，以及再编写一个run.sh文件，安装这些依赖。

接着是execute_entrypoint代码：

这一段是运行代码库，比较容易理解，由于系统兼容性可能会运行不起来。

最后是human_review，主要代码如下：

实际用途不大，毕竟程序不是一个循环。到此为止，已经执行结束了。这些人类反馈数据只会存在数据库中。如果后面定义了自己的调试步骤，可能会用到这些数据。

🤗总结归纳

GPT-Engineer的项目思路比较简单。总体来说，在开始正式编写代码之前，重视人类反馈。未完成清单的想法比较有趣并可以借鉴。

此外，项目的厉害之处在于代码库编写得非常漂亮。它把生成代码库这件事情拆解为多个步骤，在多个步骤之间顺序传递顺序。开发者可以比较方便地编写自己的Step并加入到配置中。可扩展的能力非常强，是所有LLM开发者都值得学习的。

然而，项目也有一些不好的地方。比如，这里可能仍然解决不了Debug的问题。当我们已经拥有了很多代码的时候，如何遵循既有的代码库和规则编写代码，是这个项目根本无法解决的问题。这些问题可以作为后续开发者和研究者的方向，并且可以就着这个项目编写Step和DB管理脚本。

致谢：

💡

Written by Gao Yue,edited by Notion AI.

AutoGPT思路以及代码解读

Sat, 29 Apr 2023 00:00:00 GMT

🤔AutoGPT思路以及代码解读

简介

官网链接：

https://github.com/Torantulino/Auto-GPT

官网描述：

Auto-GPT 是一个实验性的开源应用程序，展示了 GPT-4 语言模型的实力。该程序由 GPT-4 驱动，将 LLM 的“思想”链接在一起，以自主实现您设定的任何目标。作为 GPT-4 完全自主运行的首批示例之一，Auto-GPT 打破了 AI 的可能性界限。

如上图，AutoGPT项目的火爆程度随着star的增长速度以指数级上升。

就在笔者开始撰写本文时的8分钟前，项目仍在快速迭代，0.2.0版本刚刚发布。

AutoGPT强在哪儿？和ChatGPT又有何本质的区别？

举个例子，ChatGPT是一个万事通的对话小助手。我们可以让他扮演各种角色，回答各个领域的问题，包括且不限于完成编写代码 👨‍💻、阅读论文、指导AI绘画等工作。

从交互方式的角度来看，ChatGPT是以人为主导，人类描述各种工作并让ChatGPT去工作。工作成果由人来验收，由人来给出工作完成质量的反馈。一次提问往往无法得到一个准确的结果，用户需要反复提问，修正错误，最后才能得到相对较好的答案。

对于AutoGPT而言，交互模式发生了本质的变化。我们设定了一个目标，让它自己去分析完成这项工作需要执行哪些步骤，为什么执行这些步骤，制定计划并自主思考。在最后一个步骤，它会去执行行动，行动的结果再重新输入回大脑，循环往复。AutoGPT正如其名，是一个“全自动”版本的GPT，基于GPT-4或GPT3.5开发，并扩展了自己的能力。就好比是让原来的ChatGPT作为思考的“大脑”，AutoGPT经过二次开发，让它拥有了能执行行动的“手”和“脚”。

下图是笔者在本机运行AutoGPT时执行的一个案例。我为它命名为“James”，让它分析今年NBA总决赛总冠军最有可能是哪支队伍，并将分析过程保存在word文档中。

AutoGPT运行示例

重点看那些有颜色高亮的文字，这些文字能直观地显示出 AutoGPT 的运行流程。

James Thoughts：名为“James”的助手对当前目标进行思考的过程，思考的结果是为了制定工作计划。

Reasoning：给出工作计划合理性的理由，比如这里，AutoGPT 输出的内容是其针对“预测 NBA 总冠军”这一目标，要进行数据分析的理由。

Plan：要执行哪些计划？AutoGPT 会列出一些步骤。

Criticism：给出了一些执行工作计划的注意事项。

Next Action：经过一系列的思考，下一步要执行怎样的行动。给出一个“Command”和对应的参数“Arguments”。

AutoGPT完成了一项从思考→行动→反馈→思考的自主循环。

依据笔者个人的理解，AutoGPT最主要的贡献是对AI未来形态进行了建模。正如上文所述，未来的人工智能不仅仅是对话，它不仅有大脑，而且还有手和脚。

这让我想起最近同样很火爆的斯坦福和谷歌的一项研究，他们制作了一个沙盒环境，其中有25个角色，每个角色都有不同的性格和身份，他们会随着时间的推移自主进行交流和举办派对。更加精妙的是，作为沙盒的旁观者，我们可以对沙盒环境进行交互，沙盒中的人工智能会做出相应的反应。

例如，我们点燃厨房里的灶台，房子里的AI就会停下手头的工作，去救火。

再例如，研究者将沙盒的时间设置为2月13日，即情人节前一天，25个代理会自己拉帮结派、筹划派对。

我们可以看看斯坦福和谷歌的研究人员对沙盒中AI的建模，Preceive、Plan、Reflect、Act等模块是不是很熟悉？

类似的研究还有浙江大学和微软联合发出的论文，文中提出了一种HuggingGPT的概念，让LLM进行任务规划、选择最适合处理任务的AI模型、执行任务、最后整合并将结果生成。

GPT3.5和GPT4是如何做到这些的？

研究者称，随着语言模型参数量的增长，它们“涌现”出了一系列原本在小型语言模型中不存在的能力，比如逻辑思考的能力；加强了基于用户提供的情境进行上下文学习的能力，被称为“In-Context Learning”。

这些也正是在ChatGPT推出后，迅速席卷网络的一些重要原因。GPT可以出乎意料地理解我们想让其执行的任务，我们有时候就会发现，即使我们不去网络上寻找各种提示词的“宝典”，只是随意地对其进行对话和指定任务，它就能理解我们的意图并执行对应的行动。

在以前的语言模型应用范式中，我们可能要针对不同的下游任务对模型进行微调，甚至使用不同的模型。比如写代码有写代码的语言模型、聊天机器人有聊天机器人的语言模型、做数学题可能又要用另一套语言模型。每当我们遇到一个全新的下游任务，如果发现模型执行的结果并不好，就得花费大量的时间、金钱去微调模型。

而如今，有了以GPT3.5和GPT-4为首的超大语言模型，我们可以用它们解决大量的下游任务，只需为其提供一个情境、控制其对输出和输出的处理即可。

说白了，普通人理论上也可以通过一些提示词，使用语言模型完成自己想让它执行的任务。如果觉得效果不好，那就再增加一些提示词，大型语言模型支持用户输出很长的提示词，尽可能具体地描述一些任务。

在各种平台上，我们都可以看到相关的视频和文章。

通过观察现象来认识本质。作为一个普通人和与自然语言处理无关的外行（本文作者本身就是这样的），我们可以忽略繁琐的微调模型技术，利用所谓的“In-Context Learning”、“Chain of Thought”、“Prompt Tuning”技术，让大型语言模型为我们所用（这个美好愿景几乎已经实现）。这些技术和微调范式都是基于不调整模型本身的，因此只要我们了解它们背后的提示词如何编写，就能达到相应的效果。

总之，随着人工智能的发展，成为一个合格的提示词工程师（Prompt Engineer）已经成为一个必备的技能。

AutoGPT的提示词

正如上文所述，各种技术和范式都可以追溯到提示词。对于如今大型语言模型的应用方面，提示词的编写是重中之重。本文将从AutoGPT的源代码入手，找到突破口，使读者能够理解其中的原理并在本地部署。有能力的读者可以尝试复现。

首先，在Prompt.py中找到以下代码：

其中最引人注目的代码就是这段了

从Prompt文件中可以看到，尝试使用名为"prompt_generator"的工具，将一系列命令传递给它。这些命令似乎是AutoGPT执行部分的函数和参数。我们可以看到谷歌搜索、列出Agent、读写文件、执行Python代码、生成图片等各种命令。这些就是AutoGPT的“手”和“脚”，它们的能力可以通过这一部分进行扩展。

接下来我们来看看PromptGenerator是如何编写的：

看以下代码：

在这里，AutoGPT规定了从GPT-4模型返回的语言的格式。这也就是为什么在一开始的图片中，Prompt能够如此清晰地思考、指定计划、执行行动并作为反馈进入下一个循环。

到了这里，应该大部分读者已经猜到了：AutoGPT理解了当前所能使用的工具和采取的手段（上网、执行Python等），当我们给它提供一个目标时，已经制定好了让它以特定的格式返回。GPT-4需要根据这个格式返回它的思考、理由、计划、反思，并给出要执行的指令，并填上对应的参数，从而在控制台中运行该指令并填写对应的参数。

AutoGPT的一些技术细节

在上一小节中，我们已经介绍了AutoGPT的核心部分如何编写，感兴趣的人甚至可以自己扩展一些命令进行二次开发。

在这一章节中，笔者尝试列出实现AutoGPT时使用的其他一些技术。以下是一些作者了解的技术的介绍。

在与GPT-4进行通信时，都发送了哪些内容？

在main.py中，可以看到如下内容：

在chat_with_ai函数中，我们发送给AI的内容包括提示词、用户输入、完整的信息历史和记忆等。其中，提示词规定了返回格式和可执行的命令。用户输入和信息历史是常规的将它们发送给大型模型。在这里，我们主要讨论如何使用memory。

memory

由于 GPT-3.5 和 GPT-4 对文字的处理并不是无限的，我们不能发送无限长的信息。在网页端进行聊天还是小事。在AutoGPT中，AI执行了很多行动，这些行动产生的 "后果" 都需要记录。例如使用谷歌搜索返回的信息、运行 Python 代码返回的信息以及一些报错等。这些内容全部一股脑发回给GPT模型几乎是不可能的，因此我们采取的方法是将其存储在 "记忆" 中。使用了矢量数据库的技术，将信息以数字的形式存储下来。

本地存储的memory

Vector Database

当 GPT 准备执行下一轮命令时，它需要从“记忆库”中检索与当前计划和要执行的操作相关的部分，并将其发送。

检索过程=找到最小角度对应的词向量

从 memory 文件夹中可以看出，除了支持本地存储记忆之外，AutoGPT 还应该支持一些云端矢量数据库，这样可以更节省本机内存，但这些数据库并不便宜。

memory模块

在知乎的一篇文章中，很好地总结了GPT如何使用工具以及如何进行记忆的”召回“：

ChatGPT 的 4000 个 token 上下文不够用怎么办？

经过短暂的兴奋之后，你意识到只有 4000 个 token 的上下文似乎不能完成你想完成的工作。然后又经过 GPT-4 发布后的短暂兴奋，你意识到有 32000 个 token 似乎够了。但是你真的打算把你的整个代码仓库用 32000 …

https://zhuanlan.zhihu.com/p/616860260

一些问题

在网页读取过程中，遇到反爬程序侦测

人类反馈的作用并不大

如果用GPT-4来跑，想要执行一个简单的任务就要花费15-30美元，消耗token量非常大

总结

总结下来，AutoGPT主要做了以下几件事：

构建了一套GPT自主思考、指定计划、执行行动的循环模型

以GPT-3.5/GPT-4为”大脑“，通过Prompt使”GPT“能使用工具作为”手脚“

将海量行动产生的数据作为记忆库，在必要时”召回“并用于解决下一轮的问题

可以参考以下图片，帮助理解AutoGPT的原理：

2023.4.29更新

截至今日，AutoGPT已经发布了0.2.2版本，添加了插件功能，这与笔者之前的预期相同。AutoGPT提供了一种创新的思路，未来还会有更多的功能被添加进去，成为其行动的工具。

当然，更新此文的另一个主要目的是告别。原因主要是AutoGPT当前确实无法成为真正的生产力工具，而更像一个精致有趣的玩具。笔者需要把更多精力放在学习更加切实可用的工程上。况且最大的LLM开源库LangChain中已经有对应的实现，AutoGPT项目本身的学习价值也在慢慢贬值。

📑

大型语言模型仍在等待一个SD时刻，如果每个人都能够在自己的计算机上部署，以非常低廉的价格用于二次开发，那么就会变得非常方便。此外，开放易操作权重和微调对于执行一些特殊的下游任务也非常重要。

💡

Written by Aryue，editted by Notion AI.

MiniGPT4效果展示

Sun, 30 Apr 2023 00:00:00 GMT

🤔 一个简单的开头

最近看到 MiniGPT被炒得很火，于是在实验室尝试部署。在 GitHub 上找到了一个能够直接部署在 Colab 上运行的版本，并且在实验室的4090Ti设备上部署了一个本地版本。

下面直接放一些使用时的图片。

📝案例

🤗总结归纳

笔者提供的图片还是比较有挑战性的，大部分都是我在百度搜图和谷歌搜图上以“梗图”关键词筛选出来的。虽然整体上效果不好，但是有一些图片 MiniGPT4 做得不错，比如猫在玻璃杯里的图片，MiniGPT4 能识别出猫目前的状态，甚至还能根据情境作诗。

笔者猜测，猫的这张图片含义比较明确，各个物体都是分离的，因此识别效果较好；相对地，企鹅哈士奇的图片中的物体是一种四不像的物体，识别效果就不太好。可以大胆猜测，MiniGPT 对于物体以离散形式呈现的图片，识别能力应该都是不错的。一些网友提供了一盘菜的图片，它能大概认出是什么菜品，并能给出食谱，就能印证这个猜想。

从 MiniGPT 预测 GPT4 出来之后的能力，如果说 GPT4 的语言能力已经达到了高中生水准，那么其图片识别能力应该还在小学生或者初中生。在生产力提升方面，效果和文字处理肯定差一大截。理想的应用模式应该还是以文字为主，图片所占的比重应该较低，或者我们预先提供一些关于图片的解释，将图片含义表达不清晰的部分作以解释，含义清楚的部分可以让 GPT 的识图模块去完成。

即便 GPT4 能加入图片识别功能，扩展出的应用范围应该不会特别大。或许OpenAI 官方演示的从图片到 html 代码已经达到其能力的上限，毕竟内容生成的质量永远是最重要的，图片识别对应加强了任务的识别，而任务识别可以通过人的引导一步步调优。

期待届时网友们的玩法能打脸笔者，笔者也很期待多模态 AI 对生产效率的提升。

💡

Written by Aryue，editted by Notion AI.

当一个月提示词工程师是什么体验？

Thu, 22 Jun 2023 00:00:00 GMT

本文章系原创，如有雷同，纯属巧合。

🤔 ChatGPT为我带来的机遇

在OpenAI推出ChatGPT后，一直不温不火的GPT3.5模型迎来了大爆发。网页和app上到处都能看见网友们花式使用GPT的文章和视频。作为一个路人，可能大多看个热闹，主动研究用AI提高生产力的机会并不多。但随着这股浪潮的发展，传统的个人生产方式终将被慢慢改变。

同时，有很多人正在密切关注这股潮流，并思考这波AI变革能否成为普通人逆袭的机会。在各种公众号上，都能看到铺天盖地的广告和课程，最典型的就是“知识星球”，号称会分享很多ChatGPT变现的秘籍。但是我不得不在这里泼一盆冷水，普通人要通过一些课程和知识星球学到一些知识确实是可以的，但能获得赚钱机会的几率并不大，反而成了这些利用ChatGPT的流量赚钱的人的韭菜，帮助他们成为了第一波吃到ChatGPT红利的人。试想，开设课程和维护社区其实需要花费大量的时间和精力，如果还有那么多可以生财的机会，何不把这些精力用到上面？把赚钱的机会留给素昧平生的人，不符合常理也更不符合人性的本质（最好我是以小人之心度君子之腹）。

引用知乎用户”李查德“的一张图，希望能抛砖引玉。

当然，ChatGPT的出现确实是个机会。只不过任何时代的机会，都需要靠自己把握。举个身边的例子，作为游戏设计相关专业的学生和从业者，亲眼见证了在游戏行业寒冬之后，反而出现了大量的游戏教育课程和游戏教育培训班。在如今这个时代，已经错过了加入游戏行业的最佳时期，行业内卷和末位淘汰以至于整个部门被砍掉的事情屡见不鲜，这些东西是培训教育机构绝口不提的。

如果想要抓住ChatGPT的机会，就必须自己去寻找大量的资料和新闻，甚至阅读大量的论文，为自己补充营养。AI会颠覆所有的软件生态，会彻底改变人类的生产力，这点是毋庸置疑的。

在年初时，面临毕设开题，我把题目临时换成了《基于大语言模型的游戏原型制作方法研究》。虽然时间很紧，并且面临许多风险，但我还是坚持这个选题，因为我觉得这是一次机会，不仅可以逼迫自己深入地进入到该领域一些前沿的研究中补充营养，而且还能为之后的就业增加更多的可能性。在答辩现场，不出所料，参与答辩的老师们针锋相对地对该选题进行了激烈的探讨和批判。有老师认为，大语言模型不过是提示词的秘笈宝典，可能上升不到科研高度。也有老师认为，我作为一个普通人做这些东西，可能会被行业的巨轮碾过，做出来的东西在毕业答辩之前的某一天被吊打，导致没法毕业。还有一些老师不懂装懂，提出了一些八竿子打不着的问题，毕竟每个人都不能表现出对如此热门的话题没有自己的学术思考，可以理解。

这些激烈的争论和百家争鸣的态度恰恰说明，这是一个非常新的领域，起码对于一个普通211的研究生队伍是非常新的。也许过了一年两年后，老师们的态度才能得到统一。做很新的东西让我拥有了很大的热情，因为做一些传统保守的热门选题，最终也有风险延毕。

后来反转来了，春招期间，我投了北京某游戏大厂的TD岗位，在面试过程中，他们在了解了我的选题之后，发现和他们的用人需求正好一致，因此所有的面试流程都很顺利。

📝在公司做一个月提示工程师的体验

进入公司后，才知道语言模型已经被多个小组开始用于各种行业生产流程中，比如AI编写着色器，以及AI驱动的侦探游戏等。我被分派的方向是使用语言模型编写游戏开发代码，以提高生产效率。

每天的工作流程如下：写提示词-提需求-查看代码-运行查看效果-修改提示词，循环往复。在第一周，大大降低了生成错误代码的几率，同时也发现了一个问题。这样的工作其实就是提示词的编写，跟提示工程师以及科研八竿子打不着。

在第二三周，我做了一个方案，主题是如何将提示词的编写提升为提示工程。大体概念就是如何将提示词编写的过程提升为一个模拟现实中的程序员编程的过程，可以自由编辑程序流的各个位置，并以文件的形式读取、写入以及保存，并使用一些工具实现了一个demo。

当天来了很多部门的大佬，本来作为一个实习生可能很少有机会和这些大忙人对上话，不过当天恰巧遇到了这个机会。分享了自己的方案，也获取到了别的小组的产品中使用AI的方案。

在之后的工作中，我开始就着这个方案，打造自己的一套AI编写代码的工具流，并涌现出了更多想法。

🤗提示词vs提示工程师vs科研

在这里提出我自己的一些看法，来区分三者的区别。

提示词的编写，在未来可能更多面向用户端，每一位AI产品的用户都需要掌握这项能力，即如何将自己要做的工作表达出来，并被AI理解。

而提示工程的作用在于，让提示词的编写这件事被一个盒子包裹起来，让用户的提示词编写更加简单，用户看到的只是一个入口，出来的是一个结果。在网页端使用过ChatGPT的读者应该都知道，我们大多需要很多轮对话，才能完成一项任务。而提示工程师的工作就是，深谙用户的需求，以及用户都会如何提问，通过工程的形式将AI处理的工程隐藏在黑盒子中，用户只要能看到最终任务完成后的结果即可，从而提高用户使用体验。比如Notion AI，Notion是一款笔记软件，因此大部分时间用户都在和文字打交道，所以Notion AI的提示工程师们需要熟悉文字工作者都有哪些常见的需求。如下图，Notion AI的团队做了一些模板，都是一些常用的功能，比如润色、查看错别字、翻译、总结等。这些功能已经成为我工作中不可或缺的一部分，尤其是最近也在做一个中英双语的课程，使用Notion能够很快地在一个页面中完成所有润色、修改、翻译的工作。

当然，我同时也相信这种交互方式一定是AI还不够智能的一种无奈之举，未来的AI一定会更加明白用户想要什么，而不是靠提示工程师去包装。

以上的案例可能都只能完成一个简单的工作，但如果你看过一些行业最先进的提示工程，比如AI驱动的虚拟小镇、AI游玩我的世界并成功完成了所有任务，就会明白原来最厉害的提示工程师们会这样使用AI。他们不单单是在试图使用AI，还是在探索下一代人工智能的可能性。

而提示工程相关的科研应该是什么样的呢？科研界一直倡导，学术科研应该与工程分清界限，但也不能脱离工程，虚无缥缈。离提示工程最近的科研，就是以更好的方法实践提示工程，提供一套方法论，最好是有独创的理论框架和模型。这一点只能作为终极目标，因为如今的工科学术论文并没有太多独创的东西，如果说组合别人的模型和框架，专注于别人研究中的瑕疵一顿猛改也算是科研创新的话，那也姑且能算得上是独创。

🤗结语

如果普通人想抓住这次机遇，首先要明确一点，任何机会都不是唾手可得的，因为你能想到的别人也能想到。最好的方法是不断学习，上手使用这些工具。如果有一定的编程能力，可以尝试提示如何搭建工程，并选择一个垂直领域，深入研究该领域当前的需求，并尝试用提示工程的形式解决。必要时，可以阅读一些论文补充营养，尝试复现一些最前沿的提示工程玩法，这是没有坏处的。

💡

Written by Aryue，editted by Notion AI.