成为生成式 AI 开发人员的 4 个步骤 - KDnuggets — 4 Steps to Become a Generative AI Developer - KDnuggets

在 2023 年 10 月的 OpenAI 开发者日上，OpenAI 首席执行官 Sam Altman 展示了三个不同客户群（开发者、企业和普通用户）的产品使用情况幻灯片。

在本文中，我们将重点关注开发人员部分。我们将介绍生成式人工智能开发人员的工作、完成这项工作需要掌握哪些工具以及如何开始。

第 1 步：了解生成式 AI 开发人员的工作
Chatbots 聊天机器人
Semantic search 语义搜索
Personalized content 个性化内容
Natural language interfaces to software 软件的自然语言接口

第 2 步：了解生成式 AI 开发人员使用哪些工具

首先，你需要一个生成式人工智能模型！对于处理文本，这意味着需要一个大的语言模型。 GPT 4.0 是当前性能的黄金标准，但还有许多开源替代品，例如 Llama 2、Falcon 和 Mistral。
其次，您需要一个矢量数据库。 Pinecone 是最流行的商业载体数据库，还有一些开源替代品，例如 Milvus、Weaviate 和 Chroma。

在编程语言方面，社区似乎已经围绕 Python 和 JavaScript 达成共识。

除此之外，使用生成式人工智能应用程序框架也很有帮助。两个主要竞争者是LangChain 和LlamaIndex。 LangChain 是一个更广泛的框架，允许您开发广泛的生成式 AI 应用程序，而 LlamaIndex 更专注于开发语义搜索应用程序。特别是，新模型定期出现，并且适合您的用例的最佳性能可能会发生变化。一种常见的工作流程是开始使用 API（例如，用于 API 的 OpenAI API 和用于矢量数据库的 Pinecone API），因为它们开发速度很快。随着用户群的增长，API 调用的成本可能会变得沉重，因此此时，您可能希望切换到开源工具（Hugging Face 生态系统是一个不错的选择）。

第 3 步：学习一些入门技能

第一步是为您想要使用的任何工具设置帐户。您需要开发者帐户和 API 密钥才能使用这些平台。
A Beginner’s Guide to The OpenAI API: Hands-On Tutorial and Best Practices | DataCamp
Mastering Vector Databases with Pinecone Tutorial: A Comprehensive Guide | DataCamp
Exploring Hugging Face: Your Gateway to AI and NLP Innovation | DataCamp

学习LLMs：要开始以编程方式使用 LLMs（如 GPT），最简单的事情就是学习如何调用 API 来发送提示和接收消息。虽然许多任务可以使用 LLM 来回进行单次交换来实现，但聊天机器人等用例需要长时间对话。 OpenAI 最近宣布将“线程”功能作为其 Assistant API 的一部分，您可以在 OpenAI Assistant API 教程中了解该功能。并非所有 LLM 都支持此功能，因此您可能还需要了解如何手动管理对话的状态。例如，您需要确定对话中的哪些先前消息仍然与当前对话相关。可以尝试与其他媒体合作；例如，转录音频（语音到文本）或从文本生成图像。
学习向量数据库
矢量数据库最简单的用例是语义搜索。在这里，您使用嵌入模型（请参阅使用 OpenAI API 进行文本嵌入简介），将文本（或其他输入）转换为表示其含义的数字向量。然后，将嵌入数据（数值向量）插入向量数据库中。搜索只是意味着编写搜索查询，并询问数据库中的哪些条目与您所要求的内容最接近。

结合LLMs和矢量数据库
您可能会发现直接从矢量数据库返回文本条目是不够的。通常，您希望以更自然地回答查询的方式处理文本。解决这个问题的方法是一种称为检索增强生成 (RAG) 的技术。这意味着，从矢量数据库检索文本后，您可以为 LLM 编写提示，然后将检索到的文本包含在提示中（使用检索到的文本来扩充提示）。然后，您要求 LLM 编写一个人类可读的答案。最后一步是将您的 RAG 技能与管理消息线程的能力结合起来，以进行更长时间的对话。瞧！你有一个聊天机器人！