作者：Doug Clinton. 编译：Cointime.com QDD

ChatGPT的工作原理

要进行明智的投资，投资者应该了解一家公司的产品是如何工作的，即使它是一种像人工智能这样的技术产品。鉴于人工智能引发了投资者的狂热兴趣，我们都应该确保我们对我们所投资的基础知识有一定的了解。

以下是推动人工智能繁荣的大型语言模型（LLM）如ChatGPT的基础知识。

什么是LLM？

大型语言模型是一种神经网络，它通过一些提示来推测序列中接下来应该出现的单词。

正如我们之前详细介绍的那样，LLM不像人类那样“理解”文本的含义。相反，LLM通过学习大量数据的统计解释来理解文本。当LLM回答用户的问题时，它会根据问题和已有答案序列来猜测下一个合理的单词和单词序列。

我们在LLM定义中有几个与人工智能相关的术语：神经网络、训练、推理和提示。我将以简单的方式解释每个术语。

神经网络

神经网络是一种用于识别模式的计算机算法。神经网络由许多相互连接的节点组成，就像人脑中的神经元一样，这些节点具有不同的权重和偏差，确定模型的输出。神经网络中的权重和偏差被称为参数。

LLM通常根据模型中的参数数量来确定大小。参数越多，模型越复杂。据报道，OpenAI的GPT-4拥有1万亿个参数，而GPT-3只有1700亿个参数。谷歌的PaLM2是在3400亿个参数上进行训练的。

语言AI似乎比视觉AI更为先进的原因之一是模型的规模。最大的视觉变换器模型是谷歌最近推出的ViT-22B，它有220亿个参数，是GPT-4参数数量的五十分之一。截至2022年末，特斯拉的自动驾驶神经网络拥有10亿个参数。视觉与语言是不同的功能，可能不需要像GPT那样多的参数来取得突破，但在视觉领域增加更多的参数似乎是可以得到更好的机器人的合乎逻辑的想法。

山姆·阿特曼认为，LLM中参数的数量将继续增长，但参数作为模型功能度量的用途越来越不那么有用。人类喜欢量化。我猜测，只要我们有多个模型可供选择，我们就会始终有一些功能度量来比较LLM。如果我们达到了AGI（人工通用智能），度量可能就不再重要了。

训练

训练是教会LLM如何根据用户的查询进行回答的过程，即建立神经网络中的权重。大多数现今的LLM训练分为两个核心部分。首先进行预训练，这意味着向模型提供大量的文本数据，以形成对语言模式的基本理解。预训练数据集通常包含数万亿个单词。预训练后，模型可以生成一些输出，但这些输出是粗糙且机器化的，不够流畅或具有对话性。优化发生在第二个步骤中，通过一种监督学习过程调整网络中的权重，以改善模型的响应能力。现代LLM最重要的优化过程是通过人类反馈进行增强学习（RLHF）来进行的。在这一步骤中，人类通过对模型的响应进行排名和重写来告诉模型如何改进输出。

训练是昂贵的。GPT-4的训练成本超过1亿美元。训练成本包括计算资源的费用，用于进行许多亿次计算的训练过程，以及人工模型优化的费用，因为无法扩展努力。更多的人类反馈是一个线性函数，需要更多的人工工时。模型获得的人类反馈越多，模型的响应就越接近人类。这就是为什么我对AI心智模型中的数据部分（计算、数据、接口）最不受重视的原因。训练数据的准备最终决定了响应的质量，从而影响最终用户的体验。

推理

推理是指模型基于其训练和一些用户输入进行预测的过程。

训练和推理之间有很多区别，这将有助于定义每个功能周围的投资机会：

提示

到现在为止，提示的定义可能已经显而易见了。提示是用户提交给模型以获取响应的问题或陈述。它是搜索中的AI版本的查询。在训练过程中，提示也用于提供给模型的策划提示，并根据模型的响应提供人类反馈。

很多AI依赖于重用提示来创建各种功能，并增强AI算法的实用性。最近的一个例子是像Auto-GPT或BabyAGI这样的AI代理，它们是基于GPT的工具，根据用户定义的任务（如订购披萨或预订机票）为自己开发提示。这将是未来一篇文章的话题。

将我的AI心智模型应用于公司

我们对LLM的定义——一种基于某个提示来推测序列中接下来应该出现的单词的神经网络——符合我通过计算、数据和推理这三个主要类别来投资于人工智能的心智模型。

数据

我们可以从左到右来考虑这个过程。创建一个AI系统的过程从对某个数据集进行训练开始。因此，每个创建AI算法的公司首先是一个数据公司。根据我的心智模型，你在数据业务中取得成功的方式是通过提高数据的可访问性和可用性，主要通过处理独特的数据来实现。

引人注目的AI创建者致力于收集专有数据集，并通过RLHF对其进行优化，从而创造出在特定领域中比其他模型更好的功能。OpenAI通过所有这些策略成功地创建了数据的独特性。

但并不是所有的AI数据公司都创建算法。有些公司为AI创建者提供产品和服务，这在投资于AI方面仍然是一个巨大的机会。

在许多情况下，AI创建者会从像HuggingFace这样的公司获得开源模型。AI创建者还会外包训练功能的许多部分，尤其是RLHF。像Invisible（Deepwater的投资组合公司）和ScaleAI这样的公司帮助AI创建者进行RLHF。还有一些专门的托管服务公司，如Pinecone，提供为AI应用程序优化的向量数据库。以几个公开的例子来看，PLTR提供企业数据工具以创建安全的LLM和其他AI工具，ESTC和MDB也参与AI数据管理领域。

随着人工智能领域的发展，预计会出现更多的产品和服务，帮助AI创建者提高数据的实用性，以创建更有价值的模型。

计算

计算位于AI创建者和最终用户之间，处理后端的训练和前端的推理。没有计算，模型既不能进行训练，也不能进行推理。这就是为什么大型AI创建公司在基础设施投资方面迅速增加的原因。这些供应商需要建立规模，以应对潜在的快速客户采用。ChatGPT在推出仅仅六个多月后，已经接近10亿月活跃用户，成为增长最快的网站。

显然，英伟达是AI计算繁荣的最大受益者。英伟达提供用于训练和推理的最先进的GPU，其在AI工作负载中的市场份额达到80-90%以上。

许多人都希望挑战英伟达的主导地位，而任何芯片制造商要想在这个挑战中取得成功，唯一的办法可能是实现数量级的成本改进。

作为在GPU领域已经活动几十年的公司，AMD是最明显的英伟达挑战者。上周，AMD宣布了其最新的AI芯片——MI300X。 AMD芯片的一个特点是它支持较大的内存，达到了192GB，而英伟达的H100芯片只有120GB。但这只是一个增量改进，最终英伟达将会达到并超越这一点。对于AMD来说，难的部分将是在与英伟达相同的架构和设计约束下创造出数量级的成本改进。

要真正挑战英伟达，某个芯片制造商需要尝试使用替代架构和设计来实现数量级的成本改进，这足以让AI创建者摆脱与英伟达平台的深度联系。进行内存计算可能是一个潜在的替代方案。

YouTube视频

虽然AMD可能能够在新产品上获得一些小份额，这可能足以使股价在长期内获得回报，但仅仅进行增量改进似乎不太可能在计算领域带来巨大的变化。

接口

接口公司通过分发和规模获得成功。

我们可以将接口公司分为三种类型：

端到端的AI创建者既是数据公司，也是接口公司，他们开发从算法到用户体验的集成解决方案。OpenAI的ChatGPT和DALL-E，Google的Bard，Anthropic的Claude等都属于端到端开发。端到端开发的目标是创造独特的客户体验，并实现尽可能广泛的分发。

轻量级定制的AI创建者依赖第三方算法（商业或开源），他们使用专有数据对其进行定制，以向最终客户提供独特的体验。拥有LexisNexis的RELX公司使用GPT开发其法律AI软件。可汗学院的Khanmigo是基于Khan Academy课程训练的ChatGPT。对于许多具有特定数据集的内容和软件公司来说，轻量级定制的方法是将AI解决方案带给客户的最有效方法。预计将会出现许多基于最受欢迎的基本LLM之一的轻度定制聊天解决方案。

仅前端的公司相对较少，它们依赖于调整开源算法的元素以实现不同的功能，但不为这些算法提供独特的数据。前面提到的Auto-GPT就是一个例子，它将GPT应用于自身以提出问题。

从投资角度来看，端到端空间似乎已经形成。很可能OpenAI、谷歌以及其他几个有用的服务提供商会出现在这个类别中。如果其中一个实现了通用智能，它可能会成为一个赢家通吃的领域。轻量级定制空间可能最有趣，但它更适合扩展现有的业务/客户关系，而不是颠覆它们。看起来，企业和消费者公司争相将LLM纳入产品提供中，这可能会使新兴公司很难颠覆许多现有的数字业务，尽管那些严重依赖内容的公司可能比其他公司面临更大的风险。

你的心智模型

人工智能股票仍然火热（请参见下一节），随着人工智能在我们的日常生活中更加融入，它们在未来几年内将继续保持热度。AI算法可能永远无法像人类那样理解事物，但希望你对这些算法的工作方式有了更好的人类理解，并知道如何在其中进行投资。

AI指数更新

我追踪两个AI指数的表现：AI平均指数（AIAI）和AI硬件指数（AIHI）。这些指数追踪一些相关的上市AI公司，以代表投资者对AI机遇的看法。

过去一周，相对于整个市场，AI的表现有所降温，尽管大部分的表现不佳集中在超大市值公司之外。TSLA、AAPL、CRM、META和NVDA的股价基本持平或上涨。META是AIAI中表现最好的公司，而VRT是AIHI中表现最好的公司。VRT（Vertiv）是一家为数据中心提供冷却解决方案的公司。

也许这是我上周预期的一些均值回归效应。在投资者弄清楚AI在近期和长期内的真正影响之前，波动性将会保持。