Cointime

扫码下载App
iOS & Android

AI 掀起 GPU 短缺潮:区块链如何缓解机器学习瓶颈?

区块链通过允许分布式访问模型,并创建具有加密激励的更便宜模型市场,为访问较低计算成本的 GPU 提供一座桥梁。

原文标题:《The Rise of AI and GPU Shortages: How Blockchain Alleviates Machine Learning Bottlenecks》

撰文:Tommy Eastman

编译:Frank,Foresight News

随着人工智能的发展和对 GPU 需求的增加,机器学习行业面临着 GPU 成本和可访问性的问题,让我们看看区块链技术是如何提供解决方案的。

GPU 产业

在过去的一年里,基于人工智能的应用程序和集成有了巨大的增长。OpenAI 的 ChatGPT 成为有史以来增长最快的应用程序,在发布仅仅两个月后就达到了 1 亿月活跃用户。相比之下,TikTok 花了 9 个月,Instagram 花了 18 个月才达到同样的里程碑。

对人工智能的需求极大地影响了图形处理器(GPU)的价值和可用性。GPU 是为执行并行计算而优化的处理单元,同时处理许多数据,这使得它们对机器学习、视频编辑和游戏应用程序很有用。由于 GPU 在人工智能赛道具有多用途,因此市场对 GPU 的需求有所增加。

GPU 是由少数几家公司开发和分售的,这在制造业供应链的延迟中很明显。自 2017 年牛市以来,它们一直与区块链行业密切相关,2018 年以太坊工作量证明矿工购买了几乎所有可用的 GPU。以太坊区块链已经转向了权益证明,但随着人工智能的爆炸式增长,区块链技术仍然为获得 GPU、训练成本、分布式推理等常见问题提供了有用的解决方案。

机器学习过程和瓶颈

机器学习是一个庞大而迅速发展的行业。模型的训练通常分为几个步骤,每个步骤都有一定的瓶颈。

1. 基础模型训练

基础模型训练包括获取大型数据集(例如维基百科)并训练初始基础模型,以用作通用智能模型或最终进行微调,它使用学习到的模式和关系来预测序列中的下一个项目。

例如,图像生成模型被训练将图像模式与相应的文本关联起来,因此当给定文本输入时,它们根据这些学习到的模式生成图像。类似地,对于文本,模型根据前面的单词和上下文预测文本字符串中的下一个单词。

基础模型的训练在劳动力、基础设施、时间和精力方面是昂贵的,目前的供应链很难获得最先进的 NVIDIA GPU,即使对拥有充裕资金的公司来说也是如此。

例如 OpenAI 的 GPT-3 的迭代训练持续了几个月,仅能源成本就消耗了数百万美元。因此基础模型的训练仍然是一项昂贵得令人望而却步的努力,只有少数私人企业才能做到。

2. 微调

值得注意的是,与基础模型训练相比,更少的资源密集,微调优化了特定任务的模型(例如学习新方言的语言模型)。基础模型在特定任务上的性能可以通过微调大幅提高。

虽然 GPU 稀缺会影响这三个领域,但微调受到的影响最小。然而,微调完全依赖于开源的基础模型。如果私人公司决定停止开源他们的模型,社区模型将以惊人的速度落后于最先进的(SOTA)模型。

3.推理

访问模型代表了该步骤的最后一步——例如从 ChatGPT 接收问题的答案,这是基于稳定扩散的用户提示生成的图像——需要 GPU 资源用于模型查询。推理在计算需求方面正在迅速升级,特别是在 GPU 支出方面。

推理既包括最终用户,也包括将模型合并到其应用程序中的开发人员,这是确保该模式经济可行性的途径。这一概念对于将人工智能系统整合到社会中至关重要,其重要性体现在终端用户积极使用 ChatGPT 等工具的快速采用率上。

GPU 的稀缺性使得推理成本迅速上升。虽然与基础模型训练相比,推理的基准线要求较低,但公司部署应用程序的规模要求查询模型的 GPU 负载惊人。随着 GPU 模型多样性的增加(通过微调和新的基础模型开发),应用程序的多样性将会增加,而来自推理的 GPU 需求将急剧增加。

区链为机器学习瓶颈提供解决方案

在过去,GPU 被用于挖掘以太坊和其他 PoW 代币。现在,区块链被视为一个独特的机会,可以提供访问和增加 GPU 空间瓶颈之间的协调——特别是在机器学习方面。

加密激励

大规模 GPU 部署需要大量的前期资金,这阻碍了除了大型公司之外的所有公司在这一领域的发展进程。区块链激励为 GPU 所有者创造了从备用计算中获利的潜力,为用户创造了一个更便宜、更容易进入的市场。

分布式访问

任何人都可以提供 / 使用计算、托管模型和查询模型——这与需要处于测试版或在传统空间中具有有限的访问权限有明显的不同。

区块链可以为机器学习空间提供的一个重要特性是分布式访问。传统上机器学习需要大型数据中心,因为 FMT 还没有在非集群 GPU 上大规模完成,而分布式协议正试图解决这个问题,如果成功,将打开 FMT 的闸门。

市场协调

区块链市场帮助协调 GPU 采购,允许拥有 GPU 的个人和公司找到想要租用它们的人,而不是让它们闲置,在 GPU 闲置的时候产生收入可以帮助抵消购买 GPU 的前期成本,允许更多的实体参与 GPU 托管。

Foundry 对负责任 AI 的承诺

区块链机器学习领域是一个刚刚起步的行业,在主网上只有很少的项目。目前 Foundry 正在支持 Bittensor AI 项目以及 Akash,这被证明是推进分布式 AI 的一种有意义的方式。

Bittensor

Bittensor 是一个去中心化的、无需许可的计算网络,可以更容易地访问模型,并通过加密激励创建一个更便宜的模型市场,任何人都可以托管模型,并且用户提示与给定模态的排名最高的模型相匹配。

Bittensor 已经发展成为加密领域最大的人工智能项目之一,利用区块链创建了一个大规模的计算推理网络,该网络最近发布了激励不同模式的子网,包括图像生成、预测市场等。

Foundry 在网络上进行验证和挖掘,并运行权威证明节点以确保共识。

Akash

Akash 是一个通用的计算市场,它允许更容易地大规模访问 GPU,训练更多的基础模型,并降低 GPU 的成本。

Akash 最近推出了他们的 GPU 市场,其目标与减少入门资金门槛、降低 GPU 计算成本和增加可访问性类似,基础模型培训计划在 Akash 发展。Foundry 正在为网络提供 GPU 计算,并与团队合作开发功能。

接下来是什么?

随着机器学习继续融入企业,对 GPU 的需求将继续飙升,这在机器学习领域引发了持续的供应链问题,区块链技术通过允许分布式访问模型并创建具有加密激励的更便宜的模型市场,为访问较低计算成本的 GPU 提供了一座桥梁。

评论

所有评论

推荐阅读

  • Paxos发布PAXG三月透明度报告:储备黄金降至183,846.905金衡盎司

    Paxos官方发布三月Pax Gold(PAXG)透明度报告,其中披露截至美东时间3月29日下午5点的PAXG未审计财务数据,主要包括:已发行PAXG数量降至183,846.856枚,储备黄金减少到183,846.905金衡盎司。PAXG供应量没有超过可赎回的资产余额。

  • TON基金会:已开启Open League第二赛季

    TON 基金会在 Telegram 官方频道宣布在 5 月 2 日开启 Open League 第二赛季。第二赛季的参赛项目为:KINGY、PUNK、STON、DFC、RAFF、FNZ、JETTON、GRAM,以及新加入的 JVT、ANON、WEB3、REDO、BTC25。所有参赛者可获最高 25K Toncoin LP 奖励。 第二赛季的规则更新包括:赛季缩短至 2 周;排行榜简化为应用程序、代币主要和次要联赛。

  • 某地址五小时前从Maker多签地址处收到750枚MKR随后全部充值进币安

    据链上数据分析师@ai_9684xtpa监测,地址0x1cC...A5825五小时前从Maker多签地址处收到750枚MKR(价值208万美元),随后全部充值进币安。该Maker多签地址曾在03.17-04.21期间通过Wintermute以均价3280美元出售9043枚MKR,总价值2966万美元。

  • FTX前高管Ryan Salame同意放弃价值590万美元的巴哈马房产作为赔偿金

    5月3日消息,FTX Digital Markets 前联合首席执行官 Ryan Salame 同意转让自己位于巴哈马的数百万美元财产,作为其在一起刑事案件中认罪协议的一部分。 根据 FTX Trading Ltd 及其关联债务人于 5 月 1 日向美国特拉华州破产法院提交的一份动议,Salame 已同意放弃他在巴哈马价值 590 万美元的房产。 Salame 于 2023 年 9 月对刑事指控认罪,该认罪协议要求其向债务人支付 560 万美元的赔偿金。Salame 提议将自己拥有的一处住宅转让给 FTX Digital Markets Ltd.,而不是支付现金,以满足赔偿要求。 此前消息,FTX 前高管 Ryan Salame 在承认刑事指控后将于 5 月 28 日在纽约法庭被判刑。据悉 Ryan Salame 于 9 月承认共谋非法政治献金以及共谋经营无证汇款业务的罪名。

  • Bitwise BITB持仓市值跌破20亿美元关口

    Bitwise官方数据显示,截至当地时间5月2日,其现货比特币交易所交易基金BITB持有32,919.95枚BTC,较前一交易日未发生变化;但随着比特币价格下跌,其持仓市值已跌破20亿美元关口,当前触及1,948,327,880.49美元。此外,当前BITB流通份额为60,390,000份,较前一日也未发生变化。

  • 香港交易所公布虚拟资产ETF证券庄家信息,包括巴克莱亚洲、招商证券(香港)等

    香港交易所在发布的嘉实、华夏、博时HashKey三家虚拟资产ETF交易安排最新通告中披露了证券券庄家信息,其中显示: 1、嘉实比特币现货ETF及嘉实以太币现货ETF的证券庄家包括ABN AMRO Clearing Hong Kong Limited、巴克莱亚洲有限公司、招商证券(香港)有限公司、中信里昂证券有限公司、Eclipse Options (HK) Limited 、以及Optiver Trading Hong Kong Limited; 2、华夏比特币ETF 及华夏以太币ETF 的证券庄家包括ABN AMRO Clearing Hong Kong Limited、巴克莱亚洲有限公司、中信里昂证券有限公司、Eclipse Options (HK) Limited、VivCourt Trading HK Limited、以及Optiver Trading Hong Kong Limited; 3、博时HashKey比特币ETF 及博时HashKey以太币ETF的证券庄家包括巴克莱亚洲有限公司(特许证券商:Jane Street Asia Trading Limited)、Eclipse Options (HK) Limited、VivCourt Trading HK Limited(特许证券商:Vivienne Court Trading Pty. Ltd.)、以及Optiver Trading Hong Kong Limited。 按照香港交易所在相关通告中称,有关交易所參与者已获发证券庄家许可证,于同日开始生效,为交易所买卖基金提供庄家活动,有关证券庄家必须遵守证券庄家责任 及交易所规则的证券庄家规例。

  • Dogechain将于6月1日之前关闭其钱包服务

    第2层扩展解决方案Dogechain宣布将于下个月关闭其钱包服务。Dogecoin的开发者之一Mishaboar社交媒体平台X上表示,确保在6月1日关闭之前将DOGE从Dogechain钱包中移出,并保留钱包私钥的副本。

  • DefiLlama创始人:The Block有关“friend.tech将于5月5日空投代币”报道系假消息

    DefiLlama创始人0xngmi在X平台发文表示,The Block似乎被friend.tech官方发布帖子下的诈骗回复所误导,将其当作事实报道。 此前消息,The Block报道称,friend.tech计划在周日向数千名用户空投价值500万美元的FRIEND代币,这比原计划晚了几天。这些代币将于5月5日分发至6000个钱包。

  • 稳定币法案热度又起,如果通过将对行业带来哪些变化?

    1. 稳定币法案可能在短期内获得批准,由众议员帕特里克·麦克亨利和马克辛·沃特斯提出。 2. 法案的主要内容包括:美联储负责非银行稳定币监督,禁止在没有法币支持下创造新稳定币,允许政府制定互操作性标准,指示美联储研究数字美元。 3. 稳定币法案的批准将对区块链行业产生重大影响,可能导致行业分裂为合规交易所和灰色地带交易所。 4. 法案将要求稳定币按照美国政府制定的互操作性标准执行,海外企业也需要在美国备案注册接受监管。 5. 法案的实施将使整个区块链行业,从底层区块到交易对,都受到美国的制约和长臂管辖。

  • 马斯克的人工智能公司xAI或融资30亿美元

    知情人士称,与马斯克关系密切的投资者正洽谈帮助其AI初创公司xAI融资30亿美元,本轮融资将使该公司估值达到180亿美元。据悉,考虑投资此轮融资的支持者包括风险投资公司Gigafund和美国风投家Steve Jurvetson。xAI的融资条款尚未最终确定,计划可能会发生变化。