当AI应用越来越好抄,估值175亿美元的Fireworks靠什么建立护城河?丨CEO深度对话

一、公司宣布完成15.05亿美元融资

据CNBC 11月7日报道，在Meta待了14年的戴夫·韦纳（Dave Wehner）将离开首席战略官一职，出任Fireworks AI的CFO。

他曾是Meta的CFO，新搭档乔琳则曾在Meta带队做AI基础设施。

Fireworks成立才四年。今年7月，公司宣布完成15.05亿美元融资，估值达175亿美元。

它做的是乔琳在Meta就熟悉的事：帮企业用自己的数据定制AI模型，再以可承受的成本把模型稳定跑起来。

在与Canva联合创始人卡梅伦·亚当斯（Cameron Adams）的对话中，乔琳提出了一个判断：有了编程智能体，竞争对手可以很快做出一个功能相似的应用，但很难复制用户在一次次使用中留下的偏好、意图和互动数据。

当应用越来越好抄，企业能不能用这些数据做出更懂自己用户的模型？

这也是理解Fireworks为什么押注定制模型的一个切口。

主持人：我是卡梅伦·亚当斯（Cameron Adams），Canva的联合创始人兼首席产品官。

今天的对话嘉宾是Lin Qiao（乔琳），围绕AI推理，她打造了一家估值40亿美元的公司——Fireworks AI。

这家公司为Cursor、Uber、DoorDash和Shopify等企业提供推理服务和基础设施，帮助它们开发、微调和规模化部署高性能生成式AI应用。

创办Fireworks之前，Lin在Meta参与创建并领导了PyTorch项目，为这个全球广泛使用的机器学习框架的发展发挥了关键作用。

可以说，过去将近10年，她一直在参与打造AI的未来。

1、能不能给不熟悉它的听众介绍一下

Lin，首先，能不能给不熟悉它的听众介绍一下，PyTorch到底是什么？当初开发它，是想解决什么问题？

乔琳：我先澄清一点，PyTorch最初是由FAIR，也就是Facebook人工智能研究团队的一群研究人员创建的。

它最初是一套研究工具，目的是让研究人员在开发新的神经网络时更高效。它的设计非常出色。

也就是在那个时候，我从数据领域转向了AI。我们想做的是，让PyTorch不只是用于研究，也能用于生产环境。

这就涉及一套全新的设计思路。

我组建了一支团队，把这件事真正做成了，让它既能支持Meta内部的工作，也能支持外部的研究和生产应用。

主持人：一个适合做研究的工具，和一个能在生产环境里运行的工具，区别在哪里？

乔琳：区别非常大。研究看重的是创造力，以及把创意快速试出来的能力。生产环境看重的是优化。

这其实是两种很不一样的设计思路。一开始，我们也不确定，这两者到底有没有交集。

能不能把一个方便快速迭代的研究系统，顺利转成高度优化的生产系统？毕竟，我们说的生产环境，规模是非常大的。

从研究系统转到生产系统，这个过程非常折腾，会把所有事情都拖慢。

而且，纯研究和正式上线之间，还有一个中间阶段，叫实验。也就是说，你得把研究中的想法放到接近生产的环境里试一试。

二、这是一个还没有人解决的新挑战

1、这是一个还没有人解决的新挑战

可这个所谓的“接近生产”，其实就是真实的生产环境，只不过拿一小部分线上流量来做A/B测试。

所以，研究、实验和生产之间的界线其实很模糊。我们必须解决它们之间怎么衔接的问题，没有别的路可走。

当时，这是一个还没有人解决的新挑战。我们接下了这个挑战，而今天的结果，就是对我们当时工作的验证。

PyTorch已经成为行业里占主导地位的AI框架，尤其是在生成式AI领域。

大多数模型都是用PyTorch创建、训练，再部署到生产环境里做推理的。

主持人：像GPT或者Claude这样的模型，也是用PyTorch做的吗？

乔琳：我基本可以确定。

说个有意思的事，大概七八年前，是我们推动OpenAI从TensorFlow转向了PyTorch。

那之后，主要的研究实验室都开始全面采用PyTorch。

当时还有很多研究团队会把模型开源给社区，这就成了整个生态的入口。

生产团队拿到这些模型，先测试，再做实验，最后把它们放进产品里。这条路径就这样自然形成了。

我也是在那个时候认识了其他几位联合创始人。我们合作得非常紧密。

2、你开始做PyTorch的时候

有的人和我一起搭建AI基础设施，支持大规模的生产训练和推理；有的人则是我们的用户，使用我们搭建的基础设施。

能在那个时候认识他们，我真的觉得自己特别幸运。

主持人：你开始做PyTorch的时候，大语言模型已经出现了吗？还是后来才发展起来的？

乔琳：时间上有不少重叠，只是当时还没有真正爆发。

ChatGPT引爆关注是在2022年11月，而我们在2022年9月就创办了公司，比ChatGPT发布还早。

当时很多人都在问，为什么现在就要出来创业？是不是太早了？这个时代还没真正到来，你们可能得先解决一大堆数据问题。

不过，我想往回讲一点，我们这段经历其实挺有意思的。我们一共有7位联合创始人，这个创始团队算很大了。

我们加入Meta的时间差不多，当时公司刚完成，或者说快完成“移动优先”的转型。那是一次很大的转型，也非常成功。

用户可以随时随地用手机访问社交网络，产品因此获得了很大的增长。

接着，用户在产品里产生了大量数据，这些数据又成了后来发展AI的基础。

所以，先是移动优先，再是AI优先，这个顺序很重要，因为它也预示了后来整个行业转型的顺序。

我们刚开始做这件事的时候，没有专门的AI团队，没有AI硬件，都是在CPU上跑一些很小的机器学习算法。

三、AI软件也没有形成体系

1、服务FAIR的研究

AI软件也没有形成体系。

PyTorch主要用于研究，还有一些零散的软件，比如移动端的Caffe2、生产端的ONNX，整体非常碎片化。

我们就是从那个状态起步，逐渐引入不同类型的AI硬件，包括Meta自己的AI硬件和GPU，再搭建训练平台、推理平台，把这些东西统一到PyTorch上。

让PyTorch不只是服务FAIR的研究，也能支持生产环境中的训练和推理。

这一路并不轻松，我们经历了大量试错，但对今天的成果，我们很满意。

主持人：照顾一下不太懂技术的听众，你能不能解释一下训练和推理有什么区别？

大家可能多少听说过训练，比如训练GPT或者Claude这样的大模型。而推理，是Fireworks重点做的事情。

乔琳：训练就是让模型学习。我们这里主要说的是神经网络。

神经网络的学习过程，是先做一次前向计算，得到一个损失值，再根据这个损失做反向传播，一路调整权重，然后再做前向计算，再反向传播。

这样来来回回，就是训练的核心过程。它天然就非常依赖数据，因为要从零开始学习大量信息。

而且，训练还分不同阶段，比如预训练、中期训练和后训练，各个阶段会用到不同的算法。

2、它拿到一个很大的数据集

主持人：也就是说，它拿到一个很大的数据集，从里面找出各种联系，通过学习这些联系，获得某种能力，对吧？

乔琳：对。不过在训练之前，你首先得设计一个有很多层的模型架构。学习的过程，就是让这个架构里的权重逐渐确定下来。

权重其实就是一些数值。最后得到的，是模型架构加上一整套权重，然后你把它部署到生产环境里。

接着，你的产品就可以把信息传给模型。

提示词是输入，模型做前向计算，生成预测结果，再把结果返回给产品。这就是推理。

所以，推理只做前向计算，训练则是反复进行前向计算和反向传播。它们需要的系统设计很不一样。

训练可以说复杂得多，但两者也有共通的部分。你可以把训练过程中的一部分理解成推理。

这也是为什么，让训练和推理在同一个平台上运行，并且充分保持一致，会特别重要。

这种一致性会直接影响质量。对不齐，就可能导致质量下降、精度损失。

所以，Fireworks把训练和推理放在同一个平台上，为应用提供支持。这是比较概括的解释。

从算法的发展来看，我们也经历了不同阶段。我觉得最大的变化，就是生成式AI出现前后。

以前没有基础模型这个概念，每个团队都得自己整理数据，从头训练。

四、这是一个巨大的变化

现在有了基础模型，它们从公开互联网、数据标注公司提供的数据，以及大量合成数据里学习，获得通用能力。

大家也经常听到AGI这个词，期待这种通用模型解决各种问题，然后通过一个黑盒API来使用它。这是一个巨大的变化。

企业想用AI，不再需要先组建一支能从零训练模型的大型AI团队。

它们可以直接基于现成的生成式模型开发，也可以组建一支更小的团队，在一个很好的基础模型上，用自己的数据做后训练。

相比从头训练整个模型，后训练容易得多。这一下就大幅释放了AI带来的生产力。

所以，从2023年开始，AI的采用速度进入了指数级增长。尤其是从去年年底开始，我觉得我们跨过了一个拐点。

不管是闭源模型还是开放模型，质量都越过了一道门槛。很多日常需要人力完成的工作，现在都能交给模型自动处理。

这也是为什么，我们看到生成式AI的应用正在迅速增长。

主持人：所以，对世界上大多数不是研究人员的人来说，我们接触AI，主要就是通过推理这一层。

比如使用AI助手，你输入提示词，然后得到结果，这个过程就是推理。

主持人：那你觉得，推理最值得改进的地方是什么？如果推理变得更好了，对我这样一个AI助手或者模型的普通用户，会有什么影响？

1、它给普通用户或者专业用户带来成为门槛

乔琳：我觉得，推理最重要的一点是质量。这才是它最终能给产品开发者带来的最大价值。

一个产品能不能找到市场，取决于它给普通用户或者专业用户带来的体验和价值。

而这又要求它使用的模型具备前沿水平的质量。

怎么获得这种质量？现在有两条路。

一条已经很成熟，就是使用前沿实验室提供的通用大模型，把精力放在上下文工程和提示词工程上，拿到模型输出，再围绕它构建产品。

但过去一年，整个行业发生了一件很有意思的事：软件开发变得越来越普及。

从一个应用的想法，到实现，再到上线并规模化运行，这个过程已经快得不能再快了。

以前可能需要几十名优秀工程师，花上好几个季度。

现在一个工程师，甚至不一定是工程师，只要一个人，花几周，甚至几天，就能做出来。

结果就是，应用本身已经没有多深的护城河。只要有想法，很多人都能做应用，哪怕一行代码也不会写。

而且，应用很容易被复制。

你