还原招股书中的AI生意经

作者:jcmp      发布时间:2021-05-10      浏览量:0
今年五月,机器之心曾撰文预见中国AI公司

今年五月,机器之心曾撰文预见中国AI公司首批上市潮,年底收关之际,终于陆续听见另只靴子的落地声。已经披露的招股书显示,拟上市AI公司毛利率低于成熟软件和传统SaaS企业。吃掉利润的「祸首」除了持续研发投资,还有庞大数据成本。

在硅谷顶级风投a16z投资人马丁·卡萨多 ( Martin Casado)和马特·伯恩斯坦( Matt Bornstein)看来,这反映出AI公司的独特之处——软件+服务,有时候看起来更像是传统服务型公司。作者深入分析了存在长尾数据分布时,会给 AI公司带来怎样的经济挑战,也分享了一些应对策略,帮助ML团队构建性能更高的应用程序和利润更高的AI业务。

编译 | 机器之能

许多AI公司(和投资者)都在押注人工智能。在他们看来,人工智能不仅仅是一种技术,在业务层面也会类似于传统软件。然而,根据我们与AI公司合作经验来看,是否如上所愿,还不太确定。

虽然我们坚信,AI能够推动业务转型,否则我们不会投入真金白银在应用型AI公司和AI基础设施上,但是,我们也注意到在很多情况下,与传统软件相比,人工智能公司的经济结构有着本质不同,有时甚至看起来更像传统的服务型公司。

许多AI公司具有以下特征:由于大量使用云基础架构和不间断的人工支持,导致公司毛利率下降;由于棘手的边缘案例问题给扩展性带来挑战;由于AI模型的商品化以及数据网络效应带来的挑战,护城河的可防御性变弱。

我们也在AI公司财务数据找到了一致性:公司的毛利率通常在50-60%的范围之内——远低于SaaS型业务60-80%以上的基准。这种效率低下的表现,早期阶段或许会被私人资本短时间掩盖,特别是在一些投资者更重视推动增长而不是盈利情况下。但是,长期产品或投放市场(GTM)的优化能不能彻底解决这个问题,还不确定。

过去,与本地软件相比,SaaS 引入了一种新颖的经济模式。现在,我们相信AI也正在创造一种类似性质上全新业务。

软件 + 服务 = AI?

另一种极端情况是服务业。每个新项目都需要专门的人,而且只能卖一次。不仅没有滚滚而来的收入,而且毛利率也不高(30%至50%),增长能规模化就算谢天谢地了。护城河就更薄弱了。

通常,大多数AI应用看起来感觉都跟普通软件很像,比如,依靠常规代码去执行任务,跟用户交互、管理数据等。但差别在于,其核心却是一组经过训练的数据模型,这些模型会解释图像、转录语音、生成自然语言并执行其他的复杂任务。

有时候,维护它们更像是在做服务,需要大量的定制化工作和成本。它会以多种重要的方式影响AI业务,比如,毛利率、可扩性以及护城河。 而这种服务加软件的要素结合,可能代表一种全新的商业类型。

谁吃掉了毛利?成本!

首先,云基础设施是一笔巨大的成本,有时候甚至是隐藏,不那么显而易见。

本地预置型软件的旧时代,交付产品意味着,交付刻录和物理介质——无论是在服务器端还是在桌面运行,软件的成本均由买方承担。在SaaS 语境下,这一成本已被推回给供应商。大多数软件公司每个月都要支付大笔的AWS或Azure账单——软件的要求越高,账单的数额就越大。

事实证明,人工智能的要求相当高:

1、训练一个AI模型可能要花费数十万美元(或更多)的计算资源。尽管将其视为一次性成本很诱人,但重新训练已被视为一项不断持续的成本,因为提供给AI模型的数据会随着时间而变化(这种现象称为「数据漂移」)。

2、与运行传统软件相比,模型推断(在建模过程中生成预测的过程)在计算上也更加复杂。同时,跟从数据库中读取数据相比,执行一连串的矩阵乘法也需要更多的数学运算。

3、与传统软件相比,人工智能应用更有可能对图像、音频或视频等富媒体进行处理。这些类型的数据消耗的资源比一般的数据更耗存储资源,处理成本高,并且经常会遇到感兴趣区域的问题——可能需要应用来处理大文件才能找到相关的小片段。

有AI公司告诉我们,跟传统方法相比,云计算操作可能更复杂,成本更高,尤其是因为没有好的工具可以在全球范围内扩充AI模型。其结果是,一些AI公司必须定期跨云去转移训练好的模型——这一出一入要消耗大量成本才能改善可靠性、延迟和满足合规性。这些东西加到一起往往要占到AI公司在云资源上面的花销的25%或更多。在极端情况下,处理特别复杂任务的初创企业会发现人工处理数据反而要比跑训练过的模型便宜。

采用专用AI处理器可以提供部分帮助,这些AI处理器可以更有效地执行计算,而优化技术(例如模型压缩和交叉编译)可以减少所需的计算量。但是我们还不清楚这条效率曲线的形状。在许多问题领域上,处理和数据需要指数性增长才能取得精度的渐进性改善。就像我们之前指出过那样,这意味着模型复杂性的增长速度惊人,而处理器想要跟上已经不大可能。光有摩尔定律已经不够。(举个例子,自2012年以来,训练最先进的AI模型所需的计算资源增长了300000倍,而NVIDIA GPU的晶体管数量仅增长了约4倍!)分布式计算是解决此问题的一个比较吸引人的办法,但这主要是解决处理速度的问题,解决不了成本问题。

其次,很多AI应用都要靠「人在回路」(humans in the loop)才能保持较高的精度。两种形均会导致毛利率下降。

1、训练当今大多数最先进的AI模型都涉及到人工清理和标记大型数据集。这个过程耗力又耗钱,术语AI得到更广泛采用的最大障碍之一。

另外,如上所述,一旦部署了模型,训练就不会结束。为了保持准确性,需要不断去捕捉和标记新的训练数据,并将其反馈到系统里面。尽管诸如漂移检测和主动学习之类的技术可以减轻负担,但经验数据显示,许多公司在此过程中的支出(通常还没把核心工程资源计入)最高可占到收入的10-15%,同时持续的开发工作并不仅仅只是典型的错误修复和特征添加。

2、对于许多任务而言,尤其是那些需要更多认知推理的任务而言,往往要把人实时嵌入到AI系统里面。

比方说,社交媒体公司雇用了成千上万的人工审核员来增强其基于AI的审核系统。许多自动驾驶汽车系统都有远程操作员,大多数基于AI的医疗设备都要跟作为联合决策者的医生进行交互。随着越来越多的现代AI系统的能力得到理解,越来越多的初创企业正在采取这种做法。计划出售纯软件产品的许多AI公司正在慢慢把服务能力引入内部,并预定相关成本。

随着AI模型性能的提高,对人工干预的需求可能会下降。但是,把人从这个回路里面完全剔除不太可能。无人驾驶汽车等许多问题太过复杂,复杂到无法通过当前的AI技术实现完全的自动化。安全、公平以及信任等问题也需要人的监督——美国、欧盟和其他地区当前正在制定的AI法规里面可能会体现这一事实。

即便我们最终实现了某些任务的完全自动化,也还不清楚这样就可以提高多少的利润。AI应用的基本功能是处理输入数据流并生成相关的预测。因此,操作这样的系统的成本是所处理的数据量的函数。一些数据点要由人工处理(相对昂贵),而其他的数据点则可由AI模型自动处理(希望能更便宜)。但是,每一个输入都需要进行处理,只是处理的方式不同。

到目前为止,我们已经讨论了两类成本,也就是云计算和人工支持。减少一类成本往往会导致另一类成本的增加。公式的这两个要素都可以优化,但没有一个有可能达到SaaS 业务那种接近零成本的水平。

艰难的规模化!细说长尾

AI公司知道什么时候找到了产品市场匹配,要比传统软件困难得多。

公司很容易会认为已经找到了——尤其是在拿下了5到10个大客户之后——但接着你会看到自己的ML团队开始膨胀,而客户部署计划开始恶心地一拖再拖,挤占了发展新客户的资源。

许多AI应用都有着开放式的界面,可以处理有噪声的非结构化数据(比方说图像或自然语言)。用户往往对产品缺乏直觉,或更糟糕的是,假定产品具有人类或超人的能力。这意味着边界情况无处不在:

我们研究过的AI产品预期功能多达40-50%都处在用户意图的长尾之中。换句话说,用户可以,并且也会输入几乎所有的给AI应用。

处理这个巨大的状态空间往往是一件繁琐的事情。由于可能的输入值范围太大了,以至于每次新的客户部署都可能生成从未见过的数据。哪怕是看似类似的客户(比方说,两家汽车制造商都要进行缺陷检测),就因为简单如在装配线上安装视频摄像头这样的事情,也可能需要大不相同的训练数据。

一位创始人把这种现象称为AI产品的「时间成本」。每拿到一个新客户,公司都要专门用一段时间来进行数据收集和模型微调。这让他们能够去看看客户数据的分布情况,在部署前排除掉一些极端情况。这也会带来成本:公司的团队和财务资源都被捆绑到一起,除非模型的准确率达到了可接受的水平才能脱手。训练期到底会持续多久?一般很难确定,因为更快地产生训练数据的可选手段基本上没有……不管团队再怎么努力都不行。

到头来人工智能初创企业一般都要花费比预期更多的时间和资源来部署自家的产品。要想提前识别这些需求是很困难的,因为传统的原型设计工具(比方说模型、原型或Beta测试)往往只能照顾到最常见的路径,不能涵盖边缘情况。跟传统软件一样,部署到最早的客户群的时候,这个过程特别耗时间,但是跟传统软件不同的是,这一过程未必会随着时间的流逝而消失。

本质上,软件开发是一个构建和工程过程,定义应用程序规范和整体体系结构后,可以逐步添加新特性和功能,比如一次一行代码、库或API调用,直到形成一幅完整愿景。软件开发人员能很大程度上控制这个过程,借助标准计算机科学实践(例如模块化、工具化、虚拟化或选择正确的抽象方法),通常可以控制最终系统的复杂性。

与软件工程相比, AI开发通常「更接近于制药中的分子发现」 。 因为它是一个类似化学或物理学的过程。AI 开发人员将统计模型拟合到数据集,测试该模型对新数据的性能如何,并加以重复。 这本质上是试图控制现实世界的复杂性。 由于训练数据本身固有系统复杂性,AI 开发人员几乎无法掌控AI应用。 对于许多自然系统而言,数据通常凌乱、长尾、不可预测甚至高度熵。

更糟糕的是,由开发人员编写的代码不会直接改变程序运作,正如一位经验丰富的创始人曾比喻过的, 「ML本质上是创建代码的代码(根据输入数据的功能)……这将附加创建一个难以理解的间接层。」

面对长尾分布数据,想要建立一家高效的AI公司会遇到许多困难。尽管长尾概念的正式定义可能很烧脑,但其背后的直觉却相对简单:从长尾分布中随机选择一个数据点,它很有可能就位于尾巴上(比如,50 %以上概率,甚至可能更高)。

以互联网搜索词为例。分布的「开头」和「中间」中的热门关键字(下图蓝色所示)占所有字词的比例不到30%。剩余70%的关键字位于「尾巴」中,每个月的搜索量不到100次。假设不管查询在分布中位置如何,都需要花费相同的工作量来处理查询,那么,长尾分布系统的大部分工作将落在尾部,每个查询产生的价值相对较低,但花费工作量都是一样的。

然而,越来越明显的是,长尾分布在机器学习中也非常普遍,反映出现实世界状态和典型数据收集实践。下图就显示了几个流行AI研究数据集中几类模型频率。这些类型的分布不一定很糟糕。但与互联网搜索的例子没啥不同, 当前,ML技术也不能很好地处理它们。

监督学习模型往往在常见输入(即分布开头)上表现良好,但在稀疏数据(分布的尾巴)情况下会遇到困难。由于尾部情况才是大多数,因此,ML开发人员会陷入一个循环(有时似乎是无限的):收集新数据、再训练,以解决边缘情况。然而,忽视这些尾巴同样令人痛苦,比如会让人错过客户和机会,收益不佳,也让用户沮丧。

长尾及其引发的工作量, 被证明是让AI业务难以经济起来的主要原因。 最直接的影响是数据和计算资源的原始成本。机器学习的这些成本通常比传统软件要高得多,要获得准确的结果需要大量的数据,大量的实验和大量的参数。 人工智能应用程序的开发成本和故障率可能比典型软件产品高出3-5倍。

首先, 长尾会导致基础设施以外的高可变成本。 例如,如果发送给聊天机器人的问题因客户的不同而差异很大,也就是说,大部分问题都在尾部,那么,构建一个精确系统很可能需要针对每个客户付出大量的工作。

不幸的是,根据解决方案分布,这些付出和相关销售成本可能很难通过精心设计而被消减掉。

更糟糕的是, 面临长尾问题的人工智能公司实际上会出现规模不经济。 也就是说,相对于竞争对手,随着时间的推移,经济状况会变得更糟。因为,数据有收集、处理和维护的成本。虽然相对于数据量,这种成本会随着时间的推移而降低,但是,额外数据边际效益下降更快。事实上,这种关系似乎是指数级的,在某种程度上, 开发人员可能需要10倍数据才能实现2倍主观上的改进。

虽然人们很希望能有一个类似于摩尔定律的人工智能来显著提高处理性能并降低成本,但这似乎并没有实现(尽管算法有所改进)。

护城河在哪里?

伟大的软件公司都会挖掘一条又宽又深的护城河。最好的护城河力量非常强大,比方说网络效应、切换成本高以及规模经济等。AI公司也可能具备所有这些因素。不过,防御的基础通常是靠技术优越的产品造就的,尤其是企业型的。成为实现某种复杂软件的第一人可以带来重大的品牌优势和一段几乎算是独霸市场的时期。

在AI的世界里,技术的差异化是很难实现的。新的模型架构主要是在开放的、学术性的环境下开发出来的。任何人都可以从开源库里面找到参考实现(预训练的模型),并且模型参数还可以自动优化。

数据是AI系统的核心,但这通常归客户所有,或者放在公共领域,或者随着时间的流逝而成为商品。随着市场的成熟,其价值也会逐渐下降,并且网络效应也相对较弱。在某些情况下,我们甚至发现跟数据馈送AI业务相关的规模不经济的情况。随着模型变得越来越成熟,每一个新的边缘案例的解决成本都会变得越来越高,同时能够获得其价值的客户数量也会越来越少。

这并不一定就意味着AI产品的防御性就要比纯软件产品低。但是,对于人工智能公司而言,这条护城河似乎比许多人预期的都要浅。从防御性角度来看,人工智能在很大程度上可能是通往底层产品和数据的通道。

给创始人的实用建议

首先, 尽可能消除模型的复杂性 。不同客户要训练不同的模型的初创企业跟所有客户都能够共享同一个模型初创企业之间在COGS(销货成本)方面存在着巨大的差异。「单一模型」策略更易于维护,可更快地推向新客户,并支持更简单、更高效的工程组织。这往往还能减少数据管道的蔓延以及重复的训练,从而可以显著改善云基础设施的成本。

关键之一是要在达成协议前尽可能多地了解你的客户及其数据。有时候,新客户会给你的ML工程工作带来巨大负担。在大多数情况下,变更会比较微小,仅涉及少数几个独特的模型或只需进行一些微调。做出这些判断(权衡长期经济健康与短期的业务增长)是AI创始人面临的最重要的工作之一。

其次, 要仔细(通常是严格)地选择问题域,以降低数据的复杂性 。从根本上来说,想让人工劳动自动化是很困难的一件事。许多公司发现AI模型的最小可行任务的范围比他们预期的要狭窄。比方说,有些团队在为电子邮件或者职位发布提供短建议中已经取得了成功,但提供一般的文字建议就困难得多。仅仅是更新记录这一条,专攻CRM领域的公司已经为AI找到非常有价值的利基市场。类似这样的一大类问题都属于对人比较困难,而AI相对容易的类型。这些问题往往牵涉到大规模、低复杂度的任务,比方说审核、数据输入/编码、转录等。专注于这些领域可以最大程度地减少总会遇到边缘情况的挑战,换句话说,这可以简化为AI开发馈送数据的过程。

第三, 为高度可变成本做好计划 。作为创始人,你应该为自己的商业模型提供可靠、直观的思维框架。本文所讨论的成本是有可能改善的——可减少一定幅度——但假设这种成本会完全消失(或强迫其消失)是错误的。相反,我们建议在考虑毛利率较低的情况下去建立商业模式和GTM(市场推广)战略。

来自创始人的一些好的建议:要深刻理解提供给模型的数据的分布情况。要把模型维护和人的失效当作首要问题。要跟踪和衡量自己的实际可变成本——不要把它们藏在研发费用里面。财务模型要做出保守的单元经济假设,尤其是在融资期间。不要等到规模扩大或外部技术进步了才去解决问题。

拥抱服务 。AI有巨大的机会来满足它所在的市场。这可能意味着要提供全栈翻译服务而不是翻译软件,或者,提供出租车服务而不是卖自动驾驶汽车。建立混合型业务比开发纯粹软件更难,但是,这种做法可以提供对客户需求的深刻洞察,并且产生出发展迅速,引领市场的公司。做服务也可以成为企业启动进入市场引擎的绝佳工具,尤其是在销售复杂和/或全新的技术时。关键是要坚定地追求一种策略,不要想同时支持软件客户和服务客户。

用老派的办法来强化防御力。 虽然还不清楚AI模型本身或基础数据是否能提供长期的保护,但好的产品和专有数据几乎总能做出好的生意。人工智能为创始人提供了解决旧问题的新视角。比方说,就凭借着表现出更好的性能,人工智能技术在相对冷清的恶意软件检测市场里面已经产生出新的价值。在最初的独特产品功能之上构建出带粘性的产品和可持久业务的机会永远都存在。有趣的是,我们还发现有几家AI公司通过有效的云战略巩固了自己的市场地位,这有点类似于最新一代的开源公司。

如何驯服长尾?

某种程度上,长尾是对问题复杂性的一种衡量。它是我们首先需要自动化的原因,并且与解决问题所需要的努力直接相关。不过,有一些方法可以帮助我们将长尾作为一阶焦点并加以处理。

首先,最简单的情况界定问题。 在最简单的情况下,理解这个问题意味着,搞清楚你是不是在处理长尾分布。 如果不是,比如这个问题可以用线性回或多项式加以合理描述,那么,你根本不需要使用机器学习! 尤其是不要使用深度学习!

奇怪的建议?但是它反映出我们曾经提及的AI成本中心难题,而且正如本文第一部分提到的,这些难题很难解决。随着模型复杂性增加,这些问题也会变得更糟,因为复杂模型训练和维护成本高昂。如果使用不当,甚至可能比简单技术模型性能更差。比如,更容易使小型数据集过于参数化,或者生成性能迅速退化的脆弱模型。

Shopify的工程师指出,逻辑回归和随机森林之所以流行是有原因的:它们具有可解释性,可扩展性和成本效益。虽然在许多情况下,更大更复杂的模型性能更好(例如,对于语言理解/生成,捕获快速变化的社交媒体趋势)。但是,只有当可以确定何时模型准确性能显著提升,将大把钞票砸在训练和维护模型上才有价值和意义。

「机器学习不是宗教,而是科学、工程学再加一点艺术。机器学习方法很多,我们倾向于用先进的武器解决眼前的问题,但如果仔细观察,你会发现有的问题就是个螺丝钉问题。」 另一位机器学习领导者如是说。

其次,更难一点在于全球范围的长尾问题。 如果确实面临长尾问题,包括最常见的NLP(自然语言处理),计算机视觉和其他ML任务,那么,确定客户、区域、细分和其他用户群之间的一致性程度,至关重要。如果重叠程度很高,很大程度上可以使用全局模型(或整体模型)为大多数用户提供服务,也会对毛利率和工程效率产生巨大积极影响。

在访问大型用户数据集的B2C技术公司中,最经常看到这种模式。对于B2B供应商来说,在熵相对较低的场景下,通常也有同样的优势,比如自动驾驶汽车,欺诈检测或数据输入,在这些环境中,部署环境对用户行为的影响相当弱。在上述情况下,一些基于本地的训练(例如针对主要客户的训练)仍然必要。不过,通过在全球语境下界定问题,积极围绕长尾建构问题,能够将这些训练需求最小化。对此的标准建议包括:

1、添加更多训练数据(包括客户数据),调整超参数或调整模型体系结构来优 化模型 ,这往往只有在触及长尾时才管用;

2、通过明确限制用户可以进入系统的范围来 缩小问题范围 ,这个办法针对一个拥有庞大「头部」的长尾分布最有效,比如专注于高价值联系人的数据供应商,或者那些易受用户错误影响的长尾分布,比如Linkedin应该有17000个与IBM相关的实体;

3、转化问题 为单匝界面(例如,内容信息流,产品建议,「您可能认识的人」等),或者提示用户输入/设计人类故障转移以涵盖特殊情况(例如,自动驾驶汽车的远程操作)。

但对于许多现实问题,这些策略可能并不可行。对于这些情况,经验丰富的ML建设者共享了一种更通用的模式 ——componentizing(组合)。

例如,Cloudflare的ML工程师分享了一个与Bot检测器有关案例,主要是通过处理大量日志文件,识别(并标记或阻止)数百万个网站的非人类访问者。

然而,将其视为单个任务在规模上是无效的,因为「机器人」概念包括数百种表现出独特行为的不同子类型(搜索爬网程序,数据抓取程序,端口扫描程序等)。团队使用集群技术并尝试了各种级别粒度,最终发现了6-7类机器人,每种机器人都可以使用独特的监督学习模型加以处理。

如今,他们的模型正提供实时保护,还有类似软件业务的毛利率。

第三,本地的长尾问题,确实很难。

许多问题没有显示出客户或其他用户群之间的全局一致性,一些局部问题差异反而很常见。但是,这并不等于说确定重叠无足轻重,因为输入数据(特别是在企业中)可能由于商业或监管原因而彼此分离。通常,全球性问题和局部问题的区别在于可用数据范围。

局部ML问题经常存在长尾分布,需要加以解决。但是局部变化程度,会导致工作量迅速增加。

例如,一家大型音乐流媒体公司发现,他们需要为每个运营国家提供独特的播放列表生成模式。类似地,工厂分析供应商通常为每一个客户或装配线提供一种独特的模型。

虽然没有简单的解决办法,不过有几种策略可以帮助将全球模型的好处带到局部问题当中。

近期可行的选择是元模型模式, 在该模式中,单个模型被训练针对覆盖一系列客户或任务。在研究语境下,这项技术被讨论最多(例如多任务机器人)。但对于人工智能应用公司来说,这个办法可以大大减少需要维护的模型数量。

例如,一家成功的市场营销初创公司能够将数千种离线的、针对客户的模型组合成单一元模型,这样再训练成本要低得多。

另一个新兴的解决方案是迁移学习。 ML团队普遍认为,预先训练的模型,尤其是BERT或GPT-3等基于注意力的语言模型可以全面减少和简化训练需求,最终,仅用少量数据对每个客户模型进行微调也会变得更加容易。

这些技术的潜力是毋庸置疑的。然而,目前应用相对较少,部分原因在于其庞大规模导致操作困难而且成本高昂。而且,在许多应用中仍需要做客制化工作。

最后,一些大型科技公司实践者描述了一种基于主干模型的迁移学习变体。 例如,Facebook维护数千个ML模型,大多数都是针对特定任务单独训练的。但是,随着时间的推移,可以将共享相似功能的模型与通用「主干」结合在一起,以降低复杂性。目标是使躯干模型尽可能「厚」(即完成大部分工作),同时使特定「分支」模型尽可能「薄」而又不牺牲准确性。

比如,一家自动化产品描述的AI团队将七个垂直特定模型(一个用于家具,一个用于时尚,一个用于汽车等)组合到一个主干架构中,该架构的精确度提升两倍,并且运行成本更低。

在某种程度上,这种方法看起来很像全局模型模式,它允许并行模型开发并且还有高度的局部精度,为数据科学家提供了更丰富的嵌入式数据,将一些O(n^2)问题,比如语言翻译,转化为O(n)问题。这可能预示着未来的发展方向,有助于定义ML开发过程的基本模块或接口。

最后,许多经验丰富的机器学习工程师们强调了最佳操作实践对提高AI经济效益重要性。下面是一些最引人注目的案例。

整合数据管道。 模型扩张并不一定意味着管道扩张。当全球模型不可行的时候,通过将大多数客户合并到一个单一数据转换过程,一位创始人实现了效率提升,这样做对系统延迟的影响相对较小。也有团队通过减少再训练频率(例如,通过夜间排队或在积累了足够数据时再训练),或者在更靠近数据的地方训练来降低成本。

构建边缘案例引擎。 如果连长尾都看不到,你就没办法解决它。例如,特斯拉组装了一个庞大的怪异停车标志数据集,训练自动驾驶仪模型。对于大多数机器学习团队来说,以可重复方式收集长尾数据,这个能力很重要,通常包括识别分布外数据、寻找相似案例、标记新数据并经常使用主动学习进行智能化再训练。

拥有基础架构。 许多领先的机器学习组织运行(甚至设计)自己的机器学习集群。在某些情况下,这对初创公司来说,也是个好主意。一位CEO每年节省了约1000万美元,当公司从AWS切换到主机托管设施中的自己GPU盒。创始人的关键问题是,搞清楚节省多少成本才能证明维护成本支出的合理性,以及确定云服务价格曲线下降速度情况。

压缩,编译和优化。 随着模型不断发展,支持有效推理和训练的技术(包括量化、蒸馏、修剪和编译)变得至关重要。利用预训练模型或自动API也越来越多。这些工具不会改变大多数AI问题的经济性,但有助于降低大规模管理成本。

测试,测试,测试。 这听起来很明显,但是一些专家鼓励ML团队将测试作为优先级——而不是基于像F分数这样的经典机制。机器学习应用程序通常以不确定的方式执行(并失败)。「bug」可能并不直观,比如原因可能在于不良数据,精确度不匹配或隐性地侵犯隐私。另外,升级还涉及到数十个应用程序,不能向后兼容。这些问题需要对数据分布、预期漂移、偏差、对抗策略和其他因素进行可靠测试。

原文链接:

https://a16z.com/2020/02/16/the-new-business-of-ai-and-how-its-different-from-traditional-software/

https://a16z.com/2020/08/12/taming-the-tail-adventures-in-improving-ai-economics/

机器之能 面向正在进行数字化转型及智能化升级的各领域产业方,为他们提供高质量信息、研究洞见、数据库、技术供应商调研及对接等服务,帮助他们更好的理解并应用技术。产业方对以上服务有任何需求,都可联系我们。

zhaoyunfeng@jiqizhixin.com