Databricks 称:顶级 AI 模型在日常企业任务中落后,小型专业化模型表现更佳

Gate News 消息,4 月 20 日——Databricks 的 David Meyer 表示,顶级 AI 模型擅长解决奥林匹克竞赛数学等复杂问题,但在日常企业工作中却力不从心。某些模型可能会把不正确的发票号码改正掉,而不是将其标记为错误;同时,像 Claude 这样的编程工具在数据工程任务上也可能表现不佳。

这一差距源于企业数据与用于训练大型模型的公开网络文本之间存在根本差异。企业数据往往具有含糊的列名、数量众多的空字段,以及以纯文本形式存储的代码。在一项学术研究中,用于平衡精确率和召回率的 AI 模型 F1 分数,在公共数据上为 0.94,而在企业数据上则降至 0.07,用于数据工程任务。此外,大型模型往往会默认采用训练中熟悉的模式;有些即使在收到公司专有查询语言的指令和文档后,仍然默认使用结构化查询语言 (SQL)。

通过强化学习调优的小型开源模型,可以比大型通用模型更高效地完成特定工作,且培训成本显著更低。Databricks 正在为特定工作流程构建更小的 AI 代理,例如 KARL,它使用强化学习进行多步骤推理,且处理的是公司文档。行业正从依赖巨型模型转向混合架构:由小而高效的模型处理日常的海量任务,然后仅在遇到不清楚或复杂的情况时才升级到更大、更昂贵的系统。

Databricks 最近收购了 Quotient AI,帮助大型企业更可靠地运行 AI 代理。如今,AI 业务的竞争焦点在于运行完整的 AI 生命周期,包括用于跟踪错误的反馈系统,以及随着时间推移持续改进模型,使得评估和调优工具在部署之后愈发重要.

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

AI 代理 Manfred 成立公司,并在 5 月底交易上线前获得加密钱包

AI 代理 Manfred 已成立自己的公司,并获得一个加密货币钱包以及雇佣员工、进行付款和开展业务所需的凭证。该代理尚未安排在年底之前开始进行加密货币交易

GateNews2小时前

MoonPay 推出 MoonAgents 卡,面向 AI 代理的稳定币借记卡,使用 Mastercard

MoonPay 周五宣布推出 MoonAgents Card,这是一张虚拟万事达借记卡,可在支付时将稳定币兑换为法币,供 AI 代理和用户使用。该卡由 Monavate(一个受监管的全球支付平台,也是万事达卡主要成员)发行,链接

GateNews2小时前

AI 代理 Manfred 组建公司,并在 5 月交易启动前取得加密钱包

AI 代理 Manfred 已成立自己的公司,并获得了一个加密钱包和商业资质,尽管它将在 5 月底之前不会开始交易加密货币。该代理现在已具备雇佣员工、进行付款以及开展业务的条件

GateNews8小时前

MoonPay 将于周五推出 MoonAgents 卡,一种面向 AI 代理和用户的虚拟万事达卡

据 The Block 称,MoonPay 于周五推出了 MoonAgents Card,一种面向 AI 代理和用户的虚拟万事达借记卡。该卡可在支付时将稳定币兑换为法币,并可在全球任何接受万事达卡的线上商户处使用。由 Monavate 发行,这是一家受监管的支付

GateNews11小时前

MoonPay 将于周五在 Mastercard 网络上推出 MoonAgents 卡

据 The Block 称,MoonPay 于周五推出 MoonAgents Card——一款虚拟万事达借记卡,使 AI 代理与用户能够直接从链上钱包中使用稳定币进行消费。该卡由 Monavate(一个受监管的全球支付平台,并且是万事达主要成员)发行,in

GateNews14小时前

137 Ventures 在新资金中完成 $700M ,管理资产(AUM)达到 150 亿美元

据 ChainCatcher 报道,137 Ventures,这家是 SpaceX 的早期投资者,最近已完成两只新基金的募资,总计超过 7 亿美元,使其管理资产规模提升至超过 150 亿美元。新资金将支持在 AI 代理、机器人和太空推进方面的投资

GateNews15小时前
评论
0/400
暂无评论