Databricks 称:顶级 AI 模型在日常企业任务中落后,小型专业化模型表现更佳

Gate News 消息,4 月 20 日——Databricks 的 David Meyer 表示,顶级 AI 模型擅长解决奥林匹克竞赛数学等复杂问题,但在日常企业工作中却力不从心。某些模型可能会把不正确的发票号码改正掉,而不是将其标记为错误;同时,像 Claude 这样的编程工具在数据工程任务上也可能表现不佳。

这一差距源于企业数据与用于训练大型模型的公开网络文本之间存在根本差异。企业数据往往具有含糊的列名、数量众多的空字段,以及以纯文本形式存储的代码。在一项学术研究中,用于平衡精确率和召回率的 AI 模型 F1 分数,在公共数据上为 0.94,而在企业数据上则降至 0.07,用于数据工程任务。此外,大型模型往往会默认采用训练中熟悉的模式;有些即使在收到公司专有查询语言的指令和文档后,仍然默认使用结构化查询语言 (SQL)。

通过强化学习调优的小型开源模型,可以比大型通用模型更高效地完成特定工作,且培训成本显著更低。Databricks 正在为特定工作流程构建更小的 AI 代理,例如 KARL,它使用强化学习进行多步骤推理,且处理的是公司文档。行业正从依赖巨型模型转向混合架构:由小而高效的模型处理日常的海量任务,然后仅在遇到不清楚或复杂的情况时才升级到更大、更昂贵的系统。

Databricks 最近收购了 Quotient AI,帮助大型企业更可靠地运行 AI 代理。如今,AI 业务的竞争焦点在于运行完整的 AI 生命周期,包括用于跟踪错误的反馈系统,以及随着时间推移持续改进模型,使得评估和调优工具在部署之后愈发重要.

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

研究人员部署 DPN-LE 技术以编辑 AI 个性特征,仅编辑 0.5% 的神经元

据 BlockBeats 报道,5 月 3 日,AI 研究员 Brian Roemmele 披露其 Zero-Human Company 已部署 DPN-LE(Dual Personality Neuron Localization and Editing)技术,以精确调整

GateNews8 分钟前

AI 代理 Manfred 组建公司,并在 5 月底前准备好用于交易的加密钱包

AI 代理 Manfred 已成立自己的公司,并获得了一个加密钱包和业务资质,包括雇佣员工和进行付款的能力。该代理计划在年底前开始进行加密交易

GateNews43 分钟前

Tether 首席执行官提议为代理卡支持整合 WDK 和 QVAC

据 Foresight News 报道,Tether 首席执行官 Paolo Ardoino 在 X 上表示,稳定币发行方可能需要推进 WDK 与 QVAC 之间的集成,以支持 Agent Cards 功能。

GateNews3小时前

Particle Network 发布通用账户路线图,推出 Universal Deposit SDK 和 AI 代理账户

据 ChainCatcher 称,Particle Network 今天发布了通用账户(Universal Accounts)的下一阶段路线图,未来几个月将推出两款新产品:Universal Deposit SDK,使开发者能够用大约 10 行代码添加多链存款,以及 Universal Agent Accounts,

GateNews4小时前

OpenAI 允许 ChatGPT 订阅在 Agent 平台 OpenClaw 上生效

根据 OpenAI 首席执行官 Sam Altman 于 5 月 2 日表示,ChatGPT 用户现在可以使用他们的 ChatGPT 账户登录代理平台 OpenClaw,并在该平台上直接使用他们现有的 ChatGPT 订阅。

GateNews6小时前

AI 代理 Manfred 成立公司,并为 5 月底的加密货币交易做准备

AI 代理 Manfred 已成立自己的公司,并获得了一个加密货币钱包以及用于雇佣员工、进行付款和开展业务的凭证。该代理计划在年底之前开始交易加密货币

GateNews6小时前
评论
0/400
暂无评论