Data Agent：开启数据与 AI 融合的新时代 \* { margin: 0; padding: 0; outline: 0; } body { font-family: "PingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; line-height: 1.6; } .\_\_page\_content\_\_ { max-width: 667px; margin: 0 auto; padding: 20px; text-size-adjust: 100%; color: rgba(0, 0, 0, 0.9); padding-bottom: 64px; } .title { user-select: text; font-size: 22px; line-height: 1.4; margin-bottom: 14px; font-weight: 500; } .\_\_meta\_\_ { color: rgba(0, 0, 0, 0.3); font-size: 15px; line-height: 20px; hyphens: auto; word-break: break-word; margin-bottom: 50px; } .\_\_meta\_\_ .nick\_name { color: #576B95; } .\_\_meta\_\_ .copyright { color: rgba(0, 0, 0, 0.3); background-color: rgba(0, 0, 0, 0.05); padding: 0 4px; margin: 0 10px 10px 0; } blockquote.source { padding: 10px; margin: 30px 0; border-left: 5px solid #ccc; color: #333; font-style: italic; word-wrap: break-word; } blockquote.source a { cursor: pointer; text-decoration: underline; } .item\_show\_type\_0 > section { margin-top: 0; margin-bottom: 24px; } a { color: #576B95; text-decoration: none; cursor: default; } .text\_content { margin-bottom: 50px; user-select: text; font-size: 17px; white-space: pre-wrap; word-wrap: break-word; line-height: 28px; hyphens: auto; } .picture\_content .picture\_item { margin-bottom: 30px; } .picture\_content .picture\_item .picture\_item\_label { text-align: center; } img { max-width: 100%; } .pay\_subscribe\_notice { margin: 30px 0; padding: 20px; background: #fffbe6; border: 1px solid #ffe58f; border-radius: 8px; } .pay\_subscribe\_badge { display: inline-block; padding: 4px 12px; background: #faad14; color: #fff; border-radius: 4px; font-size: 14px; font-weight: 500; margin-bottom: 12px; } .pay\_subscribe\_desc { font-size: 15px; line-height: 1.8; color: rgba(0, 0, 0, 0.7); margin-bottom: 12px; } .pay\_subscribe\_hint { font-size: 13px; color: rgba(0, 0, 0, 0.4); } .\_\_bottom-bar\_\_ { display: flex; justify-content: space-between; align-items: center; position: fixed; bottom: 0; left: 0; right: 0; height: 64px; padding: 8px 20px; background: white; box-sizing: border-box; border-top: 1px solid rgba(0, 0, 0, 0.2); } .\_\_bottom-bar\_\_ .left { display: flex; align-items: center; font-size: 15px; white-space: nowrap; } .\_\_bottom-bar\_\_ .right { display: flex; } .\_\_bottom-bar\_\_ .sns\_opr\_btn { display: flex; align-items: center; user-select: none; background: transparent; border: 0; color: rgba(0, 0, 0, 0.9); font-size: 14px; } .\_\_bottom-bar\_\_ .sns\_opr\_btn:not(:last-child) { margin-right: 16px; } .\_\_bottom-bar\_\_ .sns\_opr\_btn > img { margin-right: 4px; }
Data Agent：开启数据与 AI 融合的新时代
原创 恒健知行 恒健知行 2025-07-14 18:19 安徽
在人工智能飞速发展的当下，数据与 AI 之间的协同却面临着诸多阻碍。而 Data Agent 的出现，正为打破这一局面带来了曙光。
一、Data Agent概念
Data Agent 是一种具备自主性的系统，它凭借知识理解、自动规划和自我反思能力来执行数据任务。这一特性让它能够摆脱对人工的过度依赖，自主地完成复杂的数据处理工作。
其目标主要有两个方面。一方面，是弥合数据与 AI 之间的语义鸿沟，包括数据理解、任务推理、适应性等方面的差距。另一方面，是替代传统依赖人工编码的流程，实现从 “人工干预” 到 “自主化” 的转变，大大提高数据处理的效率和准确性。
二、Data Agent 的核心架构
Data Agent 采用分层设计，由编排层、引擎层和数据层构成，各层分工明确，协同工作。
编排层（Orchestration Plane）主要负责将自然语言转换为流程（NL2Pipeline），并对流程进行优化与执行。这意味着用户只需用日常语言提出需求，系统就能自动生成相应的处理流程。
引擎层（Engine Plane）承担着管理代理调度、交互及工具调用的重要职责。它就像一个指挥中心，确保各个代理和工具之间有序协作。
数据层（Data Plane）则专注于统一元数据管理，支持语义索引与探索，为整个系统提供坚实的数据基础。数据层能够整合多源数据视图，让用户可以更全面地了解和使用数据。同时，系统支持向量数据库、数据处理引擎、可视化工具等多种工具集成，进一步拓展了其功能。
三、关键技术挑战与解决方案
Data Agent 在发展过程中面临着五大挑战，不过针对这些挑战，也有相应的创新解决方案。
第一个挑战是查询、数据和工具的理解，也就是语义鸿沟问题。为了解决这个问题，方案引入了语义运算符（Semantic Operators），它扩展了传统数据库算子，如 Semantic Filter、Semantic GroupBy 等，能够支持非结构化数据分析，包括文本、图像等。
高效流程编排（Pipeline Orchestration）是第二个挑战。NL2Pipeline 技术的出现很好地应对了这一挑战，它可以将自然语言查询自动分解为多步语义操作流程，比如在多跳查询中，能一步步拆解问题，找到答案。
第三个挑战是代理与工具调度（Agent-Tool Interaction）。混合执行优化方案结合了 LLM、预编程算子、向量索引，通过代价模型（如语义基数估计）减少 LLM 调用开销，提高了调度效率。
流程优化与执行（Cost Model & Parallelism）是第四个挑战。而自我反思机制通过奖励模型（Reward Model）和交互式调整，能够动态优化流程，有效解决了这一问题。
最后一个挑战是流程质量持续提升（Self-Reflection）。同样，自我反思机制在这方面也发挥着重要作用，确保流程质量不断提高。
四、具体应用场景
Data Agent 的应用场景十分广泛，涵盖了非结构化数据分析、结构化数据分析、数据湖分析等多个领域。
在非结构化数据分析中，比如对文本、报告的分析，它支持复杂语义查询。例如，统计 “斯皮尔伯格40岁之前的电影中好评多于差评的数量”，通过MultiHop-RAG等算法就能实现。
对于结构化数据分析，系统提出了 Semantic SQL，将语义算子嵌入 SQL，实现了混合处理，让结构化数据的分析更加灵活高效。
在数据湖分析方面，Data Agent 解决了异构数据集成挑战，提出了统一嵌入（Unified Embedding）和数据编织（Data Fabric）架构。同时，多代理协同模式由编排代理协调数据代理、分析代理、工具代理，进一步提升了数据湖分析的能力。
此外，还有一些扩展场景，如数据科学代理可以实现自动化特征工程和模型训练，DBA 代理能够进行数据库自治诊断等。
五、系统实现与验证
目前，已经有了开源系统 Unify 作为 Data Agent 的实现。在真实数据集上的实验结果显示，相比 GPT-4，它提升了 30%-40% 的准确率，而且支持低延迟并行执行，充分证明了 Data Agent 的有效性和优越性。
六、未来方向：Data+AI 生态机遇
未来，Data+AI 生态有着广阔的机遇。AI4Data 五级成熟度从基础插件（Level 1）到完全自治设计（Level 5），为 Data Agent 的发展指明了路径。
Data4AI 闭环构建了数据飞轮（Data Flywheel），实现了数据准备、模型训练、推理反馈的迭代优化，让数据和 AI 能够相互促进，共同发展。
主动数据管理如 Chat2Data、NL2Viz、多模态数据湖分析等，也将成为 Data Agent 未来的重要发展方向，为用户带来更便捷、高效的数据处理体验。
以上内容为学习清华大学李国良教授在ICDE 2025会议上发表的课件《Data Agent: A Holistic Architecture for Orchestrating Data + AI Ecosystems》有感。下面是课件内容（课件地址）：
https://dbgroup.cs.tsinghua.edu.cn/ligl/papers/ICDE2025-Data-Agent-keynote.pdf
恒健知行
 阅读 赞  分享 ’%3E %3Cg transform=‘translate(0 -2.349)’%3E %3Cpath d=‘M0 2.349h24v24H0z’/%3E %3Cpath fill=’%23576B95’ d=‘M16.45 7.68c-.954 0-1.94.362-2.77 1.113l-1.676 1.676-1.853-1.838a3.787 3.787 0 0 0-2.63-.971 3.785 3.785 0 0 0-2.596 1.112 3.786 3.786 0 0 0-1.113 2.687c0 .97.368 1.938 1.105 2.679l7.082 6.527 7.226-6.678a3.787 3.787 0 0 0 .962-2.618 3.785 3.785 0 0 0-1.112-2.597A3.687 3.687 0 0 0 16.45 7.68zm3.473.243a4.985 4.985 0 0 1 1.464 3.418 4.98 4.98 0 0 1-1.29 3.47l-.017.02-7.47 6.903a.9.9 0 0 1-1.22 0l-7.305-6.73-.008-.01a4.986 4.986 0 0 1-1.465-3.535c0-1.279.488-2.56 1.465-3.536A4.985 4.985 0 0 1 7.494 6.46c1.24-.029 2.49.4 3.472 1.29l.01.01L12 8.774l.851-.85.01-.01c1.046-.951 2.322-1.434 3.59-1.434 1.273 0 2.52.49 3.472 1.442z’/%3E %3C/g%3E %3C/g%3E %3C/g%3E%3C/svg%3E) 推荐 ’ fill=’%23000’ fill-opacity=’.9’/%3E%3C/svg%3E) 留言