1。近年来的基本介绍，大型模型的开发主要由大型技术公司主导，领先的核心在于大型和高质量的数据资源。但是，这些公司通常不会透露其原始数据和数据处理工具，这使学术界很难实现大规模培训数据的建设和优化，并且受到了完全限制。尽管近年来有大型数据集的开放资源，但在准备大型模型数据方面，学术界仍然面临许多挑战。当前，大规模培训数据的清洁和构建主要取决于各种研究团队，以“闭门造车”和缺乏系统性和高效的工具支持。 AOF现有的数据处理工具（例如Hadoop和Spark）主要支持具有传统方法的操作运营商，并且没有有效地与基于智能操作员在最新的大型语言模型（LLM）上。对开发高级大型模型的培训数据的支持有限。直到今天，张·韦纳奥（Zhang Wenao）和学术团队温扬（Weinan）建议以数据为中心的AI系统，称为DataFlow。 IT系统根据策略，本地大型模型或大型API实施100多个数据管理操作员，并在此基础上构建8个预设数据处理管道（管道），包括：清洁，加强和审查大规模数据（例如PDF文档，PDF文档，简单的文本，简单文本，低质量Q＆A，数据，数据，数据，数据，数据，数据，数据，等等）；用思维链强烈理解数据综合；抹布和综合数据检索和其他基本数据管理要求。该系统允许用户轻松地维修现有操作员，构建新运营商，更改现有管道并组装自定义管道以满足各种数据管理任务。当前，数据流完全支持文本模式中的数据管理，可用于预训练，管理固定和加强框。管理数据可以有效地提高对通用领域中大语言模型的能力的理解和捕获，以及医疗，财务和法律等特定领域的绩效。此外，多模式版本的数据流isyou将在不久的将来完整并满足。官方文件：https：//opndcai.github.io/dataflow-cocgithub官方仓库：https：//github.com/opndcai/dataflow2。设计概念数据流框架数据处理的逻辑主要分为操作员层和管道层。其次，数据流实施通过数据管理（存储）管理类读取和写入管理，而后端类（LLMSERVING）的大型模型支持了调用大型模型的运营商，从而实现了复杂的过滤，增强和评分数据。此外，我们还为数据流模块设计。使用大型模型代理实现多个DATA管理管理功能：（1）根据用户的描述自动将操作员自动imestra生成新管道（2）根据用户描述（3）自动编写新操作员（3）代理会自动求解数据审核任务。 2.1框架设计数据管理：数据流当前主要支持大型文本数据处理。为了提高易用性，数据流内核使用熊猫数据表作为读写数据的载体。大型型号后端：DataFlow当前支持两个后端，包括：（1）使用VLLM或SGLANG作为本地向后，并将大型模型部署为本地GPU识别服务。支持操作员的决策。 。 2.2功能设计数据流操作员是一个基本的数据处理单元，通常基于政策，深入研究模型或大型语言模型（LLM）实现逻辑处理。 DataFlow管道是一个有序的PAG - 安排许多DataFlow运算符，该操作员旨在完成一个完整的数据处理任务。 DataFlow当前提供8个完整的管道供参考，用户可以自定义和更改它们。 DataFlow代理是基于多机构合作的自动任务处理系统，该系统涵盖了“任务拆卸→工具寄存器→实现计划→验证结果→报告报告”的完整过程，重点是智能管理和实施复杂的任务。 2.3 DataFlow特定示例：评估操作员示例：我们主要通过“常规评估操作员”和“专有评估操作员”检查。以例如文本结构，差异和复杂性，安全性，patienceasan及理解，教育价值，内容准确性和有效性等维度，以诸如文本结构，差异和复杂性，安全性和理解，诸如文本结构，差异和复杂性，安全性和有效性之类的尺寸。有关详细信息，请参阅官方文档https://opndcai.github.io/dataflow-coc/zh/guide/f50mqhmb/data处理管道示例：我们提供许多推荐的数据处理P遵循iPelines以及数据处理和审查的结果。 。有关详细信息，请参阅官方文档https://opendcai.github.io/dataflow-coc/zh/guide/guide/textpipeline/the实验导致下图显示，在许多评论中，清洁数据有所改善。 ）1。问题：过滤非数学问题，综合新问题，验证Kapastuhproblembrobles，制作贫困标记和类别分类。 2。生成和处理答案：基于问题的通常答案或模型产生的答案，包括格式过滤，过滤长度和准确性验证。 3。数据重复数据删除：重复编写生成的问答数据，以确保数据集的质量。有关详细信息，请参阅官方文档https://opndcai.github.io/dataflow-coc/zh/guide/reasoningpipeline/下图中的实验结果表明，在许多检查维度中，合成数据有所改善。 。 2。diffi的划分崇拜：根据SQL语法的复杂性和实施率的复杂性来分配难度的水平； 3。架构处理：架构架构信息； 4。知识的产生：在SQL中引起自然语言问题所需的其他知识； 5。问题性问题：标准化表达式； 6。提示单词生成：关于培训问题的质量答案数据。有关详细信息，请参阅官方文档https://opndcai.github.io/dataflow-coc/zh/guide/text2sqlpipeline/the实验导致下图显示处理后处理后的数据已经在许多评论中演变。 （4）代理数据的代理代理处理过程主要由以下操作员组成：1。片段选择：选择并过滤有意义的文本； 2。开发问答对：根据现有片段的信息开发问答对。此问答对需要原始文本支持； 3。质量分析：审查和分类QU问答对和原始文本的质量，以促进抹布知识库的构建； 4。问题的水平整合：许多Q＆A对的内容可以结合起来，以提高问题的复杂性和长度； 5。垂直问题集成：将许多问题与需要大量搜索的问答对结合在一起。有关详细信息，请参阅官方文档https://opendcai.github.io/dataflow-coc/zh/guide/agenticrag_pipeline/下面的实验结果表明，合成数据训练模型在许多测试维度中有所改善。 （5）自动数据处理过程的代理主要由以下六个模块组成。可以添加操作员，并可以执行现有的操作员以实现自动数据处理管道。 1。代理计划：任务分解，确定任务链； 2。任务调度程序：分配任务； 3.注意：开发工具，过程任务； 4。注册工具：注册工具； 5。评估代理：声明和确认; 6.分析代理：摘要并提出报告。 para sa mga destalye，mangyaring sumangguni sa opisyal na dokumento https://opendcai.github.io/dataflow-dataflow-doc/zh/guide/guide/agent/agent/agent/agent_for_data/aget_for_data/ang epekto a ang epekto ay ang mga sumusunod代码na kasalukuyang dataflow ay na-deploy sa pypi，在maaaring madaling mai-install na may may may isang pag pag click sa pamamagitan ng ng pip pip inna naakabukas sa pypi。 DataFlow借助运营商的组织和调用Pytorch的方式。操作员的语句由__init__函数实现，并且操作员的操作员是通过运行函数实现的。该界面简单明了，易于使用。官方GitHub存储库：https：//github.com/opndcai/dataflow文档使用我们还提供了教程中的截然文档。我们还邀请社区的开放资源提供有趣的观点和丰富的意见，并改善文档的内容为了使数据流和愉快的开始启动。官方文件：https：//opndcai.github.io/dataflow-coc3.2是基于前端建立的，使用无编码拖放管道：满足个人自定义/对业务场景的个人定制/微调管道的需求。一键数据管道准备数据：为行业 /特定方案提供最佳技能模板。自动化自动化管道设计：通过大量对话，我们可以理解和研究客户需求，提供有关数据过滤，数据合成，管道调整等的合理建议，并在确认后单击中可以在单击中配置MIT。该项目的官方开源文件：https：//opndcai.github.io/dataflow-cocgithub官方仓库：https：//github.com/opndcai/dataflow Zhang Zhang Zhang Wenao研究员在Algorithm Innovation Innovation和Pekking University的Algorithm Innovation Innovation Institute of Shanghai Institute in Shanghai Instute in研究的主要方向是研究以数据为中心的机器大型MODELS和数据管理。 wend.zhang@pku.edu.cne weinan中国科学院学者，上海算法创新研究所学术委员会主任和北京大学教授。研究的主要方向是对机械，以数据为中心的AI，计算数学，应用数学和AI4Science的研究。 weinan@math.pku.edu.cn