qData 数据中台是一套集数据集成、标准管理、资产治理、质量控制、服务开放与智能分析于一体的企业级数据管理平台,致力于帮助企业实现数据资源的统一管理、高效治理与价值释放。
🔥🔥DatalinkX异构数据源之间的数据同步系统,支持海量数据的增量或全量同步,同时支持HTTP、Oracle、MySQL、ES等数据源之间的数据流转,支持中间transform算子如SQL算子、大模型算子,底层依赖Flink、Seatunnel引擎,提供流转任务管理、任务级联配置、任务日志采集等功能🔥🔥
🔥🔥🔥可视化拖拽式大数据集成平台、大数据平台、大数据,包含数据流、数据源、数据对齐、查询模板、完善的监控等。像画流程图一样且无代码方式同步、清洗数据。
Fire框架是中通大数据自主研发并开源的大数据框架,专为Spark和Flink任务开发设计,可显著降低70%以上的代码量。该框架创新性地采用基于注解的方式进行Spark和Flink任务开发,并集成了实时血缘追踪、根因诊断、动态调优以及参数热调整等多项平台化功能。Fire框架已被数十家公司采用,累计收获了近千个Star,并拥有超过200人的社区,其中包括来自美团、阿里巴巴、作业帮等知名企业的成员。
LarkMidTable 是一站式开源的数据中台,实现中台的基础建设,数据治理,数据开发,监控告警,数据服务,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。
提供API编排、ETL等能力,实现数据库到API的可视化转换,以及多系统API的整合、数据抽取与加工处理、自动依赖分析及数据血缘分析、实时MQTT消息的动态监听等;即可用于与低代码前端工具配合,为低代码前端提供接口,也可当成一个简单的ESB使用或ETL工具或数据中台使用
这是一个基于机器学习和大数据的决策对抗系统,包含GIS系统,后端基于springMVC,spring,Mybatis,日志基于logback,算法部分包括机器学习,深度学习对打击做仿真
this is a db-hdfs tools used to transfer big database datas to hadoop hdfs like sqoop,but bboss bigdata tool is very nice monitor and event drivered model,and high perfermance,support Distributed executor tasks Ability.
在原DatalinkX项目基础上进行了扩展,Flink+大模型(DeepSeek)智能数据中台;
罗盘是一个大数据任务诊断平台,旨在提升用户排查问题效率,降低用户异常任务成本。
其主要功能特性如下:
非侵入式,即时诊断,无需修改已有的调度平台,即可体验诊断效果。
支持多种主流调度平台,例如DolphinScheduler、Airflow或自研等。
支持多版本Spark、Hadoop 2.x和3.x 任务日志诊断和解析。
支持工作流层异常诊断,识别各种失败和基线耗时异常问题。