流式大数据分析系统

1. 成果简介

当前开源流式大数据处理框架如Spark、Flink存在两个问题：（1）在国产软硬件环境下存在性能瓶颈，难以满足高吞吐实时数据分析的需求。（2）缺乏流式机器学习等高级算法，难以应用于复杂流式数据分析任务。

针对这一问题，我们在开源框架的基础上进行了多项框架层深度优化，例如算子级动态负载均衡和主键级水位线管理，优化后的框架已成功应用于南方电网的实时低电压检测任务，使数据处理速度在国产软硬件平台上从40万条/秒显著提升至2500万条/秒。在此基础上，为了进一步增强复杂流式数据分析能力，我们研发流式机器学习框架FreewayML，支持包括流式线性模型以及流式深度学习模型在内的复杂数据分析算法，实时正确率最高提升40个百分点，为稳定高效处理复杂场景的数据流提供了创新解决方案。

2. 技术创新点

该成果技术创新主要体现在以下方面。

（1）在框架层进行多项深度优化，提升吞吐率。

（2）支持流式机器学习、流式深度学习等复杂算法。

（3）设计三种新的训练/推理优化策略，提高流式机器学习算法的稳定性。

3. 技术成熟度

该成果现在处于产业化阶段（市场应用），优化后的框架已成功应用于南方电网的实时低电压检测任务，使数据处理速度在国产软硬件平台上从40万条/秒显著提升至2500万条/秒。

4. 可应用领域

该成果当前主要应用于电力、交通、电商、电信等实时数据处理与分析领域。

5. 联系人

许利杰，xulijie@iscas.ac.cn