中山大学联合创邻科技Galaxybase破万亿数据挖掘世界记录

数字经济时代，数据成为关键生产要素。企业从海量数据中挖掘商业价值的需求越发迫切。但这些高维、异构、复杂关联的数据给传统大数据处理和关系型数据库产品带来了极大挑战。中山大学联合创邻科技 “Galaxybase”图数据库，完成了万亿规模交易数据智能挖掘性能测试，为图数据库赋能的智慧互联数字化未来开启了新纪元。

“超级算力+创新存储技术”，推动大数据智能革命

2021年11月底工信部印发《“十四五”软件和信息技术服务业发展规划》，明确提出“突破大规模并行图数据处理关键技术”，推动高性能数据库在金融、电信、能源、制造等重点行业关键业务系统应用。图数据库作为以图论为设计原理的数据库管理系统，将现实世界的实体和实体关系抽象表达为顶点和边，擅长海量图数据的高效存储、查询、计算、分析，能有效解决传统数据库技术无法解决的大数据关联难题，在金融风险、精准零售、物流优化、能源调度、生物制药、智能交通、疫情防控等多种新兴领域有巨大的应用价值。其解决了传统技术关联查询效率低、成本高的问题，具有丰富、高效和敏捷的数据处理能力。而伴随全球数字化竞赛日趋白热化，这将直接影响企业数字化、智能化进程。

在此背景下，如何建立高性能的图计算理论及分布式存储技术，是一个兼具重要性和挑战性、并亟待解决的重要议题。基于中山大学牵头的广东省重点领域研发计划“软件、芯片与计算”重大专项项目“软件定义的图计算关键技术”，中山大学团队联合创邻科技团队依托国家超级计算广州中心环境，完成全自主研发的国产高性能图数据库Galaxybase的安装部署、万亿规模超级大图数据的导入，实现实时大图数据增删改查， 并完成多跳查询、模式挖掘等典型图查询、计算操作。

基于超算集群环境，Galaxybase图数据库构建了一套基于多级最优图分片理论、动态任务调度模式及节点间混合通讯机制的分布式并行图处理体系，通过提供了一个高性能、可扩展、高可靠的图处理平台，支撑万亿节点大图的分布式存储、实时在线查询。在自研数据生成器所模拟的万亿级真实金融交易场景数据集上(包含50亿条账户信息及5万亿条带属性的交易信息，涵盖了最小为10 到最大超过1000万出入度的超级节点)，将账号、资金、交易信息以交易网络的形式组织在一起，高效实现了资金流向查询、资金环路以及嫌疑账户间的最短关联路径查询等深度图查询及图计算，其中，通过交易时间进行过滤的六度的深链查询平均耗时仅6.7秒。本项目仅用50台机器集群实现了当前全球商业图数据库支持的最大规模图数据处理，打破了美国头部图技术厂商于2021年6月用1000台机器集群创造的1.2万亿规模大图处理的世界纪录。

高性能图数据库Galaxybase，为更深入的数字化未来做好准备

2021年12月12日， 国务院印发的《“十四五”数字经济发展规划》正式发布, 标志着我国数字经济转向深化应用、规范发展、普惠共享的新阶段。

中山大学与创邻科技的此次合作，充分体现了超级计算与创新存储技术结合对行业数字化智能的赋能之力，开启了图技术赋能行业数字互联新纪元，为实现“十四五”规划提出的数字中国伟大目标添砖加瓦。

免责声明：市场有风险，选择需谨慎!此文仅供参考，不作买卖依据。

关键词： 万亿 数据挖掘 世界