您现在的位置: 首页 > 技术转让 > 一种优化阵列数据库并行数据加载性能的系统
一种优化阵列数据库并行数据加载性能的系统

一种优化阵列数据库并行数据加载性能的系统

  • 专利类型:发明专利
  • 有效期:不限
  • 发布日期:2021-04-01
  • 技术成熟度:详情咨询
交易价格: ¥面议
  • 法律状态核实
  • 签署交易协议
  • 代办官方过户
  • 交易成功

专利推荐

  • 技术(专利)类型 发明专利
  • 申请号/专利号 201510952414.9 
  • 技术(专利)名称 一种优化阵列数据库并行数据加载性能的系统 
  • 项目单位 贵州大学
  • 发明人 李晖;陈梅;李宏源;邱能俊; 
  • 行业类别 人类生活必需品
  • 技术成熟度 详情咨询
  • 交易价格 ¥面议
  • 联系人 吴佳琨
  • 发布时间 2021-04-01  
  • 01

    项目简介

    本发明公开了一种优化阵列数据库数据并行加载性能的系统,包括监控引擎(1),监控引擎(1)收集数据库集群(2)的监控信息,将监控信息反馈到FASTLoad系统组件(3),FASTLoad系统组件(3)根据监控信息对待加载的数据进行分配方法数据加载;监控引擎(1)用于实时监控数据库节点(7);数据库集群(2)用于数据加载的执行;FASTLoad系统组件(3)用于数据的分割处理和加载。本发明不仅能满足阵列数据的加载需求,而且是一种能够对大规模基于阵列模型的数据进行数据并行加载的科学数据管理工具系统,该系统性能是原有的数据库系统加载数据机制的性能的4到6倍。
    展开
  • 02

    说明书


    1.一种优化阵列数据库数据并行加载性能的系统,其特征在于:包括监控引擎(1),监控引擎(1)收集数据库集群(2)的监控信息,将监控信息反馈到FASTLoad系统组件(3),FASTLoad系统组件(3)根据监控信息对待加载的数据进行分配方法数据加载;监控引擎(1)用于实时监控数据库节点(7);数据库集群(2)用于数据加载的执行;FASTLoad系统组件(3)用于数据的分割处理和加载。
    2.根据权利要求1所述的优化阵列数据库数据并行加载性能的系统,其特征在于:所述FASTLoad系统组件(3)包括数据分区引擎(5),数据分区引擎(5)分析待加载的数据,将待加载的数据文件分割成子文件,然后将子文件加载到数据加载协调引擎(4),数据加载协调引擎(4)根据监控信息对待加载的数据子文件按照分配方法协调数据库集群(2)中的数据库节点(7)参与数据加载任务,数据加载完成后,阵列数据库集群的协调者(8)节点将更新自己的元数据。
    3.根据权利要求1所述的优化阵列数据库数据并行加载性能的系统,其特征在于:所述的监控引擎(1)将监控信息存储在系统状态数据库(6)中,系统状态数据库(6)再将监控数据传送到FASTLoad系统组件(3)中。
    4.根据权利要求1所述的优化阵列数据库数据并行加载性能的系统,其特征在于:所述的数据库集群(2)包括协调者(8)和数据库节点(7),数据库节点(7)连接有监控客户端(9),监控客户端(9)负责收集数据库节点(7)的性能和系统状态信息,并反馈到系统状态数据库(6)中。
    5.根据权利要求1所述的优化阵列数据库数据并行加载性能的系统,其特征在于:所述的数据库集群(2)设置1个以上数据库节点(7)。
    6.根据权利要求1所述的优化阵列数据库数据并行加载性能的系统,其特征在于:所述监控引擎(1)的采集数据包括:CPU利用率、内存量、磁盘读写速率、网络带宽利用率、过去t(600≤t≤7200)秒内任务的平均等待时间、任务数量等数据库节点负载。
    7.根据权利要求1或2所述的优化阵列数据库数据并行加载性能的系统,其特征在于:基于下述分配方法来安排数据库节点(7)参与数据加载任务:(1)如果数据加载任务T及其子任务TA在某数据库节点(7)上运行时所需要的内存量,小于该数据库节点(7)的可用内存量的m%,则将该数据加载任务T及其子任务TA加入到任务队列中,等待执行;如果该数据加载任务T被指明为紧急任务,则将该数据加载任务T及其子任务TA在该数据库节点(7)的任务等待队列中进行插队,将其排到队列的最前面,等待当前正在执行的任务执行完后即可进行数据加载任务的执行;其中,0<m%≤80%;(2)如果某数据库节点(7)上的磁盘读写速率不到最高速度的d%,则将数据加载任务T及其子任务TA加入到任务队列中,等待执行;如果该数据加载任务T被指明为紧急任务,则将该数据加载任务T及其子任务TA在该数据库节点(7)的任务等待队列中进行插队,将其排到队列的最前面,等待当前正在执行的任务执行完后即可进行数据加载任务的执行;其中,0<d%≤60%;(3)如果某数据库节点(7)上当前正在等待执行的任务队列中的任务,其预估的平均等待时间小于t1秒,则将该数据加载任务T及其子任务TA加入到任务队列中,等待执行;如果该数据加载任务T被指明为紧急任务,则将该数据加载任务T及其子任务TA在该数据库节点(7)的任务等待队列中进行插队,将其排到队列的最前面,等待当前正在执行的任务执行完后即可进行数据加载任务的执行;其中,600≤t1≤7200;(4)如果所有的数据库节点(7)的负载都重,按照前述3条规则没有挑选到合适的执行数据加载任务的数据库节点(7),那么将数据加载任务T分成X个子任务,然后按照在过去的时间t2内,任务队列中的平均等待时间短的数据库节点(7)优先的原则,将数据加载任务T及其子任务TA予以分配执行;对于任务平均等待时间相同的数据库节点,则按照可用内存量大、CPU利用率低的优先原则,进行任务分配;如果该数据加载任务T被指明为紧急任务,则将数据加载任务T及其子任务TA在该数据库节点(7)的任务等待队列中进行插队,将其排到队列的最前面,等待当前正在执行的任务执行完后即可进行数据加载任务T的执行;其中,600≤t2≤7200,N/2≤X≤N。
    展开

专利技术附图

< >

服务流程

过户资料

  • 买卖双方需提供资料
  • 平台提供
  • 过户后您将获得
  • 买家
  • 卖家
  • 公司
  • 企业营业执照
  • 企业营业执照

    专利注册证原件

  • 个人
  • 身份证

    个体户营业执照

  • 身份证

    专利注册证原件

  • 专利代理委托书

    转让申请书

    转让协议

  • 手续合格通知书

    专利证书

    专利利登记簿副本

安全保障

  • 品类齐全

    海量资源库,平台整合几十万闲置资源。
  • 交易保障

    完善的资金保障体系确保买卖双方资金安全。
  • 专人跟进

    专业交易顾问全程服跟进,确保交易流畅。
  • 快速响应

    专业在线/电话客服服务,快速响应贴心服务。
  • 售后无忧

    资质过硬,国内大知识产权服务平台。

在线客服

在线咨询

010-83278899

返回顶部