技术特征:
1.一种数据生命周期的控制方法,其特征在于,包括:当元数据库的分区数据发生新增时,触发生成元数据表的生命周期管理任务,所述生命周期管理任务中包括所述元数据表的信息,所述元数据表的信息包括:所述元数据表所在的集群及其所属的数据库,以及所述元数据表的标识;所述元数据为数据文件的描述信息;根据所述元数据表的信息,从对应的元数据库中查询所述元数据表当前的分区数量;将所述元数据表的分区数量与预先配置的生命周期数进行比较,若所述分区数据超过所述生命周期数,则根据分区值的时间顺序生成删除任务,所述删除任务中包括待删除的元数据信息;在所述元数据表中执行所述删除任务。2.根据权利要求1所述的方法,其特征在于,所述在所述元数据表中执行所述删除任务,包括:在所述元数据表中删除所述元数据表所在集群名称及其所属的数据库名称;删除所述元数据表的标识及其分区数量。3.根据权利要求2所述的方法,其特征在于,所述在所述元数据表中执行所述删除任务之前,还包括:可采用单线程或多线程方式,将所述删除任务提交至hive的接口以执行所述删除任务。4.根据权利要求1所述的方法,其特征在于,所述在所述元数据表中执行所述删除任务之后,还包括:将所述删除任务的执行结果存储至删除记录数据库。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:按照设定时间区间,在所述删除记录数据库中确定在所述时间区间内执行的所述删除任务信息,所述删除任务信息包括:删除的元数据表标识、数量及其删除的分区总数量;将所述设定时间区间内的删除任务信息与历史相同时间区间的删除任务信息进行对比;若比对结果表示设定时间区间内的删除任务信息异常,则输出异常通知消息。6.根据权利要求1-5任一项所述的方法,其特征在于,所述元数据库为从元数据库,所述方法还包括:为主元数据库创建所述从元数据库,通过主从同步中间件的方式对主元数据库和从元数据库进行元数据同步。7.一种数据生命周期控制装置,其特征在于,所述装置包括:配置模块,用于配置生命周期管理表的基本信息;触发模块,用于触发生命周期管理表的管理任务;判断模块,用于将生命周期管理表当前的分区数量与配置的生命周期数进行比较判断;执行模块,用于与hive的接口交互执行任务;通知模块,用于对生命周期管理任务的执行情况进行异常通知。8.根据权利要求7所述的数据生命周期控制装置,其特征在于,所述判断模块包括:
获取单元,用于从触发器中获取表id;判断单元,用于判断当前的账期分区数量是否超过配置的生命周期数;推送单元,用于将删除任务推送至任务队列;任务队列单元,用于保存生成的删除任务。9.一种电子设备,包括:存储器和处理器,所述存储器用于存储计算机执行指令,所述处理器用于执行所述存储器存储的计算机执行指令,以实现如权利要求1-6中任一项所述的方法。10.一种介质,其特征在于,所述介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的方法。
技术总结
本申请提供一种数据生命周期的控制方法、装置、电子设备及介质。该方法包括:当元数据库的分区数据发生新增时,触发生成元数据表的生命周期管理任务,生命周期管理任务中包括元数据表的信息,元数据表的信息包括:元数据表所在的集群及其所属的数据库,以及元数据表的标识;元数据为数据文件的描述信息;根据元数据表的信息,从对应的元数据库中查询元数据表当前的分区数量;将元数据表的分区数量与预先配置的生命周期数进行比较,若分区数据超过生命周期数,则根据分区值的时间顺序生成删除任务,删除任务中包括待删除的元数据信息;在元数据表中执行删除任务。本申请的方法,降低了元数据库连接压力,并可及时高效地执行生命周期删除任务。期删除任务。期删除任务。
技术研发人员:刘子烨 杨波 王超
受保护的技术使用者:联通数字科技有限公司
技术研发日:2023.06.29
技术公布日:2023/10/10