双层元数据处理系统及方法

本发明涉及计算机存储系统体系结构领域，公开了一种双层元数据处理系统及方法。在本发明中，通过在元数据服务器中设置元数据处理服务器模块和元数据对象存储服务器模块，将对元数据进行的读取和修改操作请求进行了合理的分流，使得不同类型的元数据操作请求在不同的层次上进行处理，从而能够针对元数据操作请求的类型进行优化，同时，在处理读取元数据的操作请求时，可以根据请求创建多个元数据复本，以平衡对读取元数据操作的访问负载。

1.一种双层元数据处理系统，其特征在于，采用将元数据的处理与元数据的存储分离的两级元数据服务器结构，其包括多个元数据服务器以及客户端，其中：所述客户端用于向所述元数据服务器发出读取元数据以及修改元数据的请求；所述元数据服务器用于接收所述客户端发送而来的读取元数据以及修改元数据的请求，并按照请求类型的不同分别进行相应的元数据读取和元数据修改的操作，其中，所述元数据服务器中，包括元数据处理服务器模块以及元数据对象存储服务器模块；所述元数据处理服务器模块用于处理由客户端发送而来的元数据读取请求以及缓存元数据，所述元数据对象存储服务器模块用于元数据的存储以及处理由客户端发送而来的元数据修改请求；当所述客户端需要读取元数据时，直接向缓存有所述元数据的所述元数据处理服务器模块发出读取元数据的请求，并从所述元数据处理服务器模块中的缓存设备中读取所述元数据；当所述客户端需要修改元数据时，直接向存储有所述元数据的所述元数据对象存储服务器模块发出修改元数据的请求，并直接修改所述元数据。
2.根据权利要求1所述的一种双层元数据处理系统，其特征在于，同一元数据分别缓存在多个元数据处理服务器模块中。
3.根据权利要求1所述的一种双层元数据处理系统，其特征在于，同一元数据分别缓存在除存储有所述元数据的元数据服务器外的多个元数据服务器的元数据处理服务器模块中。
4.根据权利要求1所述的一种双层元数据处理系统，其特征在于，所述元数据处理服务器模块分别具有不同的元数据处理服务器编号，所述元数据对象存储服务器模块分别具有不同的元数据对象存储服务器编号，所述元数据处理服务器编号和所述元数据对象存储服务器编号分别构成元数据处理服务器编号数组和元数据对象存储服务器编号数组，并存储在所述双层元数据处理系统中。
5.根据权利要求1所述的一种双层元数据处理系统，其特征在于，所述元数据处理服务器模块中，包括第一元数据对象存储服务器确定函数模块，所述第一元数据对象存储服务器确定函数模块用于，当客户端向所述元数据处理服务器模块发出读取某个元数据的请求，但所述元数据处理服务器模块中没有缓存所述元数据时，确定所述元数据存储在哪个元数据服务器的元数据对象存储服务器模块中。
6.根据权利要求5所述的一种双层元数据处理系统，其特征在于，所述第一元数据对象存储服务器确定函数模块通过存储在所述第一元数据对象存储服务器确定函数模块中的元数据对象存储服务器确定函数，确定需要进行操作的元数据存储在哪个元数据服务器的元数据对象存储服务器模块中。
7.根据权利要求1所述的一种双层元数据处理系统，其特征在于，所述元数据对象存储服务器模块中，包括元数据处理服务器存储缓存表模块，用于为存储在所述元数据对象存储服务器模块中的元数据提供元数据处理服务器存储缓存表，所述元数据处理服务器存储缓存表用于存储缓存有与所述元数据处理服务器存储缓存表相对应的元数据的元数据处理服务器模块的元数据处理服务器编号。
8.根据权利要求1所述的一种双层元数据处理系统，其特征在于，所述客户端中，包括元数据处理服务器获取函数模块、元数据处理服务器读取缓存表模块以及第二元数据对象存储服务器确定函数模块；所述元数据处理服务器获取函数模块用于为所述客户端提供一个供所述客户端发送读取元数据的请求以读取某一特定元数据的元数据处理服务器模块的元数据处理服务器编号；所述元数据处理服务器读取缓存表模块用于为存储在所述双层元数据处理系统中的元数据提供元数据处理服务器读取缓存表，所述元数据处理服务器读取缓存表用于存储供所述客户端发送读取元数据的请求以读取与所述元数据处理服务器存储缓存表相对应的元数据的元数据处理服务器模块的元数据处理服务器编号及其访问频度；所述第二元数据对象存储服务器确定函数模块用于当所述客户端需要进行元数据修改的操作时，确定所述元数据存储在哪个元数据服务器的元数据对象存储服务器模块中。
9.根据权利要求8所述的一种双层元数据处理系统，其特征在于，所述元数据处理服务器读取缓存表中的表项按照所述元数据处理服务器模块的访问频度由小到大的顺序进行排列。
10.根据权利要求8所述的一种双层元数据处理系统，其特征在于，所述第二元数据对象存储服务器确定函数模块通过存储在所述第二元数据对象存储服务器确定函数模块中的元数据对象存储服务器确定函数，确定所述元数据存储在哪个元数据服务器的元数据对象存储服务器模块中。
11.根据权利要求4所述的一种双层元数据处理系统，其特征在于，所述元数据具有元数据编号、元数据名称以及元数据路径的属性信息。
12.根据权利要求11所述的一种双层元数据处理系统，其特征在于，所述元数据编号，包含有与所述元数据编号相对应的元数据的存储位置信息，通过所述存储位置信息得到存储有所述元数据的元数据对象存储服务器模块的元数据对象存储服务器编号。
13.根据权利要求11所述的一种双层元数据处理系统，其特征在于，所述元数据名称和元数据路径，用于利用hash函数进行计算以获得一hash值，使用所述hash值作为索引，从由所述双层元数据处理系统中的所有元数据对象存储服务器模块的元数据对象存储服务器编号所构成的数组中，搜索出存储有所需进行操作的元数据的元数据对象存储服务器模块的元数据对象存储服务器编号。
14.一种双层元数据处理方法，其特征在于，采用将元数据的处理与元数据的存储分离的两级元数据服务器结构，其包括以下步骤：步骤100，对双层元数据处理系统进行初始化，在所述双层元数据处理系统中的元数据服务器中分别设置元数据处理服务器模块以及元数据对象存储服务器模块，其中：所述元数据处理服务器模块用于处理由客户端发送而来的元数据读取请求以及缓存元数据，所述元数据对象存储服务器模块用于元数据的存储以及处理由客户端发送而来的元数据修改请求；步骤200，根据客户端的操作，对存储在双层元数据处理系统中的元数据进行读取或修改操作，其中：当所述客户端需要读取元数据时，直接向缓存有所述元数据的所述元数据处理服务器模块发出读取元数据的请求，并从所述元数据处理服务器模块中的缓存设备中读取所述元数据；当所述客户端需要修改元数据时，直接向存储有所述元数据的所述元数据对象存储服务器模块发出修改元数据的请求，并直接修改所述元数据。
15.根据权利要求14所述的一种双层元数据处理方法，其特征在于，所述步骤100中，包括以下步骤：步骤110，为每个元数据处理服务器模块分别设置元数据处理服务器编号，为每个元数据对象存储服务器模块分别设置元数据对象存储服务器编号，为所有元数据处理服务器编号和所有元数据对象存储服务器编号分别设置存储在所述双层元数据处理系统中的元数据处理服务器编号数组和元数据对象存储服务器编号数组，为每个元数据处理服务器模块设置初始的访问频度以及最大访问频度；步骤120，在所述元数据处理服务器模块中设置第一元数据对象存储服务器确定函数模块以及在所述元数据对象存储服务器模块中设置元数据处理服务器存储缓存表模块，其中：所述第一元数据对象存储服务器确定函数模块用于，当客户端向所述元数据处理服务器模块发出读取某个元数据的请求，但所述元数据处理服务器模块中没有缓存所述元数据时，确定所述元数据存储在哪个元数据服务器的元数据对象存储服务器模块中；；所述元数据处理服务器存储缓存表模块，用于为存储在所述元数据对象存储服务器模块中的元数据提供元数据处理服务器存储缓存表，所述元数据处理服务器存储缓存表用于存储缓存有与所述元数据处理服务器存储缓存表相对应的元数据的元数据处理服务器模块的元数据处理服务器编号；步骤130，在所述双层元数据处理系统中的客户端中设置元数据处理服务器获取函数模块、元数据处理服务器读取缓存表模块以及第二元数据对象存储服务器确定函数模块；所述元数据处理服务器获取函数模块用于为所述客户端提供一个供所述客户端发送读取元数据的请求以读取某一特定元数据的元数据处理服务器模块的元数据处理服务器编号；所述元数据处理服务器读取缓存表模块用于为存储在所述双层元数据处理系统中的元数据提供元数据处理服务器读取缓存表，所述元数据处理服务器读取缓存表用于存储供所述客户端发送读取元数据的请求以读取与所述元数据处理服务器存储缓存表相对应的元数据的元数据处理服务器模块的元数据处理服务器编号及其访问频度；所述第二元数据对象存储服务器确定函数模块用于当所述客户端需要进行元数据修改的操作时，确定所述元数据存储在哪个元数据服务器的元数据对象存储服务器模块中。
16.根据权利要求15所述的一种双层元数据处理方法，其特征在于，所述元数据处理服务器模块用于处理由客户端发送而来的元数据读取请求以及缓存元数据，所述元数据对象存储服务器模块用于元数据的存储以及处理由客户端发送而来的元数据修改请求。
17.根据权利要求16所述的一种双层元数据处理方法，其特征在于，同一元数据分别缓存在多个元数据处理服务器模块中。
18.根据权利要求14所述的一种双层元数据处理方法，其特征在于，当所述客户端进行读取元数据的操作时，所述步骤200中包括以下步骤：步骤211，客户端通过存储在所述元数据处理服务器获取函数模块中的元数据处理服务器获取函数，获取到一个元数据处理服务器模块的元数据处理服务器编号，并向所述元数据处理服务器编号所指定的元数据处理服务器模块发送元数据读取请求，进入步骤212；步骤212，所述元数据处理服务器模块接收到由所述客户端发送来的元数据读取请求后，搜索在所述元数据处理服务器模块的缓存设备中是否缓存有用户需要读取的元数据，如果所述元数据处理服务器模块的缓存设备中缓存有所需读取的元数据，则将所述元数据、所述元数据处理服务器模块的元数据处理服务器编号以及所述元数据处理服务器模块的访问频度返回给所述客户端，进入步骤214，如果所述元数据处理服务器模块的缓存设备中没有缓存所需读取的元数据，则将所述客户端发送来的元数据读取请求、所述元数据处理服务器模块的元数据处理服务器编号和所述元数据处理服务器模块的访问频度发送给存储有所述元数据的元数据对象存储服务器模块，进入步骤S213；步骤213，所述元数据对象存储服务器模块接收到由所述元数据处理服务器模块转发来的所述客户端发送的元数据读取请求后，将与所述请求一同发送而来的所述元数据处理服务器模块的元数据处理服务器编号记录到存储在所述元数据对象存储服务器模块的元数据处理服务器存储缓存表模块中的，与所述需要读取的元数据相对应的所述元数据的元数据处理服务器存储缓存表中，而后，将所述需要读取的元数据及与所述请求一起发送至所述元数据对象存储服务器模块的所述元数据处理服务器模块的元数据处理服务器编号与所述元数据处理服务器模块的访问频度一并发送给所述客户端，同时，将所述需要读取的元数据发送给所述元数据处理服务器模块，进入步骤214；步骤214，所述客户端接收到由所述元数据处理服务器模块或所述元数据对象存储服务器模块传送而来的元数据后，将与所述元数据一起传送而来的所述元数据处理服务器模块的元数据处理服务器编号以及所述元数据处理服务器模块的访问频度记录在所述客户端的所述元数据处理服务器读取缓存表模块中所存储的，与所述元数据相对应的元数据处理服务器读取缓存表中，其中，若所述元数据处理服务器读取缓存表中没有与所述元数据处理服务器模块相对应的表项，则添加相应的表项，并按照访问频度由小到大的顺序将所添加的表项插入到所述元数据处理服务器读取缓存表中，若所述元数据处理服务器读取缓存表中有与所述元数据处理服务器模块相对应的表项，则取下该表项，更新该表项中所记录的所述元数据处理服务器模块的访问频度，并按照访问频度由小到大的顺序将该表项插入到所述元数据处理服务器读取缓存表中，操作结束。
19.根据权利要求18所述的一种双层元数据处理方法，其特征在于，所述元数据处理服务器获取函数用以实现以下功能：根据客户端所需要读取的元数据的元数据编号，或所述元数据的元数据名称和元数据路径的信息组合，查询存储在客户端的，与所述客户端需要读取的元数据相对应的该元数据的元数据处理服务器读取缓存表是否为空；如果所述元数据处理服务器读取缓存表为空，则随机选择一个用于缓存所述元数据的元数据处理服务器模块，并将所述元数据处理服务器模块的元数据处理服务器编号和所述元数据处理服务器模块的初始的访问频度加入到所述元数据的元数据处理服务器读取缓存表中，而后将所述元数据处理服务器模块的元数据处理服务器编号返回给客户端；如果所述元数据处理服务器读取缓存表不为空，则选取所述元数据处理服务器读取缓存表中的第一项，如果所述第一项中的元数据处理服务器模块的访问频度大于初始化时所设定的所述元数据处理服务器模块的最大访问频度，且所述元数据处理服务器读取缓存表的总项数小于初始化时设定的所述元数据处理服务器读取缓存表的最大项数，则随机选择未被该元数据的元数据处理服务器读取缓存表所记录的用于缓存所述元数据的元数据处理服务器模块中的一个，将该元数据处理服务器模块的元数据处理服务器编号和访问频度加入到所述元数据处理服务器读取缓存表中，并将该元数据处理服务器模块的元数据处理服务器编号返回给客户端；否则，直接将所述元数据处理服务器读取缓存表中第一项所记录的元数据处理服务器模块的元数据处理服务器编号返回给客户端。
20.根据权利要求18所述的一种双层元数据处理方法，其特征在于，所述客户端向所述元数据处理服务器模块发送元数据读取请求中，包括所需读取的元数据的元数据编号，或所述元数据的元数据名称和元数据路径的信息组合。
21.根据权利要求18所述的一种双层元数据处理方法，其特征在于，在步骤212中，所述元数据处理服务器模块通过所述元数据处理服务器模块中的元数据对象存储服务器确定函数模块中的元数据对象存储服务器确定函数，以确定需要读取的元数据存储在哪个元数据对象存储服务器模块中。
22.根据权利要求21所述的一种双层元数据处理方法，其特征在于，所述元数据对象存储服务器确定函数用以实现以下功能：当从所述客户端发送而来的元数据操作请求是INODE操作请求时，所述元数据对象存储服务器确定函数通过所述INODE操作请求中所包含的需要进行操作的元数据的元数据编号，获取与所述元数据编号相对应的元数据对象存储服务器编号信息，所述元数据对象存储服务器编号即为存储有需要进行操作的元数据的元数据对象存储服务器模块的编号；当从所述客户端发送而来的元数据操作请求是LOOKUP操作请求时，所述元数据对象存储服务器确定函数通过所述LOOKUP操作请求中所包含的需要进行操作的元数据的元数据名称以及元数据路径，利用hash函数获得一hash值，并使用此hash值作为索引，从由所述双层元数据处理系统中的所有元数据对象存储服务器模块的元数据对象存储服务器编号所构成的数组中，搜索出存储有所需进行操作的元数据的元数据对象存储服务器模块的元数据对象存储服务器编号。
23.根据权利要求14所述的一种双层元数据处理方法，其特征在于，当所述客户端进行修改元数据的操作时，所述步骤200中包括以下步骤：步骤221，所述客户端通过存储在所述客户端的第二元数据对象存储服务器确定函数模块中的元数据对象存储服务器确定函数，确定存储有需要进行修改的元数据的元数据对象存储服务器模块，并向所述元数据对象存储服务器模块发送元数据修改请求，进入步骤222；步骤222，所述存储有需要进行修改的元数据的元数据对象存储服务器模块接收到所述元数据修改请求后，查询存储在所述元数据对象存储服务器模块的元数据处理服务器存储缓存表模块中的与所要修改的元数据相对应的元数据处理服务器存储缓存表，并向与所述元数据处理服务器存储缓存表中每一项所对应的元数据处理服务器模块发送修改后的元数据以及元数据替换请求，所述元数据处理服务器模块接收到所述修改后的元数据以及元数据替换请求后，使用所述修改后的元数据替换缓存在所述元数据处理服务器模块的缓存设备中的相应的元数据，并向所述元数据对象存储服务器模块返回更新成功的消息，所述元数据对象存储服务器模块接收到所有更新成功的消息后，向所述客户端发送元数据更新成功的消息。