摘 要

随着物联网、社交网络以及云计算等技术的迅猛发展，各行各业的数据规模快速增长，大数据时代正式到来。云存储技术可以有效地支持大数据的高效存储域分析。

开源云平台Hadoop广泛应用构建分布式云存储平台。然而，使用基于Hadoop构建的云存储平台（Hadoop-Based Clouds，HBClouds）进行文件存储操作时，用户数据通常以明文信息存储，存在发生丢失和数据泄露的可能。因此，如何为HBClouds提供安全可靠的云存储服务成为亟需解决的问题。

针对上述问题，本文旨在针对Hadoop云存储平台进行文本类数据安全存储问题进行分析和研究，主要做了如下工作：

（1）针对云存储平台特别是Hadoop云存储平台的安全性分析，提出了HBClouds安全存储架构。该安全存储架构主要针对文本存储处理操作提出，确保文本数据在Hadoop云平台中存储以及操作的安全性；结构化文本是传统平台的主要应用数据集，为了便于云用户高效地使用此类数据集，HBClouds存储架构提供基于分布式的文本映射存储功能。

（2）针对Hadoop云存储平台存储文本数据的安全挑战，设计了自适应安全存储方法（Adaptive Secure Store Method，ASSM）；同时针对安全存储的结构化文本文件，设计了基于MapReduce的结构化文本映射存储（MapReduce-Based Mapping，MRM）方法。ASSM首先采用AES（Advanced Encryption Standard，高级加密标准）对上传的文本数据进行加密；为了保证产生密钥的安全性，采用RSA加密算法对密钥加密；为了进一步验证加密前后数据的完整性和一致性，采用SHA-256（Secure Hash Algorithm，安全散列算法）生成摘要信息，并利用RSA算法对生成的摘要信息进行数字签名。MRM方法利用了MapReduce分布式结构存储的特性，实现将海量加密的结构化文本文件高效转存映射。

（3）在实验环境下，构建了Hadoop应用测试集群，选取电力用户数据作为研究对象验证ASSM以及MRM的有效性和性能。结果表明，ASSM能够对文本数据进行安全存储；同时，MRM能够对结构化的文本数据进行HBase高效转存操作。

关键词：Hadoop，安全存储，ASSM，云计算，HBClouds