面试题：HBase与MapReduce集成中常见的安全问题及解决思路

Question

在HBase与MapReduce集成场景下，通常会面临哪些安全问题？请至少列举3种，并简要阐述对应的解决思路。

Answer 1

1. 数据泄露问题：
   • 问题阐述：HBase中的敏感数据可能通过MapReduce作业被未授权用户获取。例如，员工信息表中的薪资数据，如果MapReduce作业权限控制不当，可能被非财务人员获取。
   • 解决思路：
     • 基于角色的访问控制（RBAC）：在Hadoop和HBase层面设置基于角色的权限。不同角色（如财务、普通员工等）对HBase表和MapReduce作业有不同的访问权限。只有授权角色（如财务角色）才能运行涉及薪资数据处理的MapReduce作业。
     • 数据加密：对HBase中的敏感数据进行加密存储，MapReduce作业在处理数据时，需使用相应密钥解密。这样即使数据被非法获取，由于没有密钥也无法解读。
2. 作业篡改问题：
   • 问题阐述：恶意用户可能篡改MapReduce作业，使其在处理HBase数据时执行恶意操作，比如删除数据或插入错误数据。例如，修改统计销售额的MapReduce作业，使其汇报虚假的销售数据。
   • 解决思路：
     • 作业签名与验证：对提交的MapReduce作业进行数字签名，Hadoop集群在执行作业前验证签名的有效性。只有签名正确的作业才能被执行，防止作业被篡改。
     • 代码审查机制：建立代码审查流程，对提交到生产环境的MapReduce作业代码进行人工审查，确保代码没有恶意逻辑。
3. 资源滥用问题：
   • 问题阐述：某些用户可能提交大量MapReduce作业，占用过多Hadoop集群资源，导致其他正常作业无法运行。例如，一些用户为了加快自己任务的执行，提交过量作业，使整个集群资源紧张。
   • 解决思路：
     • 资源队列与配额管理：在Hadoop YARN中设置资源队列，为不同用户或作业类型分配固定的资源配额。当某个用户提交的作业超出其配额时，作业会被排队等待资源释放，从而避免资源被个别用户滥用。
     • 作业优先级设置：为不同的MapReduce作业设置优先级，重要的作业（如生产报表生成作业）优先级高，优先获得资源执行，防止低优先级作业占用过多资源影响重要作业。
4. 身份认证问题：
   • 问题阐述：如果身份认证机制不完善，可能有非法用户假冒合法用户身份提交MapReduce作业访问HBase数据。例如，黑客通过窃取合法用户的认证信息，提交恶意作业。
   • 解决思路：
     • 强身份认证：采用多因素认证（MFA），如用户名/密码结合令牌（Token）认证。除了传统的用户名和密码，用户还需要提供动态生成的令牌，增加认证的安全性。
     • 单点登录（SSO）：建立单点登录系统，用户只需在一处登录，就可以在Hadoop和HBase等相关系统间无缝切换，同时统一的认证管理可以更好地保障身份认证的安全性。