面试Hadoop DBA的重要问题


Apache Hadoop 是一种基于 Java 的跨平台开源软件框架,用于日益流行的“大数据”世界,用于分布式存储和处理大型数据集。Hadoop 最突出的用户是 Yahoo!、Facebook、公共云空间,如 Microsoft Azure、谷歌计算引擎和亚马逊网络服务,以及超过一半的财富 50 强。
Hadoop 相对较新,由 Doug Cutting 和 Mike Cafarella 于 2005 年创建。因此,只有少数数据库管理员可以称自己为 Hadoop 专家也就不足为奇了。如果您要外包顶级 DBA 专家团队的服务,您在面试时应该问几个问题。
 
你有具体的 Hadoop 经验吗? 
您可能会得到一名训练有素且经验丰富的 DBA,但拥有一名拥有 Hadoop 经验而非任何其他大数据解决方案经验的 DBA 是值得的。询问 DBA 是否对基础 Hadoop 框架有更多的基本了解,其中包括:

  • Hadoop Common 由其他模块使用的实用程序和库组成
  • HDFS(Hadoop分布式文件系统)是一种分布式文件系统,其中商用机器上的数据存储在集群中以获得高聚合带宽
  • Hadoop YARN 是一个资源管理平台,用于管理集群计算资源并使用资源来调度用户的应用程序
  • Hadoop Map Reduce 是一种用于大规模大数据处理的编程模型

一个优秀的 DBA 团队是一个已经从事业务多年的团队,因为在业务中的长寿表明良好的工作和相关经验。您可以从论坛和评论站点获得有关 Hadoop DBA 团队经验的提示。 
 
你知道Hadoop的商业应用吗? 
Hadoop 拥有比 Map Reduce 作业更多的应用程序,您的 DBA 应该了解这些可能的应用程序,以便从解决方案中获得最大收益。Apache 仍在开发其中一些应用程序,它们包括 Apache Hive 数据仓库系统、HBase 数据库和 Apache Mahout 机器学习系统。您可以使用 Hadoop 的一些商业应用程序是:
  • 点击流分析
  • 日志分析
  • 营销分析
  • 复杂的数据挖掘
  • 机器学习
  • 图像处理
  • XML 消息处理
  • 网页抓取
  • 文字处理
  • 一般存档,包括表格/关系数据以确保合规

 
DBA 最重要的角色是什么?
这个问题将帮助您了解 DBA 是否了解他在组织中的角色、如何与其他部门互动以及 Hadoop 在组织中的重要性。Hadoop 数据库管理不仅仅是在后台管理 MapReduce 作业。您的 DBA 身兼数职。
 
您将如何管理升级?
Hadoop 是开源的,这意味着您无需为软件付费。然而,这并不是说您不应该跟踪更新。您的 DBA 应该制定更新计划,因为这些计划旨在修复错误和添加功能。您还应该询问迁移和项目的计划和时间表,以及从失败和成功中吸取的经验教训。
 
大数据的趋势是什么?
一名优秀的 DBA 是一位了解大数据世界中正在发生的事情的人,因为这些信息将使您比竞争对手更具优势。询问 DBA 是否参与了相关的讨论论坛和开发者社区。您需要一位灵活且乐于接受新想法的 DBA。
 
您如何在当前或以前的角色中进行故障排除?
故障排除是 DBA 中最重要的技能之一,因为停机意味着收入损失。尽管随着时间的推移,可以从一个人的失败和成功中吸取教训,但故障排除技能大多是一种才能。一个好的 DBA 是一个有条不紊地进行故障排除的人。一个好的候选人是能够清楚地解释他/她的思考过程,坚持所做的决定并倾听团队成员的人。询问 DBA 他/她将如何与供应商互动,因为供应商支持不是免费的。
 
说说你自己?
虽然这个问题不会告诉你你的 DBA 的技术能力,但它会帮助你深入了解你正在面试的人的类型。您应该寻找一位多才多艺的 DBA,以避免在工作场所发生冲突。这个问题还将帮助您确定候选人对未来的关键任务是否有足够的信心和勇气。
  
说说你的公司?
聘请远程 DBA 专家是一个好主意,他是组织中较大团队的一部分,而不是雇用个人。这是因为团队成员将能够从团队成员那里获得帮助,并且与个人相比,组织更容易审查。
 
你使用哪些工具?
如果您要在大数据方面取得成功,您的 DBA 还应该具备其他相关技能。其中一些最重要的是数据建模和网络。他/她还应该拥有使工作更轻松所需的工具。除了 Hadoop 之外,您的 DBA 还应该熟悉其他相关工具来执行以下任务:
  • 性能监控
  • 警报
  • 数据建模
  • 备份压缩
  • 更换管理层

提出一两个相当困难或压力很大的问题,看看你的候选人如何处理压力。
  
你在和其他客户打交道吗?
如果您将服务外包,那么您的 DBA 很可能与其他客户打交道。这个问题将帮助您确定候选人的可信度。一个好的候选人是对其他客户诚实的人,但会告诉你他/她打算做什么以确保没有利益冲突。但是,您的职责是确保您聘用的 DBA 不会同时与您的直接竞争对手合作。