Hadoop可以运行的三种模式是什么?
Hadoop可以运行的三种模式是: 1. 独立(本地)模式 2. 伪分布式模式 3. 完全分布式模式
独立(本地)模式有哪些特点?在独立模式下,没有守护进程,一切都在单个 JVM 上运行。它没有 DFS 并使用本地文件系统。单机模式仅适用于 在开发过程中运行MapReduce程序。它是使用最少的环境之一。
伪模式有什么特点?
伪模式用于开发和 QA 环境。在伪模式下,所有守护进程都在同一台机器上运行。
我们可以将虚拟机称为伪虚拟机吗?
不,虚拟机不是伪虚拟机,因为虚拟机是不同的,而虚拟机是非常特定于 Hadoop 的。
全分布式模式有什么特点?
完全分布式模式用于生产环境,我们有“n”台机器组成一个 Hadoop 集群。Hadoop 守护进程在一组机器上运行。Namenode 运行在一台主机上,datanode 运行在另一台主机上,然后有一些机器上运行任务跟踪器。在这个发行版中,我们有单独的主设备和单独的从设备。
Hadoop 是否遵循 UNIX 模式?
是的,Hadoop 紧跟 UNIX 模式。与 UNIX 一样,Hadoop 也有“conf”目录。
Hadoop安装在哪个目录?
Cloudera 和 Apache 具有相同的目录结构。Hadoop 安装在 cd
/usr/lib/hadoop/
Namenode、job tracker、task tracker的端口号分别是多少?
Namenode 的端口号是“50070”,作业跟踪器的端口号是“50030”,任务跟踪器的端口号是“50060”。
什么是 Hadoop 核心配置?
Hadoop 核心由两个 xml 文件配置:
1. hadoop-default.xml 已重命名为 2. hadoop-site.xml。
这些文件以 xml 格式编写。我们在这些 xml 文件中有某些属性,它们由名称和值组成。
目前Hadoop配置文件有哪些?
有Hadoop中3个配置文件:
1.芯的site.xml
2. HDFS-site.xml中
3. mapred-site.xml中
这些文件位于的hadoop / CONF /子目录。
如何退出 Vi 编辑器?
要退出 Vi 编辑器,请按 ESC 并键入 :q,然后按 Enter。
什么是 RAM 的溢出因子?
溢出因子是文件移动到临时文件后的大小。Hadoop-temp 目录用于此目的。
fs.mapr.working.dir 是单个目录吗?
是的, fs.mapr.working.dir 它只是一个目录。
hdfs-site.xml 的三个主要属性是什么?
hdfs-site.xml 的三个主要属性是:
1. dfs.name.dir,它为您提供元数据将被存储的位置以及 DFS 所在的位置——磁盘上或远程上。
2. dfs.data.dir 为您提供数据将被存储的位置。
3. fs.checkpoint.dir 用于二级Namenode。
如何退出插入模式?
要退出插入模式,请按 ESC,键入 :q(如果您还没有写入任何内容)或键入 :wq(如果您在文件中写入了任何内容),然后按 ENTER。
Cloudera 是什么以及为什么使用它?
Cloudera 是 Hadoop 的发行版。它是默认在 VM 上创建的用户。Cloudera 属于 Apache,用于数据处理。
如果在键入 hadoop fsck / 时出现“连接被拒绝的 Java 异常”,会发生什么情况?
这可能意味着 Namenode 无法在您的 VM 上运行。
我们正在使用带有Cloudera 的Ubuntu 操作系统,但我们可以从哪里
“jps”命令有什么作用?
此命令检查您的 Namenode、datanode、任务跟踪器、作业跟踪器等是否正常工作。
如何重新启动 Namenode?
1. 单击 stop-all.sh,然后单击 start-all.sh 或
2. 写入 sudo hdfs(按 Enter)、su-hdfs(按 Enter)、/ etc/init.d/ha (按 Enter)和然后 /etc/init.d/hadoop-namenode 启动(按回车键)。
fsck 的完整形式是什么?
fsck 的完整形式是文件系统检查。
我们如何检查 Namenode 是否正常工作?
要检查 Namenode 是否正常工作,请使用命令 /etc/init.d/hadoop-namenode status 或像 jps 一样简单。
命令 mapred.job.tracker 有什么作用?
命令 mapred.job.tracker 列出您的哪些节点充当作业跟踪器。
/etc /init.d 有什么作用?
/etc /init.d 指定守护程序(服务)的放置位置或查看这些守护程序的状态。它非常特定于 LINUX,与 Hadoop 无关。
我们如何在浏览器中查找 Namenode?
如果非要在浏览器中查找Namenode,不必给出localhost:8021,在浏览器中查找Namenode的端口号是50070。
如何从 SU 更改为 Cloudera?
要从 SU(超级用户)更改为 Cloudera,只需键入 exit。
启动和关闭命令使用哪些文件?
从站和主站由启动和关闭命令使用。
从节点Slaver由什么组成?
从节点或从站由主机列表组成,每行一个,这些主机托管数据节点和任务跟踪器服务器。
主节点Master由什么组成?
Masters 包含一个主机列表,每行一个,用于托管辅助名称节点服务器。
hadoop-env.sh 有什么作用?
hadoop-env.sh 为 Hadoop 提供了运行环境。JAVA_HOME设置在这里。
我们可以在主文件中有多个条目吗?
是的,我们可以在主文件中有多个条目。
hadoop-env.sh 文件在哪里?
hadoop-env.sh 文件存在于 conf 位置。
在 Hadoop_PID_DIR 中,PID 代表什么?
PID 代表“进程 ID”。
/var/hadoop/pids 有什么作用?
它存储PID。
hadoop-metrics.properties 文件有什么作用?
hadoop-metrics.properties 用于“报告”目的。它控制 Hadoop 的报告。默认状态为“不报告”。
Hadoop 的网络要求是什么?
Hadoop 核心使用 Shell (SSH) 在从节点上启动服务器进程。它需要主机和所有从机以及辅助机器之间的无密码 SSH 连接。
为什么在完全分布式环境中需要无密码 SSH?
我们需要在全分布式环境中使用无密码 SSH,因为当集群处于 LIVE 并在全分布式环境中运行时,通信过于频繁。作业跟踪器应该能够快速将任务发送到任务跟踪器。
这会导致安全问题吗?
一点都不。Hadoop 集群是一个孤立的集群。通常它与互联网无关。它有一种不同的配置。我们不必担心这种安全漏洞,例如有人通过互联网进行黑客攻击等等。Hadoop 有一种非常安全的方式来连接到其他机器以获取和处理数据。
SSH 在哪个端口上工作?
SSH 在端口号 22 上工作,但它可以配置。22 是默认端口号。
你能告诉我们更多关于 SSH 的信息吗?
SSH 只不过是一种安全的shell 通信,它是一种工作在22 号端口上的协议,当您进行SSH 时,您真正需要的是密码。
为什么 SSH localhost 需要密码?
SSH 中需要密码以确保安全以及在
未设置无密码通信的情况下。
即使密钥是在 SSH 中添加的,我们是否需要提供密码?
是的,即使在 SSH 中添加了密钥,仍然需要密码。
如果 Namenode 没有数据怎么办?
如果 Namenode 没有数据,则它不是 Namenode。实际上,Namenode 会有一些数据。
当 Namenode 关闭时,作业跟踪器会发生什么?
当 Namenode 关闭时,您的集群将关闭,这是因为 Namenode 是 HDFS 中的单点故障。
当作业跟踪器关闭时,Namenode 会发生什么?
当作业跟踪器关闭时,它不会起作用,但 Namenode 会出现。因此,如果 Namenode 正在工作,即使作业跟踪器不工作,集群也可以访问。
您能否提供更多有关 Master 和 Slaves 之间 SSH 通信的详细信息?
SSH 是一种无密码安全通信,其中数据包通过从站发送。它具有某种格式,数据可以通过这种格式发送。SSH 不仅在主从之间,而且在两台主机之间。
DFS 的格式是什么?
就像我们在 Windows 上所做的那样,DFS 被格式化为正确的结构。通常不会这样做,因为它也会格式化 Namenode。
HDFS 客户端决定输入拆分还是 Namenode?
不,客户没有决定权。它已在已配置输入拆分的配置之一中指定。
在Cloudera中已经有一个集群,但是如果我想在Ubuntu上形成一个集群我们可以吗?
是的,你可以继续这个!有创建新集群的安装步骤。您可以卸载现有集群并安装新集群。
我们可以从头开始创建一个 Hadoop 集群吗?
是的,一旦我们熟悉了 Hadoop 环境,我们也可以这样做。
我们可以将 Windows 用于 Hadoop 吗?
实际上,Red Hat Linux 或 Ubuntu 是 Hadoop 的最佳操作系统。Windows 不常用于安装 Hadoop,因为 Windows 有许多支持问题。因此,Windows 不是 Hadoop 的首选环境。