转载
我最近用的Agentic编程平台Qoder，内置了强大的Claude4智能模型，支持快速检索海量代码文件，可以在短时间内完成高质量开发。用Qoder开发一个完整的电商网站，前后端一气呵成，原本需要几天的工作，现在只需十分钟。现在免费，快去体验一下吧~ https://qoder.com/
一、基础讲解
1. 主机ping不同虚拟机
虚拟机要设置IP地址，ip段是vmware
编辑菜单-->虚拟网络编辑器 网段，
网关:192.168.XXX.2
IP地址，不要是.1/.2
把vmware装好以后，在"网络适配器"里，应该多出两个虚拟网卡
2. linux
使用linux里的一些命令
cd：切换目录
tar -zxvf ....tar.gz，对tar文件进行解压
su [用户名] 不写用户名，默认是切换到root用户
vi 文件名称。刚进入的时候，是命令模式
输入i，进入insert模式
编辑完成后，按esc退出inseret模式
:wq 保存退出
:q 只退出
:q! 强制退出
用户机制：
root用户，超级用户，对整个linux系统有完全的权限
一般不使用这个用户，这个用户的权限太大了
普通用户，有一定的权限
一般可以操作自己家目录和/tmp目录
用户家目录/home/用户名
linux权限
ll命令查看文件的时候，
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 26 23:11 Desktop
drwxr-xr-x：10个字符，
第一个字符表示文件的类型，-代表是文件，d是目录，l"快捷方式"
后面9个字符，分为了3组，每组是3个字符
第一组(文件所有者的权限信息)：rwx，r可读，w可写，x可执行
第二组(文件所有者的同一组其他用户的权限信息)
第三组：其他用户的权限信息
linux里的文件系统
和windows不一样，没有盘符的概念
只有一个根目录 /
/root root用户的家目录
3.ssh免密登录：rsa加密方式，会生出一个公钥和私钥
配置的时候，需要把公钥发送给受信任主机
A主机 B主机
A把自己的公钥发送给B，A就可以免密登录B
二、之前的配置操作可能出现的问题
格式化出错
配置文件有问题
进程少一个
大部分是namennode，一般来说，是hosts文件没有配置
ping 主机名
重启后进程少了
/tmp里和hadoop相关的文件被删除了
格式化操作：
bin/hdfs namenode -format操作生成了一些格式化信息
默认在/tmp/hadoop-用户名/dfs/name/current/VERSION
如果需要再次格式化，需要把上面的信息删除
因为格式化信息默认是在/tmp，该目录里的文件可能被linux系统删除
把HDFS的存储信息，放到一个安全的地方
在hdfs-site.xml文件中设置
<property> <name>dfs.name.dir</name> <value>/home/hadoop/appData/hadoop/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/appData/hadoop/data</value> </property>1.2.3.4.5.6.7.8.
重新格式化
三、关键节点解释
NameNode在内存中存储集群的元数据
元数据：
文件的类型，权限
文件块的信息
数据节点的信息等
fsimage：集群的镜像文件，存储了集群的元数据
edits文件：保持对文件系统的修改(元数据)
fsimage和edits文件都是存储元数据，有什么区别。
随着集群的使用，元数据会越来越多，1M--100M--1G--10G
当元数据是1M的时候，写数据很快
当元数据到达10G的时候，想写数据没那么容易
edits每次对集群修改的时候，先把元数据写到edtis文件中，
等到达一定条件的时候(时间，文件大小)，再把edits文件和fsimage进行合并
HDFS文件系统和linux文件系统比较类似
HDFS文件系统是建立在linux文件系统之上的
SecondaryNameNode是Namenode的一个备用，但是在NN失效后，SecondaryNameNode不能及时切换为NN
SecondaryNameNode主要作用是把fsimage和edits文件进行合并
NN要恢复，需要fsimage和edits文件，如果NN的磁盘坏了，NN会丢失数据
因为只能使用SecondaryNameNode里存储的fsimage文件。
退出安全模式
bin/hdfs dfsadmin -safemode leave
DN：执行NN的指令(读文件，删除文件，添加文件)
每隔3秒向NN发送一个心跳。告诉NN我还活着
每隔6小时向NN报告块信息
四、hadoop命令
[hadoop@hadoop hadoop-2.6.0]$ bin/hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-count [-q] [-h] <path> ...] [-cp [-f] [-p | -p[topax]] <src> ... <dst>] [-createSnapshot <snapshotDir> [<snapshotName>]] [-deleteSnapshot <snapshotDir> <snapshotName>] [-df [-h] [<path> ...]] [-du [-s] [-h] <path> ...] [-expunge] [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-getfacl [-R] <path>] [-getfattr [-R] {-n name | -d} [-e en] <path>] [-getmerge [-nl] <src> <localdst>] [-help [cmd ...]] [-ls [-d] [-h] [-R] [<path> ...]] [-mkdir [-p] <path> ...] [-moveFromLocal <localsrc> ... <dst>] [-moveToLocal <src> <localdst>] [-mv <src> ... <dst>] [-put [-f] [-p] [-l] <localsrc> ... <dst>] [-renameSnapshot <snapshotDir> <oldName> <newName>] [-rm [-f] [-r|-R] [-skipTrash] <src> ...] [-rmdir [--ignore-fail-on-non-empty] <dir> ...] [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]] [-setfattr {-n name [-v value] | -x name} <path>] [-setrep [-R] [-w] <rep> <path> ...] [-stat [format] <path> ...] [-tail [-f] <file>] [-test -[defsz] <path>] [-text [-ignoreCrc] <src> ...] [-touchz <path> ...] [-usage [cmd ...]]1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.
在这里的local指的是linux的文件系统
没有加local则是HDFS
上传文件
bin/hadoop fs -copyFromLocal/-put localsrc dst
查看文件
bin/hadoop fs -ls path
-rw-r--r-- 1 hadoop supergroup 101 2017-06-27 23:26 /NOTICE.txt
查看的命令和显示的结果都和linux相似，这样可以降低学习hadoop的成本
查看文件内容
bin/hadoop fs -cat path
chmod u+[rwx] 文件
chmod 777 文件
777 rwxrwxrwx
744 rwxr--r--
下载文件
bin/hadoop fs -copyToLocal/-get src localdst
创建目录
bin/hadoop fs -mkdir /aa --创建一级目录
bin/hadoop fs -mkdir -p /aa --一次创建多级目录，增加参数-p
删除目录
bin/hadoop fs -rmdir /aa --只能删除空目录
删除文件
bin/hadoop fs -rm /NOTICE.txt
bin/hadoop fs -rm -r /NOTICE.txt -r进行递归删除
单独启动NN进程
nohup bin/hdfs namenode &
Hadoop web接口。http://192.168.85.99:50070/
关闭防火墙
root用于：service iptables stop
我最近用的Agentic编程平台Qoder，内置了强大的Claude4智能模型，支持快速检索海量代码文件，可以在短时间内完成高质量开发。用Qoder开发一个完整的电商网站，前后端一气呵成，原本需要几天的工作，现在只需十分钟。现在免费，快去体验一下吧~ https://qoder.com/
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
赞 收藏 评论 举报相关文章
