随着互联网的普及，人们的上网行为每天都产生着海量的数据，这些数据蕴含着巨大的价值，清楚的刻画着社会的方方面面，现如今，数据已经成为一种商业资本，一项经济投入，政府和企业都在研究如何从海量数据中获得新的认知、新的方法和创造新的价值，这就促进了大数据的发展，企业用大数据技术往往运行在Linux环境下，大数据工程师需要掌握一定的Linux技术，以下是老男孩教育归纳的大数据工程师需要掌握的Linux技术
一、VMware Workstation
- VMware软件安装与配置，网络连接模式，NAT、桥接、OnlyHost
-
宿主机、虚拟机、客户机异同，虚拟机完全克隆、虚拟机链接克隆
-
mac地址修改，虚拟网卡设置，虚拟网络编辑器，虚拟机移除
二、CentOS
-
Linux系统简介，CentOS，Ubuntu，Windows
-
CentOS下载、安装与配置
目录结构
-
目录结构：/bin /sbin /usr/bin /usr/sbin /usr/local/bin /usr/local/sbin /home /dev /tmp /boot /etc /mnt
-
文件类型：d: 目录，-: 文件，|: 软连接，b: 块设备
-
权限范围：User，group，other
-
权限类型：read，writer，execute，none
-
权限命令：chown，chmod u+x，chmod +x，chmod 777，chmod ugo+x
-
用户命令：adduser，useradd，userdel
四、Linux命令
-
目录操纵：ls , cd, rm, pwd, whoami, mkdir, mv, find, grep, |, dirname, basename
-
文件操作：touch, cat, head, tail ,cp ,more, file, tar, gzip, gunzip, ln
-
终端操作：clear, whoami, echo, redirect, help, reboot,cut
-
网络命令：ifconfig, ping, hostname, firewalld服务, scp, rsync
-
进程控制：kill, nestat, jobs, ps, top
-
管理控制：sudo password, uname, export, source, service, chkconfig
-
文本命令：nano, vi, wc, sed,awk
-
设备管理：mount, umount
-
帮助命令：help, info, man
-
磁盘管理：fdisk, df, dd
-
shell编程：if命令，for循环，while循环
-
控制命令：&&, ||, ;, (;), $?, $#, $0, $@, shift
-
瑞士军刀：nc, 监听端口, client连接, 聊天实现, 文件传输
-
日期控制：date, 时间滚动, 时间格式化, 时钟同步
-
任务调度：crontab
-
软件安装：yum, make, make install
-
提示符配置：export PSl=’[\u@\h’pwd’]\$’
-
SSH配置：ssh-keygen,ssh-copy-id
额外
-
最后50次成功连接ssh
last -n 50 -
最后50次失败连接ssh(一定程度上看到别人的非法连接)
lastb -n 50 -
环境变量的设置
vim /etc/profile source /etc/profile -
自启动配置，定时任务配置。
-
……
文章来源
http://bbs.oldboyedu.com/article-236-1.html