Write the Code. Change the World.

5月 17

随着互联网的普及,人们的上网行为每天都产生着海量的数据,这些数据蕴含着巨大的价值,清楚的刻画着社会的方方面面,现如今,数据已经成为一种商业资本,一项经济投入,政府和企业都在研究如何从海量数据中获得新的认知、新的方法和创造新的价值,这就促进了大数据的发展,企业用大数据技术往往运行在Linux环境下,大数据工程师需要掌握一定的Linux技术,以下是老男孩教育归纳的大数据工程师需要掌握的Linux技术

一、VMware Workstation

  1. VMware软件安装与配置,网络连接模式,NAT、桥接、OnlyHost
  2. 宿主机、虚拟机、客户机异同,虚拟机完全克隆、虚拟机链接克隆

  3. mac地址修改,虚拟网卡设置,虚拟网络编辑器,虚拟机移除

二、CentOS

  1. Linux系统简介,CentOS,Ubuntu,Windows

  2. CentOS下载、安装与配置
    继续阅读

1月 05

批处理是一种高效的操作模式。既然是批量,就得有迹可循,有规则可定义。比如给最后5个文件打包压缩,又比如只将.jpg文件打包压缩。下边,就来总结下常见的操作。

先看下for循环

cd ss
for i in `find ./*.jpg`;
do echo $i;
done

上边的 for 循环会将 ss文件下,所有的以 .jpg 结尾的文件名列出来。需要注意 符号以及变量$i`。
继续阅读

11月 15

我们除了使用 phpmyadmin 管理mysql数据库,还会用到 navicat等。但,就是连接不上,提示 Host xxx.xxx.xxx.xxxis not allowed to connect to this MariaDB server。这个是没有权限啊。

原来,刚装的mysql,由于执行安全初始化脚本(mysql_secure_installation)的时候,禁用root用户远程登录设置为true了。所以,下边有两种方法来解决这个问题。

  1. 改表法。
  2. 授权法。

以下操作,在linux下进行。
继续阅读

11月 09

拥有自己的服务器,这个时候从本地上传文件到服务器或从服务器下载文件到本地就很必要了。你可以用ftp工具,但这样有的时候不方便。因为对服务器的使用和操作都是在shell下进行。通常我们通过xshell去操控自己的服务器。rz,sz工具就是一个很好的工具。通过命令rz上传文件到服务器,sz下载服务器文件到本地。秒秒钟,在命令里搞定。

安装rzsz

yum install -y lrzsz

使用

上传。输入命令rz,就会弹出选择窗口。选择所要上传的文件。多文件通常以.zip的方式上传,方便解压。

rz

下载。进入到对应目录,sz 文件名,也会弹出选择窗口,选择适当的位置,确定,就可以了。

cd xxx
sz xxxxx

记住,该命令仅在 xshell等这样的工具下才可以。

7月 01

前言

既然,使用 wnmp 。没有图形界面,所有配置都需要手动设置,改变。做的站点也不止一个,如果所有站点的配置都写在一个conf文件中,看起来有点臃肿。对每个站点,进行单独配置比较有必要。
继续阅读

6月 28

前言

在安装mongodb php扩展之前,请先安装 mongodb。

下载安装

php7以下扩展下载地址:http://pecl.php.net/package/mongo

查看 php mongodb的扩展的版本以及下载链接。php7在 http://pecl.php.net/package/mongodb 查看。这里的环境是php7,请注意。

cd /usr/local/src/php-mongodb
wget https://pecl.php.net/get/mongodb-1.2.8.tgz
tar -xzvf mongodb-1.2.8.tgz
mv /usr/local/src/php-mongodb/mongodb-1.2.8 /data/server/php-mongodb

继续阅读

6月 23

redis特性

redis是一种key-value存储。它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富。value类型有字符串,哈希,链表,集合和有序集合。支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。

redis的所有数据都是保存在内存中(效率高),然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”);也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。

redis使用场景
1. 取最新N个数据的操作
2. 排行榜应用,取TOPN操作
3. 需要精确设定过期时间的应用
4. 计数器应用
5. Uniq操作,获取某段时间所有数据排重值
6. 实时系统,反垃圾系统
7. Pub/Sub构建实时消息系统
8. 构建队列系统
9. 缓存

redis的特性使得它有足够的魅力。在php站点中,php redis的使用也越来越多。redis的特性以及应用场景 可以参考下边的文章:
http://www.cnblogs.com/markhe/articles/5689102.html

想要使用php redis扩展,必然先要安装redis
继续阅读

6月 23

下载phpmyadmin

https://www.phpmyadmin.net/downloads/

当前,phpmyadmin的最新版本是4.7.0。与php7以及mariadb10.1.22适配。

cd /usr/local/src/phpmyadmin
wget https://files.phpmyadmin.net/phpMyAdmin/4.7.0/phpMyAdmin-4.7.0-all-languages.tar.gz
tar -xzvf phpMyAdmin-4.7.0-all-languages.tar.gz
mkdir /data/www/phpmyadmin
mv /usr/local/src/phpmyadmin/phpMyAdmin-4.7.0-all-languages /data/www/phpmyadmin

继续阅读

6月 23

前因

由于mysql被收购,闭源等原因。很多公司和用户选择了使用mariadb。关于mysqlmariadb 的比较,可以参考下边的文章。
http://www.oschina.net/news/80081/mariadb-is-not-only-mysql-replacement

依赖包的安装以及清除旧版本

yum groupinstall -y Development Tools
yum -y install gcc gcc-c++ make cmake  readline-devel zlib-devel ncurses ncurses-devel 
yum -y install libevent man  libxml2 libxml2-devel openssl-devel bison bison-devel  libaio-devel

rpm -qa|grep mysql 
rpm -qa|grep mariadb
rpm -e --nodeps  mariadb-libs-5.5.50-1.el7_2.x86_64

安装好依赖包后,清除掉旧版本的mysqlmariadb
继续阅读