玩转Linux操作系统

操作系统发展史

只有硬件没有软件的计算机系统被称之为“裸机”，我们很难用“裸机”来完成计算机日常的工作（如存储和运算），所以必须用特定的软件来控制硬件的工作。最靠近计算机硬件的软件是系统软件，其中最为重要的就是“操作系统”。“操作系统”是控制和管理整个计算机硬件和软件资源、实现资源分配和任务调配、为系统用户以及其他软件提供接口和环境的程序的集合。

没有操作系统（手工操作）

在计算机诞生之初没有操作系统的年代，人们先把程序纸带（或卡片）装上计算机，然后启动输入机把程序送入计算机，接着通过控制台开关启动程序运行。当程序执行完毕，打印机输出计算的结果，用户卸下并取走纸带（或卡片）。第二个用户上机，重复同样的步骤。在整个过程中用户独占机器，CPU等待手工操作，资源利用率极低。

批处理系统

首先启动计算机上的一个监督程序，在监督程序的控制下，计算机能够自动的、成批的处理一个或多个用户的作业。完成一批作业后，监督程度又从输入机读取作业存入磁带机。按照上面的步骤重复处理任务。监督程序不停的处理各个作业，实现了作业的自动转接，减少了作业的建立时间和手工操作时间，提高了计算机资源的利用率。 批处理系统又可以分为单道批处理系统、多道批处理系统、联机批处理系统、脱机批处理系统。

分时系统和实时系统

分时系统是把处理器的运行时间分成很短的时间片，按时间片轮流把处理机分配给各联机作业使用。 若某个作业在分配给它的时间片内不能完成其计算，则该作业暂时中断，把处理机让给另一作业使用，等待下一轮调度时再继续其运行。由于计算机速度很快，作业运行轮转得很快，给每个用户的感觉是他独占了一台计算机。而每个用户可以通过自己的终端向系统发出各种操作控制命令，在充分的人机交互情况下，完成作业的运行。为了解决分时系统不能及时响应用户指令的情况，又出现了能够在在严格的时间范围内完成事件处理，及时响应随机外部事件的实时系统。

通用操作系统

• 1960s：IBM的System/360系列的机器有了统一的操作系统OS/360。
• 1965年：AT&T的贝尔实验室加入GE和MIT的合作计划开始开发MULTICS。
• 1969年：MULTICS项目失败，Ken Tompson赋闲在家，为了玩“Space Travel”游戏用汇编语言在当时已经被淘汰的PDP-7上开发了Unics。

• 1970年~1971年：Ken Tompson和Dennis Ritchie用B语言在PDP-11上重写了Unics，并在Brian Kernighan的建议下将其更名为Unix。

• 1972年~1973年：Dennis Ritchie发明了C语言来取代可移植性较差的B语言，并开启了用C语言重写Unix的工作。
• 1974年：Unix推出了里程碑意义的第5版，几乎完全用C语言来实现。
• 1979年：从Unix第7版开始，AT&T发布新的使用条款，将Unix私有化。
• 1987年：Andrew S. Tanenbaum教授为了能在课堂上为学生讲解操作系统运作的细节，决定在不使用任何AT&T的源代码前提下，自行开发与Unix兼容的操作系统以避免版权上的争议，该系统被命名为Minix。

• 1991年：Linus Torvalds就读于芬兰赫尔辛基大学期间，尝试在Minix上做一些开发工作，但因为Minix只是作为教学用途的操作系统，功能并不强大，为了方便在学校的新闻组和邮件系统中读写和下载文件，Linus编写了磁盘驱动程序和文件系统，这些东西形成了Linux系统内核的雏形。

下图是Unix操作系统家族的图谱。

Linux概述

Linux是一个通用操作系统。一个操作系统要负责任务调度、内存分配、处理外围设备I/O等操作。操作系统通常由内核（运行其他程序，管理像磁盘、打印机等硬件设备的核心程序）和系统程序（设备驱动、底层库、shell、服务程序等）两部分组成。

Linux内核是芬兰人Linus Torvalds开发的，于1991年9月发布。而Linux操作系统作为Internet时代的产物，它是由全世界许多开发者共同合作开发的，是一个自由的操作系统（注意自由和免费并不是同一个概念）。

Linux系统优点

1. 通用操作系统，不跟特定的硬件绑定。
2. 用C语言编写，可移植性强，有内核编程接口。
3. 支持多用户和多任务，支持安全的分层文件系统。
4. 大量的实用程序，完善的网络功能以及强大的支持文档。
5. 可靠的安全性和良好的稳定性，对开发者更友好。

Linux系统发行版本

1. Redhat
2. Ubuntu
3. CentOS
4. Fedora
5. Debian
6. openSUSE

基础命令

Linux系统的命令通常都是如下所示的格式：

• 获取登录信息

• 查看自己使用的Shell – ps。

Shell也被称为“壳”或“壳程序”，它是用户与操作系统内核交流的翻译官，简单的说就是人与计算机交互的界面和接口。目前很多Linux系统默认的Shell都是bash（Bourne Again SHell），因为它可以使用tab键进行命令和路径补全、可以保存历史命令、可以方便的配置环境变量以及执行批处理操作。

• 查看命令的说明和位置 – whatis / which / whereis。

• 清除屏幕上显示的内容 – clear。
• 查看帮助文档 – man / info / help / apropos。

• 查看系统和主机名 – uname / hostname。

• 时间和日期 – date / cal。

• 重启和关机 – reboot / shutdown。

• 退出登录 – exit / logout。
• 查看历史命令 – history。

实用程序

文件和文件夹操作

• 创建/删除空目录 – mkdir / rmdir。

• 创建/删除文件 – touch / rm。

• • touch命令用于创建空白文件或修改文件时间。在Linux系统中一个文件有三种时间：
    • 更改内容的时间 – mtime。
    • 更改权限的时间 – ctime。
    • 最后访问时间 – atime。
  • rm的几个重要参数：
    • -i：交互式删除，每个删除项都会进行询问。
    • -r：删除目录并递归的删除目录中的文件和目录。
    • -f：强制删除，忽略不存在的文件，没有任何提示。
• 换和查看当前工作目录 – cd / pwd。

• 查看目录内容 – ls。
  • -l：以长格式查看文件和目录。
  • -a：显示以点开头的文件和目录（隐藏文件）。
  • -R：遇到目录要进行递归展开（继续列出目录下面的文件和目录）。
  • -d：只列出目录，不列出其他内容。
  • -S / -t：按大小/时间排序。
• 看文件内容 – cat / tac / head / tail / more / less / rev / od。

• 拷贝/移动文件 – cp / mv。

• 文件重命名 – rename。

• 查找文件和查找内容 – find / grep。

• 创建链接和查看链接 – ln / readlink。

• 压缩/解压缩和归档/解归档 – gzip / gunzip / xz。

• 归档和解归档 – tar。

• 将标准输入转成命令行参数 – xargs。

下面的命令会将查找当前路径下的html文件，然后通过xargs将这些文件作为参数传给rm命令，实现查找并删除文件的操作。

下面的命令将a.txt文件中的多行内容变成一行输出到b.txt文件中，其中<表示从a.txt中读取输入，>表示将命令的执行结果输出到b.txt中。

• 显示文件或目录 – basename / dirname。
• 其他相关工具。
  • sort – 对内容排序
  • uniq – 去掉相邻重复内容
  • tr – 替换指定内容为新内容
  • cut / paste – 剪切/黏贴内容
  • split – 拆分文件
  • file – 判断文件类型
  • wc – 统计文件行数、单词数、字节数
  • iconv – 编码转换

管道和重定向

• 管道的使用 – |。

例子：查找当前目录下文件个数。

例子：列出当前路径下的文件和文件夹，给每一项加一个编号。

例子：查找record.log中包含AAA，但不包含BBB的记录的总数

• 输出重定向和错误重定向 – > / >> / 2>。

• 输入重定向 – <

• 多重定向 – tee。

下面的命令除了在终端显示命令ls的结果之外，还会追加输出到ls.txt文件中。

别名

• alias

• unalias

文本处理

• 字符流编辑器 – sed。

sed是操作、过滤和转换文本内容的工具。假设有一个名为fruit.txt的文件，内容如下所示。

接下来，我们在第2行后面添加一个pitaya。

在第2行前面插入一个waxberry。

删除第3行。

删除第2行到第4行。

将文本中的字符a替换为@。

将文本中的字符a替换为@，使用全局模式。

• 模式匹配和处理语言 – awk。

awk是一种编程语言，也是Linux系统中处理文本最为强大的工具，它的作者之一和现在的维护者就是之前提到过的Brian Kernighan（ken和dmr最亲密的伙伴）。通过该命令可以从文本中提取出指定的列、用正则表达式从文本中取出我们想要的内容、显示指定的行以及进行统计和运算，总之它非常强大。

假设有一个名为fruit2.txt的文件，内容如下所示。

显示文件的第3行。

显示文件的第2列。

显示文件的最后一列。

输出末尾数字大于等于300的行。

上面展示的只是awk命令的冰山一角，更多的内容留给读者自己在实践中去探索。

用户管理

• 创建和删除用户 – useradd / userdel。

• • -d – 创建用户时为用户指定用户主目录
  • -g – 创建用户时指定用户所属的用户组
• 创建和删除用户组 – groupadd / groupdel。

说明：用户组主要是为了方便对一个组里面所有用户的管理。

• 修改密码 – passwd。

• • -l / -u – 锁定/解锁用户。
  • -d – 清除用户密码。
  • -e – 设置密码立即过期，用户登录时会强制要求修改密码。
  • -i – 设置密码过期多少天以后禁用该用户。
• 查看和修改密码有效期 – chage。

设置hellokitty用户100天后必须修改密码，过期前15天通知该用户，过期后15天禁用该用户。

• 切换用户 – su。

• 以管理员身份执行命令 – sudo。

• 编辑sudoers文件 – visudo。

这里使用的编辑器是vi，关于vi的知识在后面有讲解。该文件的部分内容如下所示：

• 显示用户与用户组的信息 – id。
• 给其他用户发消息 -write / wall。

发送方：

接收方：

• 查看/设置是否接收其他用户发送的消息 – mesg。

文件系统

文件和路径

1. 命名规则：文件名的最大长度与文件系统类型有关，一般情况下，文件名不应该超过255个字符，虽然绝大多数的字符都可以用于文件名，但是最好使用英文大小写字母、数字、下划线、点这样的符号。文件名中虽然可以使用空格，但应该尽可能避免使用空格，否则在输入文件名时需要用将文件名放在双引号中或者通过对空格进行转义。
2. 扩展名：在Linux系统下文件的扩展名是可选的，但是使用扩展名有助于对文件内容的理解。有些应用程序要通过扩展名来识别文件，但是更多的应用程序并不依赖文件的扩展名，就像file命令在识别文件时并不是依据扩展名来判定文件的类型。
3. 隐藏文件：以点开头的文件在Linux系统中是隐藏文件（不可见文件）。

目录结构

1. /bin – 基本命令的二进制文件。
2. /boot – 引导加载程序的静态文件。
3. /dev – 设备文件。
4. /etc – 配置文件。
5. /home – 普通用户主目录的父目录。
6. /lib – 共享库文件。
7. /lib64 – 共享64位库文件。
8. /lost+found – 存放未链接文件。
9. /media – 自动识别设备的挂载目录。
10. /mnt – 临时挂载文件系统的挂载点。
11. /opt – 可选插件软件包安装位置。
12. /proc – 内核和进程信息。
13. /root – 超级管理员用户主目录。
14. /run – 存放系统运行时需要的东西。
15. /sbin – 超级用户的二进制文件。
16. /sys – 设备的伪文件系统。
17. /tmp – 临时文件夹。
18. /usr – 用户应用目录。
19. /var – 变量数据目录。

访问权限

• chmod – 改变文件模式比特。

长格式查看目录或文件时显示结果及其对应权限的数值如下表所示。

• chown – 改变文件所有者。

• chgrp – 改变用户组。

磁盘管理

• 列出文件系统的磁盘使用状况 – df。

• 盘分区表操作 – fdisk。

• 磁盘分区工具 – parted。
• 格式化文件系统 – mkfs。

• • -t – 指定文件系统的类型。
  • -c – 创建文件系统时检查磁盘损坏情况。
  • -v – 显示详细信息。
• 文件系统检查 – fsck。
• 转换或拷贝文件 – dd。
• 挂载/卸载 – mount / umount。
• 创建/激活/关闭交换分区 – mkswap / swapon / swapoff。

编辑器 – vim

• 启动vim。可以通过vi或vim命令来启动vim，启动时可以指定文件名来打开一个文件，如果没有指定文件名，也可以在保存的时候指定文件名。

• 命令模式、编辑模式和末行模式：启动vim进入的是命令模式（也称为Normal模式），在命令模式下输入英文字母i会进入编辑模式（Insert模式），屏幕下方出现– INSERT –提示；在编辑模式下按下Esc会回到命令模式，此时如果输入英文:会进入末行模式，在末行模式下输入q!可以在不保存当前工作的情况下强行退出vim；在命令模式下输入v会进入可视模式（Visual模式），可以用光标选择一个区域再完成对应的操作。
• 保存和退出vim：在命令模式下输入: 进入末行模式，输入wq可以实现保存退出；如果想放弃编辑的内容输入q!强行退出，这一点刚才已经提到过了；在命令模式下也可以直接输入ZZ实现保存退出。如果只想保存文件不退出，那么可以在末行模式下输入w；可以在w后面输入空格再指定要保存的文件名。
• 光标操作。
  • 在命令模式下可以通过h、j、k、l来控制光标向左、下、上、右的方向移动，可以在字母前输入数字来表示移动的距离，例如：10h表示向左移动10个字符。
  • 在命令模式下可以通过Ctrl+y和Ctrl+e来实现向上、向下滚动一行文本的操作，可以通过Ctrl+f和Ctrl+b来实现向前和向后翻页的操作。
  • 在命令模式下可以通过输入英文字母G将光标移到文件的末尾，可以通过gg将光标移到文件的开始，也可以通过在G前输入数字来将光标移动到指定的行。
• 文本操作。
  • 删除：在命令模式下可以用dd来删除整行；可以在dd前加数字来指定删除的行数；可以用d$来实现删除从光标处删到行尾的操作，也可以通过d0来实现从光标处删到行首的操作；如果想删除一个单词，可以使用dw；如果要删除全文，可以在输入:%d（其中:用来从命令模式进入末行模式）。
  • 复制和粘贴：在命令模式下可以用yy来复制整行；可以在yy前加数字来指定复制的行数；可以通过p将复制的内容粘贴到光标所在的地方。
  • 撤销和恢复：在命令模式下输入u可以撤销之前的操作；通过Ctrl+r可以恢复被撤销的操作。
  • 对内容进行排序：在命令模式下输入%!sort。
• 查找和替换。
  • 查找操作需要输入/进入末行模式并提供正则表达式来匹配与之对应的内容，例如：/doc.*.，输入n来向前搜索，也可以输入N来向后搜索。
  • 替换操作需要输入:进入末行模式并指定搜索的范围、正则表达式以及替换后的内容和匹配选项，例如：:1,$s/doc.*/hello/gice，其中：
    • g – global：全局匹配。
    • i – ignore case：忽略大小写匹配。
    • c – confirm：替换时需要确认。
    • e – error：忽略错误。
• 参数设定：在输入:进入末行模式后可以对vim进行设定。
  • 设置Tab键的空格数：set ts=4
  • 设置显示/不显示行号：set nu / set nonu
  • 设置启用/关闭高亮语法：syntax on / syntax off
  • 设置显示标尺（光标所在的行和列）： set ruler
  • 设置启用/关闭搜索结果高亮：set hls / set nohls

• 高级技巧
  • 较多个文件。

• • 打开多个文件。

启动vim后只有一个窗口显示的是foo.txt，可以在末行模式中输入ls查看到打开的三个文件，也可以在末行模式中输入b <num>来显示另一个文件，例如可以用:b 2将bar.txt显示出来，可以用:b 3将hello.txt显示出来。

• • 拆分和切换窗口。

可以在末行模式中输入sp或vs来实现对窗口的水平或垂直拆分，这样我们就可以同时打开多个编辑窗口，通过按两次Ctrl+w就可以实现编辑窗口的切换，在一个窗口中执行退出操作只会关闭对应的窗口，其他的窗口继续保留。

• • 映射快捷键：在vim下可以将一些常用操作映射为快捷键来提升工作效率。

例子1：在命令模式下输入F4执行从第一行开始删除10000行代码的操作。

例子2：在编辑模式下输入__main直接补全为if __name__ == ‘__main__’:。

• • 录制宏。
    • 在命令模式下输入qa开始录制宏（其中a是寄存器的名字，也可以是其他英文字母或0-9的数字）。
    • 执行你的操作（光标操作、编辑操作等），这些操作都会被录制下来。
    • 如果录制的操作已经完成了，按q结束录制。
    • 通过@a（a是刚才使用的寄存器的名字）播放宏，如果要多次执行宏可以在前面加数字，例如100@a表示将宏播放100次。
    • 可以试一试下面的例子来体验录制宏的操作，该例子来源于Harttle Land网站，该网站上提供了很多关于vim的使用技巧，有兴趣的可以了解一下。

软件安装和配置

使用包管理工具

• yum – Yellowdog Updater Modified。
  • yum search：搜索软件包，例如yum search nginx。
  • yum list installed：列出已经安装的软件包，例如yum list installed | grep zlib。
  • yum install：安装软件包，例如yum install nginx。
  • yum remove：删除软件包，例如yum remove nginx。
  • yum update：更新软件包，例如yum update可以更新所有软件包，而yum update tar只会更新tar。
  • yum check-update：检查有哪些可以更新的软件包。
  • yum info：显示软件包的相关信息，例如yum info nginx。
• rpm – Redhat Package Manager。
  • 安装软件包：rpm -ivh <packagename>.rpm。
  • 移除软件包：rpm -e <packagename>。
  • 查询软件包：rpm -qa，例如可以用rpm -qa | grep mysql来检查是否安装了MySQL相关的软件包。

下面以Nginx为例，演示如何使用yum安装软件。

移除Nginx。

下面以MySQL为例，演示如何使用rpm安装软件。要安装MySQL需要先到MySQL官方网站下载对应的RPM文件，当然要选择和你使用的Linux系统对应的版本。MySQL现在是Oracle公司旗下的产品，在MySQL被收购后，MySQL的作者重新制作了一个MySQL的分支MariaDB，可以通过yum进行安装。

移除安装的MySQL。

下载解压配置环境变量

下面以安装MongoDB为例，演示这类软件应该如何安装。

源代码构建安装

• 安装Python 3.6。

• 安装Redis-3.2.12。

配置服务

我们可以Linux系统下安装和配置各种服务，也就是说我们可以把Linux系统打造成数据库服务器、Web服务器、缓存服务器、文件服务器、消息队列服务器等等。Linux下的大多数服务都被设置为守护进程（驻留在系统后台运行，但不会因为服务还在运行而导致Linux无法停止运行），所以我们安装的服务通常名字后面都有一个字母d，它是英文单词daemon的缩写，例如：防火墙服务叫firewalld，我们之前安装的MySQL服务叫mysqld，Apache服务器叫httpd等。在安装好服务之后，可以使用systemctl命令或service命令来完成对服务的启动、停止等操作，具体操作如下所示。

• 启动防火墙服务。

• 终止防火墙服务。

• 重启防火墙服务。

• 查看防火墙服务状态。

• 设置/禁用防火墙服务开机自启。

计划任务

• 在指定的时间执行命令
  • at – 将任务排队，在指定的时间执行。
  • atq – 查看待执行的任务队列。
  • atrm – 从队列中删除待执行的任务。

指定3天以后下午5点要执行的任务。

查看待执行的任务队列。

从队列中删除指定的任务。

• 计划任务表 – crontab。

和crontab相关的文件在/etc目录下，通过修改/etc目录下的crontab文件也能够定制计划任务。

网络访问和管理

• 安全远程连接 – ssh。

• 通过网络获取资源 – wget。
  • -b 后台下载模式
  • -O 下载到指定的目录
  • -r 递归下载
• 发送和接收邮件 – mail。
• 网络配置工具（旧） – ifconfig。

• 网络配置工具（新） – ip。

• 网络可达性检查 – ping。

• 显示或管理路由表 – route。
• 查看网络服务和端口 – netstat / ss。

• 网络监听抓包 – tcpdump。
• 安全文件拷贝 – scp。

• 文件同步工具 – rsync。

• 安全文件传输 – sftp。

• • help：显示帮助信息。
  • ls/lls：显示远端/本地目录列表。
  • cd/lcd：切换远端/本地路径。
  • mkdir/lmkdir：创建远端/本地目录。
  • pwd/lpwd：显示远端/本地当前工作目录。
  • get：下载文件。
  • put：上传文件。
  • rm：删除远端文件。
  • bye/exit/quit：退出sftp。

进程管理

查看进程 – ps。

• 显示进程状态树 – pstree。

• 查找与指定条件匹配的进程 – pgrep。

• 通过进程号终止进程 – kill。

例子：用一条命令强制终止正在运行的Redis进程。

• 通过进程名终止进程 – killall / pkill。

结束名为mysqld的进程。

结束hellokitty用户的所有进程。

• 将进程置于后台运行。
  • Ctrl+Z – 快捷键，用于停止进程并置于后台。
  • & – 将进程置于后台运行。

• 查询后台进程 – jobs。

• 让进程在后台继续运行 – bg。

• 将后台进程置于前台 – fg。

• 调整程序/进程运行时优先级 – nice / renice。
• 用户登出后进程继续工作 – nohup。

• 跟踪进程系统调用情况 – strace。

• 查看当前运行级别 – runlevel。

• 实时监控进程占用资源状况 – top。

• • -c – 显示进程的整个路径。
  • -d – 指定两次刷屏之间的间隔时间（秒为单位）。
  • -i – 不显示闲置进程或僵尸进程。
  • -p – 显示指定进程的信息。

系统诊断

• 系统启动异常诊断 – dmesg。
• 查看系统活动信息 – sar。

• • -A – 显示所有设备（CPU、内存、磁盘）的运行状况。
  • -u – 显示所有CPU的负载情况。
  • -d – 显示所有磁盘的使用情况。
  • -r – 显示内存的使用情况。
  • -n – 显示网络运行状态。
• 看内存使用情况 – free。

• 虚拟内存统计 – vmstat。

• CPU信息统计 – mpstat。

• 查看进程使用内存状况 – pmap。

• 报告设备CPU和I/O统计信息 – iostat。

• 显示所有PCI设备 – lspci。

• 显示进程间通信设施的状态 – ipcs。

Shell编程

之前我们提到过，Shell是一个连接用户和操作系统的应用程序，它提供了人机交互的界面（接口），用户通过这个界面访问操作系统内核的服务。Shell脚本是一种为Shell编写的脚本程序，我们可以通过Shell脚本来进行系统管理，同时也可以通过它进行文件操作。总之，编写Shell脚本对于使用Linux系统的人来说，应该是一项标配技能。

互联网上有大量关于Shell脚本的相关知识，我不打算再此对Shell脚本做一个全面系统的讲解，我们通过下面的代码来感性的认识下Shell脚本就行了。

例子1：输入两个整数m和n，计算从m到n的整数求和的结果。

例子2：自动创建文件夹和指定数量的文件。

例子3：自动安装指定版本的Redis。

相关资源

• Linux命令行常用快捷键

• man查阅命令手册的内容说明