[TOC]
什么是正则表达式？
正则表达式（Regular Expression）是一个定义搜索模式的字符序列。
在做文字处理或编写程序时，若需要用到查找、替换等功能时，可以使用正则表达式来简单便捷地完成目标。
简单而言，正则表达式通过使用一些特殊符号，使得使用者可以方便轻松地实现查找、删除、替换等功能。
Vi 中经常会使用到正则表达式，为了充分发挥 shell 编程的威力，Linux 使用者需要精通正则表达式。
符号表
[:alnum:]代表英文大小写字母及数字
[:alpha:]代表英文大小写字母
[:blank:]代表空格和 tab 键
[:cntrl:]键盘上的控制按键，如 CR,LF,TAB,DEL
[:digit:]代表数字
[:graph:]代表空白字符以外的其他
[:lower:]小写字母
[:print:]可以被打印出来的任何字符
[:punct:]代表标点符号
[:upper:]代表大写字母
[:space:]任何会产生空白的字符如空格，tab,CR 等
[:xdigit:]代表 16 进位的数字类型
^word 表示待搜寻的字符串(word)在行首
word$ 表示待搜寻的字符串(word)在行尾
.(小数点) 表示 1 个任意字符
\ 表示转义字符，在特殊字符前加 \ 会将特殊字符意义去除
* 表示重复 0 到无穷多个前一个 RE(正则表达式)字符
+ 表示重复 1 到无穷多个前一个 RE(正则表达式)字符
? 表示重复 0 或1次前一个 RE(正则表达式)字符
(e1|e2) 表示出现e1或e2表达式
[list] 表示搜索含有 l,i,s,t 任意字符的字符串
[n1-n2] 表示搜索指定的字符串范围,例如 [0-9] [a-z] [A-Z] 等
[^list] 表示反向字符串的范围,例如 [^0-9] 表示非数字字符，[^A-Z] 表示非大写字符范围
\{n,m\} 表示找出 n 到 m 个前一个 RE 字符
\{n,\} 表示 n 个以上的前一个 RE 字符
- 使用linux grep查询
grep -n '[[:lower:]]' regular_express.txt
grep命令和regex
grep是一个在Unix和类Unix操作系统中常见的命令行工具，用于在文件中搜索匹配特定模式的文本。它的名称来自于”Global Regular Expression Print”（全局正则表达式打印）的缩写。
- 参数表
-a ：以 text 档案的方式搜寻 binary 档案数据
-c ：计算找到 '搜寻字符串' 的次数
-i ：忽略大小写的不同，所以大小写视为相同
-n ：顺便输出行号
-v ：反向选择，亦即显示没有 '搜寻字符串' 内容的行
字符组 []
[ ] 可以用来查找字符组。
值得注意的是，无论 [ ] 中包含多少个字符，它都只代表一个字符。比如说，我们想要查找 tast 或者 test 这两个字符串，注意到二者的拼写大部分相同，都是 t?st 的形式，故此时可以使用 [ ] 进行查找：
grep -n 't[ae]st' regular_express.txt
字符范围
字符组支持使用连字符 - 来表示一个范围。当 - 前后构成范围时，要求前面字符的码位小于后面字符的码位。
反向选择
[^] 为反向选择字符组，用于排除后面的字符，使用方式为 [^...]。
- eg.
[abc] ：表示 “a” 或 “b” 或 “c”
[0-9] ：表示 0~9 中任意一个数字，等价于 [0123456789]
[\u4e00-\u9fa5] :表示任意一个汉字
[^a1<] :表示除 “a”、“1”、“<” 外的其它任意一个字符
[^a-z] :表示除小写字母外的任意一个字符
行首符 ^ 与行尾符 $
行首符 ^
- 查找the开头的行
grep -n '^the' regular_express.txt
- 查找大写字母开头的行
grep -n '^[A-Z]' regular_express.txt
注意行首符 ^ 和反向选择 [^] 的区别，^[A-Z] 表示以大写字母开头。[^A-Z] 表示除了大写字母 A-Z 的所有字符。
行尾符 $
- 查找以d结尾的行
grep -n 'd$' regular_express.txt
特殊应用
- 查找空行
grep -n '^$' regular_express.txt
- 过滤掉空白行和注释行
cat -n /etc/insserv.conf
grep -v '^$' /etc/insserv.conf | grep -v '^#'
任意一个字符 . 与重复字符 *
任意一个字符 .
- 查找
a?ou?类型的字符：
grep -n 'a.ou.' regular_express.txt
其中小数点表示任意一个字符，一个小数点只能表示一个未知字符。
重复字符 *
*（星号）：代表重复前面 0 个或者多个字符。
e*： 表示具有空字符或者一个以上 e 字符。
ee*，表示前面的第一个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。
eee*，表示前面两个 e 字符必须存在。第三个 e 则可以是 0 个或者多个 e 字符。
ee*e ：表示前面的第一个与第三个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。
限定连续字符范围 { }
{ } 可限制一个范围区间内的重复字符数。由于 { 与 } 在 shell 中有特殊意义，故在使用时需要用到转义字符 \。
- 查找连续的两个 o 字符：
grep -n 'o\{2\}' regular_express.txt
- 查找 g 后面接 2 到 5 个 o，然后再接 g 的字符串：
grep -n 'go\{2,5\}g' regular_express.txt
- 一个串重复特定次数
grep -n "\(.*:\)\{3\}65534:" 文件名
sed命令和regex
sed 是非交互式的编辑器。它不会修改文件，除非使用 shell 重定向来保存结果。默认情况下，所有的输出行都会被打印到屏幕上。
sed 编辑器逐行处理文件（或输入），并将结果打印到屏幕上。
具体过程如下：首先 sed 把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。
sed 每处理完一行就将其从临时缓冲区删除，然后将下一行读入，进行处理和显示。处理完输入文件的最后一行后，sed 便结束运行。sed 把每一行都存在临时缓冲区中，对这个副本进行编辑，所以直接使用不会修改原文件内容。
- 如果要修改原文件，需要添加
-i选项。
输出文件内容
- 将 regular_express.txt 的内容列出并打印行号，并将 2-5 行删除显示 (闭区间2-5行)：
nl regular_express.txt | sed '2,5d'
- 删除第二行
nl regular_express.txt | sed '2d'
- 删除第三行到最后一行,
$表示定位到最后一行：
nl regular_express.txt | sed '3,$d'
- 使用
-i在原文件中删除第 1 行：
sed -i '1d' regular_express.txt
使用 a 和 i 新增输出
- 在第二行后添加字符串 test (新建一行)：
nl regular_express.txt | sed '2a test'
- 在第二行前添加字符串 test (新建一行)：
nl regular_express.txt | sed '2i test'
- 在第二行后添加两行 test，
\n表示换行符：
nl regular_express.txt | sed '2a test\ntest'
使用c“行内容替换”
- 将 2-5 行的内容替换为
No 2-5 number，c 为替换内容选项：
nl regular_express.txt | sed '2,5c No 2-5 number'
使用p输出指定行
- 输出指定的5-7行。若不加-n，会加上全部输出文本，加-n则只输出处理过的文本
这个命令中没有使用
-n选项，因此默认情况下所有处理过的文本行都会被输出到终端上，而p命令则是用来显式地打印出符合要求的文本行。
nl regular_express.txt |sed -n '5,7p'
使用s替换字符串
sed 's/lodstr/newstr/g'
拓展正则表达式
拓展正则表达式在linux环境下一般用 grep -E 或 egrep 使用
或方法｜
- （之前的方法）管道实现去除空行和注释行
grep -v '^$' regular_express.txt |grep -v '^#'
- 拓展命令实现去除空行和注释行
egrep -v '^$|^#' regular_express.txt
- 查找 gd 或 good
egrep -n 'gd|good' regular_express.txt
拓展字符重复匹配
在非扩展正则表达式中，我们使用 * 来表示任意个重复字符（零至无穷多个），在扩展正则表达式中，则可以进一步细分为一个或一个以上和零个或一个字符：
+ 表示重复一个或一个以上的前一个字符
egrep -n 'go+d' regular_express.txt
? 表示重复零个或一个的前一个字符
egrep -n 'go?d' regular_express.txt
组字符串匹配
() 表示找出组字符串
- 查找 glad 或 good，注意到由于二者存在重复字母，所以可以将其合并
egrep -n 'g(la|oo)d' regular_express.txt
()+ 多个重复群组判别
- 查找开头是 A 结尾是 C 中间有一个以上的
xyz或xz字符串：
echo 'AxyzxyzxyzxyzC'|egrep 'A(xyz)+C'
echo 'AxyzxyzxyzxyzC'|egrep 'A(xz)+C'
