Linux sort命令初探

我们在开发、维护的过程中,有时会需要将log、数据等做过滤和筛选

例如,我们有这样一个文件 daily_pv.txt ,它可能有10W行,其部分内容如下:

20170702    a    52331
20170703    a    63210
20170701    b    234213
20170703    b    341000
20170701    a    52103
20170702    b    233333

三列数据 分别对应了日期、地区标识、PV。此时我们可能需要将其按照时间排序,或是按照PV排序,方便我们进行分析。

很多时候我们的第一反应是写一小段代码,将文件读取到内存中,做排序然后再输出。这个方法是很好,但是比较费时,而我们使用一条shell命令就可以搞定。

但我们应该如何写呢?

首先让我们了解一下sort命令:

sort命令可以让我们快速的对数据进行排序,其语法及常用参数格式如下

sort [-bcfMnrtk][源文件][-o]

-b 忽略每行开头的空白字符
-c 检查文件是否已经按照顺序排序
-f 排序时,忽略大小写字母
-M 将前3个字母依照月份缩写进行排序
-n 依照数值大小进行排序
-o 排序结果输出文件路径
-r 逆序
-t 指定排序时以什么字符来分隔各栏位
-k 选择以-t分隔后的哪个区间来作为排序字段

让我们直接以上面的 daily_pv.txt 文件作为例子来演示

1、 不加任何参数,此时会按照每一行从头到尾的ASIIC码顺序来做排序

$ sort daily_pv.txt
20170701        a       52103
20170701        b       234213
20170702        a       52331
20170702        b       233333
20170703        a       63210
20170703        b       341000

2、按照第三栏的数字大小作为排序依据(记得要加-n,不然会按照ASIIC顺序做排序,则会把233333做为最小,而63210作为最大)

$ sort -t $'\t' -k 3 -n daily_pv.txt
20170701        a       52103
20170702        a       52331
20170703        a       63210
20170702        b       233333
20170701        b       234213
20170703        b       341000

细心的同学可能会注意到我们使用了 $’\t’ 来表示制表符,这是因为在sort命令中如果指定的分隔符是 ‘\t’,则需要用$来表示它本来的意思,否则sort无法识别’\t’,而如果是其他的字符例如’’,就不存在这个问题,当然我们也可以加上$,这是完全没有问题的。

3、只查看a的pv,按照日期排序

$ sort daily_pv.txt | grep a
20170701        a       52103
20170702        a       52331
20170703        a       63210

此时我们需要配合 grep 来进行食用,通过管道命令”|” 将前一个指令的输出作为后一个指令的输入。从而实现我们的过滤。