linux命令对某一列去重/统计

cat file.csv | awk -F '\t' '{print $2}'

目前成都创新互联已为上千家的企业提供了网站建设、域名、网页空间、网站托管运营、企业网站设计、舟曲网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

'\t'指的是file.csv不同列以'\t'分割，如果的是以其他符号分割，换成其她符号；

'{print $2}'是指取第2列，此处从1开始计数，第1列，第2列；

一般去重之前要进行排序

cat file.csv | awk -F '\t' '{print $2}' | sort | uniq

前半部分与命令1一样，后面加上| sort | uniq

比如通过命令2发现，第2列取值有两种，分别是'neg'和‘pos’，那么我想知道有多少行的第2列取值为'pos'，多少行的第2列取值为'neg'。

cat file.csv | awk -F '\t' '{print $2}' | grep -o 'neg'| wc -l

前半部分与命令1一样，后面加上 | grep -o 'neg'| wc -l

grep -o 'neg'就是取出取值为'neg'的行

wc -l 是计数有多少行

linux下删除某一目录下所有非文件夹的文件命令

$ ls --file-type | grep -v "/$" | xargs rm -f

该命令删除当前目录下除了文件夹以外的所有文件。

使用 ls --file-type 会列举出当前目录下所有的文件和文件夹，且文件夹后面会带一个 /

再用 grep -v 将文件夹过滤掉，文件夹的 / 符号在结尾，所以使用正则表达式 "/$" 过滤

最后将其他所有的文件通过 rm 命令删除，此时需要将文件名通过 xargs 传递到命令行参数中。

linux 如何快速删除大文件的第一行

1、使用vim编辑器来打开文件。

2、来看第一种方式，删除文件中指定的行，当使用vim打开文件的时候，页面的右下角会显示出当前光标的位置，比如光标停在第一排5的位置，右下角显示的就是1-5。

3、然后就可以根据这个字符找到指定的列，在vim编辑器的普通模式下，按下键盘上的x键，就会删除这个字符。然后再移动 j 键，光标就会移动到下一行，就这样依次按下j 、x键，就能很快删除不同行中的同一列。

4、还有一种方法，将光标移动到未删除的第5列数字上，然后在键盘上按下ctrl+v键。如下面图中所示，编辑页面的左下角会出现一个VISUAL BLOCK字样。。

5、然后这时，再按键盘上的 j 键往下移动，这个时候会发现，所有第5列的字符都被选中了。

6、这个时候再按删除的 x 键，第5列的字符就瞬间被删除了。就完成了。

分享文章：包含Linux清除某一列命令的词条
本文URL：http://abwzjs.com/article/dopciii.html