数据处理篇
把HTML转成文本：lynx -dump 标准输入
如果要处理XML，xmlstarlet会很棒。
对于Amazon S3，s3cmd 很方便(虽然还不太成熟，可能会有一些不太好的特性)。
了解sort 以及 uniq(包括uniq的 -u 以及 -d 选项)。
了解cut，paste，join 来操作文本文件。许多人使用cut但却忘了还有join。
当你要在文件之间做集合的加，减，以及差运算时，用sort/uniq是非常方便的。假如a和b是两个已经去重的文本文件，那么运算起来会很快，而且可以在任意大小的文件之间执行操作，甚至可以到GB字节大小。(sort不受内存限制，不过如果/tmp 在一个很小的root分区的话，你可能需要使用-T选项)
cat a b | sort | uniq > c # c is a union b cat a b | sort | uniq -d > c # c is a intersect b cat a b b | sort | uniq -u > c # c is set difference a - b
了解本地化会影响到许多命令行的工作，包括排序的顺序和性能。多数的linux安装包会把LANG或者其他一些本地化的变量设置为类似美国英语的一个本地设置。这会让sort和其他一些命令运行起来慢很多。(注意即使你使用UTF-8编码的文本，你仍然可以放心的通过ASCII码的顺序来排序，这一点用处很多)为避免i18n拖慢日常的工作，使用传统的基于字节的排序顺序，使用export LC_ALL=C(实际上，考虑在你的.bashrc里加进去)。
了解基本的AWK和sed命令来做简单的数据处理。例如：对一个文本文件的第三列的数字求和：awk ‘{x += $3} END {print x}’。 这大概比同等的python速度要快三倍并且代码长度也会简短3倍。
就地替换一个字符串在所有文件里所有出现的地方。
perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt
使用shuf来随机打乱一个文件中的行或者选择一个随机的行。
了解sort的各个选项。知道键值是如何工作的。特别是，当你要使用 -k1时，要格外注意：1只对第一个字段排序，-k1则意味着根据整个行排序。
稳定排序(sort -s)可能会有用。例如，先根据第二个字段排序，再根据第一个字段排序时，你可以使用sort -k1,1 | sort -s -k2,2
如果你需要在bash里的命令行里写入一个tab键的字面值的话，按Ctrl+V, <tab> 或者$‘\t’ (后者更好，因为你可以复制、粘贴)。
对于二进制文件，使用hd来进行简单的导出16进制表示或者用bvi进行二进制的编辑。
对于二进制文件，strings(还有grep等等)可以让你发现文件的字节位(0101).要对文件转编，可以试下iconv，或者如果要使用更高级的用法，试试uconv，它可以支持一些高级的Unicode方面的事情。比如，这条命令可以将重音都小写，并且去掉(通过扩展并且丢掉):
uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt
要将文件切片，可以试试split(根据大小切分)或者csplit(根据模式切分)。
