12 个后端必备的Linux小技巧!

后端开发,经常需要与 Linux 系统打交道和使用到一些命令。

Linux 系统的提供了很多小而美的工具,集成了管道符、重定向、强大的命令等等,处理工作起来可以说是非常的优雅,可以将很多复杂的工作自动化。

今天博主就给大家介绍一些基本的 Linux shell 技巧,有了这些,开发效率杠杠滴!

12 个后端必备的Linux小技巧!插图

开启守护进程

一般后端服务,都是开启守护进程,其命令类似如下

ps aux | grep start.sh | grep -v "grep --color=auto start.sh" | awk '{print $2}'  | xargs kill -9 || echo ok > log
nohup start.sh &> log  &

而执行 sh start.sh & 只是开启了后台进程。

后台进程和守护进程的区别?

最大的区别有几点:

  • 守护进程已经完全脱离终端控制台了,而后台程序并未完全脱离终端;
  • 守护进程在关闭终端控制台时不会受影响,而后台程序会随用户退出而停止,需要在以nohup command & 格式运行才能避免影响;
  • 守护进程的会话组和当前目录,文件描述符都是独立的。后台运行只是终端进行了一次 fork,让程序在后台执行。

解释一下,下面的命令是用 awk 提取进程 ID

ps -aux|grep chat.js| grep -v grep | awk '{print $2}'

查看到进程 id 之后,使用 netstat 命令查看其占用的端口

netstat -nap|grep 7779

三大利器 GREP,SED,AWK

Linux 三大利器 grep,sed,awk,熟练掌握其中常见的用法,开发效率杠杠滴。

grep 匹配二进制文件

grep 如果碰到 \000 NUL 字符,就会认为文件是二进制文件,而 grep 匹配默认忽略二进制数据。

使用 grep -a 属性:不忽略二进制的数据。grep 的 -a 或 –text 参数功能:将 binary 文件以 text 文件的方式搜寻数据。

grep -a file_name
或
grep --text file_name 

grep 匹配或排除多个关键字

grep -E "word1|word2|word3" file.txt
#满足任意条件(word1、word2和word3之一)将匹配。
grep word1 file.txt | grep word2 |grep word3
#必须同时满足三个条件(word1、word2和word3)才匹配。
grep -v 'abc\|efg' log.txt
#排除 log.txt 中的 abc efg 关键字

awk /sed 分割或去重

使用 tab 键分割文件

awk 'BEGIN{IFS='\t'}{print $1}' a.log

按分隔符去重以某列重复的行

cat ios_gupai_only_new.txt | awk -F '|' '!a[$1]++{print}' > ios_gupai_one.txt

sed 文件首尾添加引号

sed -i 's/^/"/;s/$/"/'  log.txt

sed 文件尾添加逗号

Sed -i 's/$/,/'  txt

其它 shell 小技巧

输入相似文件名太麻烦

用花括号括起来的字符串用逗号连接,可以自动扩展,非常有用,直接看例子:

$ echo {one,two,three}file
onefile twofile threefile

$ echo {one,two,three}{1,2,3}
one1 one2 one3 two1 two2 two3 three1 three2 three3

花括号中的每个字符都可以和之后(或之前)的字符串进行组合拼接,注意花括号和其中的逗号不可以用空格分隔,否则会被认为是普通的字符串对待。

这个技巧有什么实际用处呢?最简单实用的就是给 cp,mv,rm 等命令扩展参数:

$ cp /search/code/file{,.bak}
# 给 file 复制一个叫做 file.bak 的副本

$ rm file{1,3,5}.txt
# 删除 file1.txt file3.txt file5.txt

$ mv *.{c,cpp} src/
# 将所有 .c 和 .cpp 为后缀的文件移入 src 文件夹

输入路径名称太麻烦

用 cd – 返回刚才的目录,直接看例子吧:

$ pwd
/search/code/moyu
$ cd # 回到家目录瞅瞅
$ pwd
/home/herongwei
$ cd - # 再返回刚才那个目录
$ pwd
/search/code/moyu

特殊命令 !$ 会替换成上一次命令最后的路径,直接看例子:

没有加可执行权限

$ /usr/bin/script.sh
zsh: permission denied: /usr/bin/script.sh

$ chmod +x !$
chmod +x /usr/bin/script.sh

特殊命令 !* 会替换成上一次命令输入的所有文件路径,直接看例子:

创建了三个脚本文件

$ touch script1.sh script2.sh script3.sh

给它们全部加上可执行权限

$ chmod +x !*
chmod +x script1.sh script2.sh script3.sh

输入重复命令太麻烦

使用特殊命令!!,可以自动替换成上一次使用的命令:

[@root]# yum install python
E: Could not open lock file - open (13: Permission denied)

[@root]# !!
yum install python

有的命令很长,一时间想不起来具体参数了怎么办?

对于 bash 终端,可以使用 Ctrl+R 快捷键反向搜索历史命令,之所以说是反向搜索,就是搜索最近一次输入的命令。

比如按下 Ctrl+R 之后,输入 cp,bash 就会搜索出最近一次包含 cp 的命令,你回车之后就可以运行该命令了:

(reverse-i-search)`': cp config/app_search_rule.json{,.bak}

但是这个方法有缺点:该功能似乎只有 bash 支持,而 zsh 作为 shell 终端,就用不了;

第二,只能查找出一个(最近的)命令,如果我想找以前的某个命令,就没办法了。

对于这种情况,常用的方法是使用 history 命令配合管道符和 grep 命令来寻找某个历史命令比如:

过滤出所有包含 yum 字段的历史命令

[@root]# history | grep 'yum'
  334  2021-08-30 14:36:27 yum install devtoolset-3-gcc.x86_64 devtoolset-3-gcc-c++.x86_64
  336  2021-08-30 14:44:31 yum list | grep rdkafka
  337  2021-08-30 14:44:57 yum list | grep kafka
  435  2021-08-31 15:50:22 yum list | grep sasl2
  778  2021-09-16 16:40:55 yum install -y libffi-devel
  849  2021-09-16 16:56:49 yum install pip3

一行代码验证 JSON 格式是否正确

执行命令:

cat a.json | python -m json.tool | wc -l 

原理

  • 要验证的文件 a.json
  • 如果返回结果一行数字,则表示 a.json 文件格式正确
  • 否则返回 a.json 文件中错误的行号及错误信息

一旦 JSON 文件格式不对,或者文件内容缺失或者其他问题,就会导致 python -m 命令无法格式化,正是利用这一点,我们可以做一个 JSON 的验证。

比如说你在线修改了一个 JSON 数据,但是又不能粘贴出来查看是否修改正确了,直接执行这个命令比较方便,或者也可以用 VIM 命令的 % 命令来匹配中括号和大括号。

删除 0 字节文件或垃圾文件

find . -type f -size 0 -delete
find . -type f -exec rm -rf {} \;
find . -type f -name "a.out" -exec rm -rf {} \;
find . type f -name "a.out" -delete
find . type f -name "*.txt" -print0 | xargs -0 rm -f

自动分割大文件为多个小文件

使用  split 命令,比如:

命令:split -l 10000 -d -a 3 nameall.txt name 将 nameall.txt 文件按照 10000 行分割成前缀 name+数字三位的小文件。

MySQL 终端显示格式化

在 SQL 语句最后加上一个  \G , 比较推荐这个用法,把行转化成列显示。

sl 命令输出小火车

12 个后端必备的Linux小技巧!插图1

发表评论

后才能评论