學習生物信息,Linux是必須掌握的內容,其實常用的Linux命令也就30個左右,而且這些命令都是單詞的簡寫,記憶起來並不困難。這裡列出了常用的30個命令。
1、cd
cd:Change directory
修改工作目錄,cd和ls應該是使用最多的兩個命令,尤其是對於Linux目錄結構不熟的用戶。
cd / #進入根目錄
cd - #返回上次的目錄
cd #返回home目錄
cd ~ #返回home目錄
cd ../ # 返回上一級目錄
2、ls
ls:List files
-a 列出包括.a開頭的隱藏文件的所有文件
-A 通-a,但不列出"."和".."
-l 列出文件的詳細信息
-c 根據ctime排序顯示
-t 根據文件修改時間排序
---color[=WHEN] 用色彩辨別文件類型 WHEN 可以是'never'、'always'或'auto'其中之一
3、pwd
print working directory
$pwd
/home/wangtong
4、sh
script
運行腳本的命令,腳本是包含很多命令的一個文件,sh 這個文件,就可以之和運行,例如目錄下有個多個sh文件,就可以一次運行。
$ sh a1.index.sh;
sh a2.fasqc.sh
5、cp
cp: Copy file
拷貝並粘貼文件
-b 覆蓋前做備份
-f 如存在不詢問而強制覆蓋
-i 如存在則詢問是否覆蓋
-u 較新才覆蓋
-t 將多個源文件移動到統一目錄下,目錄參數在前,文件參數在後
cp a1.index.sh a2.index.sh
6、mv
mv: Move file
移動文件,相當於windows下的剪切粘貼,如果剪切粘貼到同一目錄下,則為重命令。
-b 覆蓋前做備份
-f 如存在不詢問而強制覆蓋
-i 如存在則詢問是否覆蓋
-u 較新才覆蓋
-t 將多個源文件移動到統一目錄下,目錄參數在前,文件參數在後
mv a1.index.sh ../
7、rm
rm: Remove file
刪除文件
-r 刪除文件夾
-f 刪除不提示
-i 刪除提示
-v 詳細顯示進行步驟
注意!命令行模式下刪除文件不可恢復。
rm -rf *.fna #刪除目錄下所有以.fna結尾的文件
8、ln
ln: Link files
創建連接文件,包括軟連接和硬連結,一般軟連接比較常用,相當於windows下的快捷方式。
-s 建立軟連接
-v 顯示詳細的處理過程
ln -s /ifs1/Example ./ #為/ifs1/Example目錄在當前目錄下創建一個快捷方式
9、vim
vim是Linux系統自帶的文本編輯器,可以理解成為windows系統下的word軟體。
:w filename 將文章以指定的文件名保存起來
:wq 保存並退出
:q! 不保存而強制退出
命令行模式功能鍵
1)插入模式
按「i」切換進入插入模式「insert mode」,按"i"進入插入模式後是從光標當前位置開始輸入文件;
按「a」進入插入模式後,是從目前光標所在位置的下一個位置開始輸入文字;
按「o」進入插入模式後,是插入新的一行,從行首開始輸入文字。
2)從插入模式切換為命令行模式
按「ESC」鍵。
3)移動光標
vi可以直接用鍵盤上的光標來上下左右移動,但正規的vi是用小寫英文字母「h」、「j」、「k」、「l」,分別控制光標左、下、上、右移一格。
按「ctrl」+「b」:屏幕往"後"移動一頁。
按「ctrl」+「f」:屏幕往"前"移動一頁。
按「ctrl」+「u」:屏幕往"後"移動半頁。
按「ctrl」+「d」:屏幕往"前"移動半頁。
按數字「0」:移到文章的開頭。
按「G」:移動到文章的最後。
按「$」:移動到光標所在行的"行尾"。
按「^」:移動到光標所在行的"行首"
按「w」:光標跳到下個字的開頭
按「e」:光標跳到下個字的字尾
按「b」:光標回到上個字的開頭
按「#l」:光標移到該行的第#個位置,如:5l,56l。
4)刪除文字
「x」:每按一次,刪除光標所在位置的"後面"一個字符。
「#x」:例如,「6x」表示刪除光標所在位置的"後面"6個字符。
「X」:大寫的X,每按一次,刪除光標所在位置的"前面"一個字符。
「#X」:例如,「20X」表示刪除光標所在位置的"前面"20個字符。
「dd」:刪除光標所在行。
「#dd」:從光標所在行開始刪除#行
5)複製
「yw」:將光標所在之處到字尾的字符複製到緩衝區中。
「#yw」:複製#個字到緩衝區
「yy」:複製光標所在行到緩衝區。
「#yy」:例如,「6yy」表示拷貝從光標所在的該行"往下數"6行文字。
「p」:將緩衝區內的字符貼到光標所在位置。注意:所有與"y"有關的複製命令都必須與"p"配合才能完成複製與粘貼功能。
6)替換
「r」:替換光標所在處的字符。
「R」:替換光標所到之處的字符,直到按下「ESC」鍵為止。
7)回復上一次操作
「u」:如果您誤執行一個命令,可以馬上按下「u」,回到上一個操作。按多次"u"可以執行多次回復。
8)更改
「cw」:更改光標所在處的字到字尾處
「c#w」:例如,「c3w」表示更改3個字
9)跳至指定的行
「ctrl」+「g」列出光標所在行的行號。
「#G」:例如,「15G」,表示移動光標至文章的第15行行首。
10、mkdir
mkdir:Make directory
創建文件夾
-p 遞歸創建目錄,若父目錄不存在則依次創建
-m 自定義創建目錄的權限
-v 顯示創建目錄的詳細信息
mkdir rnaseq #創建一個名為rnaseq的目錄
11、cat
cat: concatenate 連接
cat的一個作用是查看文件,一般是比較小的文件,行數小於一個屏幕,最多不要超過兩個屏幕,否則會刷屏;
cat另一個作用是合併多個文件,一般配合重定向合併為一個新文件或者將一個文件內容追加到另一個文件結尾。
$ cat a1.index.sh
bwa index -p Homo_sapiens_assembly38 -a bwtsw Homo_sapiens_assembly38.fasta
合併文件
cat a1.txt a2.txt >all.txt
12、less / more
less和more都是文件查看工具,但是less功能更多一些,在windows系統下打開一個10G的文件比較困難,但是在Linux下非常方便,less可以打開非常大的文件,壓縮格式也可以直接打開。
-m 顯示類似於more命令的百分比
-N 顯示行號
-S 格式化顯示
$ less -S nt.tar.gz
13、head / tail
這兩個命令比較簡單,只是取一個文件的頭部和尾部多少行,默認10行,可以加-n進行設置,利用管道可以取文件中間行。
#取文件第21~40行
$ head -40 a.txt | tail -n 20
14、g(un)zip/ b(un)zip2
gzip和bzip2是文件壓縮工具,默認直接對源文件進行處理,壓縮比率在2/3左右,都可以進行設置。
加上un,為unpack的意思,表示解壓縮。
$ gzip a.txt
$ gunzip a.txt.gz
15、tar
tar:Tape archive (磁帶檔案)
tar是一個比較複雜的命令,tar主要用於打包,由於tar能調用gzip或者bzip2進行壓縮,而打包和壓縮經常如windows系統一樣合併為一個過程,新手經常將二者混淆,
-c 建立打包檔案,可搭配 -v 來察看過程中被打包的檔名(filename)
-t 察看打包檔案的內容含有哪些檔名,重點在察看『檔名』就是了;
-x 解打包或解壓縮的功能,可以搭配 -C (大寫) 在特定目錄解開
輔選項:
-j 透過 bzip2 的支持進行壓縮/解壓縮:此時檔名最好為 *.tar.bz2
-z 透過 gzip 的支持進行壓縮/解壓縮:此時檔名最好為 *.tar.gz
-v 在壓縮/解壓縮的過程中,將正在處理的文件名顯示出來!
-f filename -f 後面要立刻接要被處理的檔名!
對於初學者,記住c是creat,創建,x是解包,z對應gzip,j對應bzip2即可,所以常用的命令如下:
$ tar -jcvf filename.tar.bz2 A B C #打包壓縮為bz2結尾文件
$ tar -jxvf filename.tar.bz2 # 解壓縮.tar.bz2結尾文件
$ tar -zcvf filename.tar.gz A B C #打包壓縮為gz結尾文件
$ tar -zxvf filename.tar.gz # 解壓縮.tar.gz 結尾文件
16、wc
wc = Word Count
統計一個文件中,行數,單詞數,字符數
-l filename 報告行數
-c filename 報告字節數
-m filename 報告字符數
-w filename 報告單詞數
17、sort
排序,默認按第一列排序,可以通過-k進行設置;默認排序規則為按ASCII碼排序,可以通過-n進行修改;-r取相反方向;
-n 依照數值的大小排序。
-o 將排序後的結果存入指定的文件。
-r 以相反的順序來排序。
-t 指定排序時所用的欄位分隔字符。
-k 選擇以哪個區間進行排序。
18、grep
文本搜索工具,類似於正則表達式搜索,可以在一個大的文件中快速搜索到滿足一定規則的內容。
#案例一:統計fasta文件中序列的條數;
grep -c ">" gene.ffn
#案例二:輸出滿足條件的序列;
grep -A 2 "3 gi 29732 34486" lastz.axt
#案例三:篩選出不滿足條件的內容;
ps -fx | grep -v "S"
19、sed
sed = Stream Editor
流處理器,sed有非常強大的功能.
#案例一:輸出固定的行
sed -n '1307p' seq.fna #輸出文件第1307行;
sed -n '100,200' seq.fna #輸出文件第100到200行;
#案例二:替換操作
sed -e 's/gi/GI/' seq.fna #將文件中gi全部替換為大寫GI;
sed -i 's/gi/GI/g' seq.fna #在原文件上進行替換,並且進行全部替換;
sed -i.bak 's#GI#gi#' seq.fna #在原文件上進行替換,並進行備份;
sed -e 's/gi/GI/2;s/ref/REF/2' seq.fna #只將第二次出現的gi和ref進行替換;
sed -f sed.list cds.list #根據文件中的模式進行替換,可同時進行多條件替換;
sed -n 's/gi/GI/p' seq.fna #列印發生替換的行;
#案例三:刪除空白行;
sed -e '/^\s*$/d' seq.fna #刪除文件中的空白行;
#案例四:行尋址
sed -n '/ref/p' seq.fna #輸出文件中包含ref關鍵字的行;
sed '100,2000s/GI/gi/g' seq.fa #則只替換100行到2000行的內容;
sed '100,2000!s/GI/gi/g' seq.fa #加感嘆號取反,在這個範圍之外的執行操作;
#案例五:刪除操作
sed -e '/>/d' seq.fna #刪除包含ref的行;
sed -e 's/:.*//g' seq.fna #刪除冒號之後的所有內容;
#案例六:對應替換,類似於tr的功能
sed -e 'y/ATCG/atcg/' seq.fna #修改大小寫
sed -e '/>/!y/ATCG/atcg/' seq.fna #DNA序列反向互補配對,並修改大小寫
20、awk
awk也是非常強大的文本處理工具,awk本身也是一門程式語言;
#案例1:輸出一個列表任意行;
awk '{print $1}' blast_m8.out #輸出blast m8 格式結果的第一行;
awk -F ":" '{print $1,$NF}' passwd.list #通過-F修改默認分隔符為冒號,輸出第一行與最後一行;
#案例2:格式轉換
awk '{print"@" $1"\n"$10"\n""+\n"$11""}' all.sam #將短序列比對上的reads輸出出來,生成fastq文件;
#案例3:過濾blast結果
awk 』{if ($3>=80 && $4>=100) print $0}' blast_m8.out #過濾blast比對結果,將identity 大於80,並且比對長度大於100bp的結果輸出;
#案例4:比較
awk '$8>$10' input.txt #輸出第8列大於第10列的行。
#案例5:匹配輸出
awk '$0~ /wang/{print $0}' passwd.list #利用正則表達式,將秘密表中姓wang的帳戶都輸出出來;
#案例6:格式化輸出
awk 'BEGIN{print "The Program Begin\n"}{if ($3>=80 && $4>=100) print $0}END{print " The Program End\n"}' input.txt #利用BEGIN和END關鍵字生成報告;
#案例7:修改欄位和記錄分隔符
awk 'BEGIN{OFS="\t"}{print $2,$4,$5}' input.txt #在BEGIN中設定欄位分隔符和記錄分隔符;
#案例8:awk編程計算
awk '{x+=$3}END{print x/NR}' input.txt #計算第三列的平均值,最後在END將其輸出出來。
#案例9:awk編程比較大小
awk 'BEGIN { max=100 ;print "max=" max} {max=($1 >max ?$1:max); print $1,"Now max is "max}' input.txt #取得文件最後一個域的最大值。
#案例10:awk編程求和
awk '{print $0,$3+$4}' input.txt #計算第3列和第4列的和。
#案例11:輸出固定行內容
awk 'NR>=20&&NR<=80' input.txt #輸出第20到第80行內容。
#案例12:合併文件
awk 'BEGIN{while((getline<"file1")>0)l[$1]=$0}$1 in l{print $0"\t"l[$1]}' file2 #將兩個文件按列合併起來,類似jion命令的功能。
#案例13:去重複
awk '!($0 in a) {a[$0];print}' input.txt # 列印不重複的行,類似uniq的功能;
awk '!($2 in l){print;l[$2]=1}' input.txt #計算第二列內容非冗餘的次數,類似於uniq的功能;
#案例14:統計字符
awk '{for(i=1;i!=NF;++i)c[$i]++}END{for (x in c) print x,c[x]}' input.txt 計算每個字符出現的次數,類似wc的功能。
#案例15:替換
awk '{sub(/test/, "no", $0);print}' input.txt 進行替換,類似sed的功能,
#案例16:fastq轉換為fasta
awk '{getline seq;getline plus;getline qual;sub("@",">",$0);print $0 "\n"seq}' test.fastq;
21、df
df: disk free
df用於查看磁碟消耗,顯示磁碟可用空間數目信息及空間結點信息。一般加一個-h選項,然後接要查看的磁碟,默認所有磁碟。
-a 顯示全部文件系統
-h 文件大小友好顯示
-l 只顯示本地文件系統
-i 顯示inode信息
-T 顯示文件系統類型
$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 5.5T 742G 4.7T 14% /
devtmpfs 126G 0 126G 0% /dev
22、du
du: Disk usage
df用於查看磁碟大小,du用於查看目錄所佔磁碟大小,一般也加-h選項
-h 方便閱讀的方式
-s 只顯示總和的大小
$ du -sh wgs/
27G wgs/
23、find
find顧名思義,主要用於查找文件。因為當文件越來越多的時候,由於Linux是文本界面,不方便可視化文件,這個時候就可以利用find快速找到需要的文件。find支持多種搜索方式。
與時間有關的選項:共有 -atime, -ctime 與 -mtime 和-amin,-cmin與-mmin,以 -mtime 說明
與使用者或組名有關的參數:
與檔案權限及名稱有關的參數:
額外可進行的動作:
24、which
which 可執行文件名稱 | 查看可執行文件的位置,在PATH變量指定的路徑中查看系統命令是否存在及其位置
#案例一:搜索Data目錄下以點fna結尾的文件;
find ../Data -name *.fna
#案例二:搜索系統中最近5分鐘內編輯過的文件;
find / -amin 5
#案例三:查找大於100M的文件;
find ./ -size 100M
案例四:按照文件類型搜索;
find ./ -type 文件類型
c 的檔案
d: 目錄
b: 區塊裝置檔案 ,
p: 具名貯列
f: 一般檔案
l: 符號連結
s: socket
#案例五:搜索文件,直接處理;
find ./temp/ -name *.fna -exec rm '{}' \;
25、top
top可以動態顯示系統進程使用情況,類似於windows系統的任務管理器。可以
顯示當前系統正在執行的進程的相關信息,包括進程ID、內存佔用率、CPU佔用率等。
$ top
top - 21:57:57 up 64 days, 14:32, 4 users, load average: 1.03, 1.03, 1.05
Tasks: 413 total, 2 running, 411 sleeping, 0 stopped, 0 zombie
%Cpu(s): 3.2 us, 0.1 sy, 0.0 ni, 96.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 26346684+total, 49366600 free, 10640988 used, 20345926+buff/cache
KiB Swap: 33554428 total, 31772892 free, 1781536 used. 24733774+avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
316997 wangtong 20 0 6076392 5.7g 804 R 99.7 2.3 9074:52 dnaml
451916 root 20 0 162244 2620 1576 R 0.7 0.0 0:00.05 top
19 root rt 0 0 0 0 S 0.3 0.0 0:20.10 watchdog/2
754 root 20 0 159156 97984 97640 S 0.3 0.0 73:10.61 systemd-journal
26、ps
ps: process status
ps也是系統進程管理工具,與top不同的事,top可以動態顯示,而ps則是靜態顯示,是某一時刻的快照,靜態顯示的好處是便於其他程序捕獲結果,進行處理。
a 顯示所有的進程
-a 顯示同一終端下的所有程序
e 顯示環境變量
f 顯示進程間的關係
-H 顯示樹狀結構
r 顯示當前終端的程序
T 顯示當前終端的所有程序
-au 顯示更詳細的信息
-aux 顯示所有包含其他使用者的行程
-u 指定用戶的所有進程
$ ps -aux
27、kill
kill的作用是殺死進程,給定一個任務的ID號,可以通過top或者ps命令獲得,例如當前有一個sleep進程,pid號為12000;通過kill -9可以強制殺死。
$ kill -9 12000
28、chmod
chmod: Change mode
用於修改文件權限,Linux基礎怒權限可以包括ugo模式以及421模式。
#原始權限
$ ll a1.index.sh
-rwxr-xr-x. 1 root root 287 Oct 16 16:05 a1.index.sh
#421模式修改
$ chmod 644 a1.index.sh
$ ll a1.index.sh
-rw-r--r--. 1 root root 287 Oct 16 16:05 a1.index.sh
#ugo模式修改
$ chmod ug+x a1.index.sh
$ ll a1.index.sh
-rwxr-xr--. 1 root root 287 Oct 16 16:05 a1.index.sh
與之類似的還有chown與chgrp;
chown: Change owner
chgrp: Change group
29、passwd
passwd 修改密碼,Linux密碼要求大寫字母開頭,包含字母與數字組合,不能過於簡單。
-l 使密碼失效
-u 與-l相對,用戶解鎖
-S 列出登陸用戶passwd文件內的相關參數
-n 後面接天數,shadow 的第 4 欄位,多久不可修改密碼天數
-x 後面接天數,shadow 的第 5 欄位,多久內必須要更動密碼
-w 後面接天數,shadow 的第 6 欄位,密碼過期前的警告天數
-i 後面接『日期』,shadow 的第 7 欄位,密碼失效日期
$ passwd
Changing password for user wangtong.
Changing password for wangtong.
(current) UNIX password:
New password:
Retype new password:
30、exit
退出登錄,不要小看這個exit,exit是正確退出,最好不要直接點windows關閉窗口按鈕退出,也不要使用ctrl+D給定退出信號退出。
總結
以上只是學習生物信息的基本掌握的一些命令,已經可以完成絕大部分的工作了,當然,技不壓身,如果掌握更多的命令可以更好的完成工作。
更多內容
聯繫方式