當你發(fā)現(xiàn) Linux 服務(wù)器上的系統(tǒng)性能問題，在最開始的 1 分鐘時間里，你會查看哪些系統(tǒng)指標呢？

　　Netflix 在 AWS 上有著大規(guī)模的 EC2 集群，以及各種各樣的性能分析和監(jiān)控工具。比如我們使用 Atlas 來監(jiān)控整個平臺，用 Vector 實時分析 EC2 實例的性能。這些工具已經(jīng)能夠幫助我們解決大部分的問題，但是有時候我們還是要登錄進機器內(nèi)部，用一些標準的 Linux 性能分析工具來定位問題。

　　在這篇文章里，Netflix 性能工程團隊會介紹一些我們使用的標準的 Linux 命令行工具，在發(fā)現(xiàn)問題的前 60 秒內(nèi)去分析和定位問題。在這 60 秒內(nèi)，你可以使用下面這 10 個命令行了解系統(tǒng)整體的運行情況，以及當前運行的進程對資源的使用情況。

　　在這些指標里面，我們先關(guān)注和錯誤、以及和資源飽和率相關(guān)的指標，然后再看資源使用率。相對來講，錯誤和資源飽和率比較容易理解。飽和的意思是指一個資源(CPU，內(nèi)存，磁盤)上的負載超過了它能夠處理的能力，這時候我們觀察到的現(xiàn)象就是請求隊列開始堆積，或者請求等待的時間變長。

　　有些命令行依賴于 sysstat 包。通過這些命令行的使用，你可以熟悉一下分析系統(tǒng)性能問題時常用的一套方法或者流程：USE 。這個方法主要從資源使用率(Utilization)、資源飽和度(Satuation)、錯誤(Error)，這三個方面對所有的資源進行分析(CPU，內(nèi)存，磁盤等等)。在這個分析的過程中，我們也要時刻注意我們已經(jīng)排除過的資源問題，以便縮小我們定位的范圍，給下一步的定位提供更明確的方向。

　　下面的章節(jié)對每個命令行做了一個說明，并且使用了我們在生產(chǎn)環(huán)境的數(shù)據(jù)作為例子。對這些命令行更詳細的描述，請查看相應的幫助文檔。

　　1 uptime

　　這個命令能很快地檢查系統(tǒng)平均負載，你可以認為這個負載的值顯示的是有多少任務(wù)在等待運行。在 Linux 系統(tǒng)里，這包含了想要或者正在使用 CPU 的任務(wù)，以及在 io 上被阻塞的任務(wù)。這個命令能使我們對系統(tǒng)的全局狀態(tài)有一個大致的了解，但是我們依然需要使用其它工具獲取更多的信息。

　　這三個值是系統(tǒng)計算的 1 分鐘、5 分鐘、15 分鐘的指數(shù)加權(quán)的動態(tài)平均值，可以簡單地認為就是這個時間段內(nèi)的平均值。根據(jù)這三個值，我們可以了解系統(tǒng)負載隨時間的變化。比如，假設(shè)現(xiàn)在系統(tǒng)出了問題，你去查看這三個值，發(fā)現(xiàn) 1 分鐘的負載值比 15 分鐘的負載值要小很多，那么你很有可能已經(jīng)錯過了系統(tǒng)出問題的時間點。

　　在上面這個例子里面，負載的平均值顯示 1 分鐘為 30，比 15 分鐘的 19 相比增長較多。有很多原因會導致負載的增加，也許是 CPU 不夠用了;vmstat 或者 mpstat 可以進一步確認問題在哪里。

　　2 dmesg | tail

　　這個命令顯示了最新的幾條系統(tǒng)日志。這里我們主要找一下有沒有一些系統(tǒng)錯誤會導致性能的問題。上面的例子包含了 oom-killer 以及 TCP 丟包。

　　不要略過這一步!dmesg 永遠值得看一看。

　　3 vmstat 1

　　vmstat 展示了虛擬內(nèi)存、CPU 的一些情況。上面這個例子里命令行的 1 表示每隔 1 秒鐘顯示一次。在這個版本的 vmstat 里，第一行表示了這一次啟動以來的各項指標，我們可以暫時忽略掉第一行。

　　需要查看的指標：

　　r：處在 runnable 狀態(tài)的任務(wù)，包括正在運行的任務(wù)和等待運行的任務(wù)。這個值比平均負載能更好地看出 CPU 是否飽和。這個值不包含等待 io 相關(guān)的任務(wù)。當 r 的值比當前 CPU 個數(shù)要大的時候，系統(tǒng)就處于飽和狀態(tài)了。free：以 KB 計算的空閑內(nèi)存大小。si，so：換入換出的內(nèi)存頁。如果這兩個值非零，表示內(nèi)存不夠了。us，sy，id，wa，st：CPU 時間的各項指標(對所有 CPU 取均值)，分別表示：用戶態(tài)時間，內(nèi)核態(tài)時間，空閑時間，等待 io，偷取時間(在虛擬化環(huán)境下系統(tǒng)在其它租戶上的開銷) 把用戶態(tài) CPU 時間(us)和內(nèi)核態(tài) CPU 時間(sy)加起來，我們可以進一步確認 CPU 是否繁忙。等待 IO 的時間 (wa)高的話，表示磁盤是瓶頸;注意，這個也被包含在空閑時間里面(id)， CPU 這個時候也是空閑的，任務(wù)此時阻塞在磁盤 IO 上了。你可以把等待 IO 的時間(wa)看做另一種形式的 CPU 空閑，它可以告訴你 CPU 為什么是空閑的。

　　系統(tǒng)處理 IO 的時候，肯定是會消耗內(nèi)核態(tài)時間(sy)的。如果內(nèi)核態(tài)時間較多的話，比如超過 20%，我們需要進一步分析，也許內(nèi)核對 IO 的處理效率不高。

　　在上面這個例子里，CPU 時間大部分都消耗在了用戶態(tài)，表明主要是應用層的代碼在使用 CPU。CPU 利用率 (us + sy)也超過了 90%，這不一定是一個問題;我們可以通過 r 和 CPU 個數(shù)確定 CPU 的飽和度。

　　4 mpstat -P ALL 1

　　這個命令把每個 CPU 的時間都打印出來，可以看看 CPU 對任務(wù)的處理是否均勻。比如，如果某一單個 CPU 使用率很高的話，說明這是一個單線程應用。

　　5 pidstat 1

　　pidstat 和 top 很像，不同的是它可以每隔一個間隔打印一次，而不是像 top 那樣每次都清屏。這個命令可以方便地查看進程可能存在的行為模式，你也可以直接 copy past，可以方便地記錄隨著時間的變化，各個進程運行狀況的變化。

　　上面的例子說明有 2 個 Java 進程消耗了大量 CPU。這里的 %CPU 表明的是對所有 CPU 的值，比如 1591% 標識這個 Java 進程幾乎消耗了 16 個 CPU。

　　6 iostat -xz 1

　　iostat 是理解塊設(shè)備(磁盤)的當前負載和性能的重要工具。幾個指標的含義：

　　r/s，w/s，rkB/s，wkB/s：系統(tǒng)發(fā)往設(shè)備的每秒的讀次數(shù)、每秒寫次數(shù)、每秒讀的數(shù)據(jù)量、每秒寫的數(shù)據(jù)量。這幾個指標反映的是系統(tǒng)的工作負載。系統(tǒng)的性能問題很有可能就是負載太大。await：系統(tǒng)發(fā)往 IO 設(shè)備的請求的平均響應時間。這包括請求排隊的時間，以及請求處理的時間。超過經(jīng)驗值的平均響應時間表明設(shè)備處于飽和狀態(tài)，或者設(shè)備有問題。

　　avgqu-sz：設(shè)備請求隊列的平均長度。隊列長度大于 1 表示設(shè)備處于飽和狀態(tài)。%util：設(shè)備利用率。設(shè)備繁忙的程度，表示每一秒之內(nèi)，設(shè)備處理 IO 的時間占比。大于 60% 的利用率通常會導致性能問題(可以通過 await 看到)，但是每種設(shè)備也會有有所不同。接近 100% 的利用率表明磁盤處于飽和狀態(tài)。

　　如果這個塊設(shè)備是一個邏輯塊設(shè)備，這個邏輯快設(shè)備后面有很多物理的磁盤的話，100% 利用率只能表明有些 IO 的處理時間達到了 100%;后端的物理磁盤可能遠遠沒有達到飽和狀態(tài)，可以處理更多的負載。

　　還有一點需要注意的是，較差的磁盤 IO 性能并不一定意味著應用程序會有問題。應用程序可以有許多方法執(zhí)行異步 IO，而不會阻塞在 IO 上面;應用程序也可以使用諸如預讀取，寫緩沖等技術(shù)降低 IO 延遲對自身的影響。

　　7 free -m

　　右邊的兩列顯式：

　　buffers：用于塊設(shè)備 I/O 的緩沖區(qū)緩存。cached：用于文件系統(tǒng)的頁面緩存。我們只是想要檢查這些不接近零的大小，其可能會導致更高磁盤 I/O(使用 iostat 確認)，和更糟糕的性能。上面的例子看起來還不錯，每一列均有很多 M 個大小。

　　比起第一行，-/+ buffers/cache 提供的內(nèi)存使用量會更加準確些。Linux 會把暫時用不上的內(nèi)存用作緩存，一旦應用需要的時候就立刻重新分配給它。所以部分被用作緩存的內(nèi)存其實也算是空閑的內(nèi)存。為了解釋這一點， 甚至有人專門建了個網(wǎng)站：http://www.linuxatemyram.com/。

　　如果使用 ZFS 的話，可能會有點困惑。ZFS 有自己的文件系統(tǒng)緩存，在 free -m 里面看不到;系統(tǒng)看起來空閑內(nèi)存不多了，但是有可能 ZFS 有很多的緩存可用。

　　8 sar -n DEV 1

　　這個工具可以查看網(wǎng)絡(luò)接口的吞吐量：rxkB/s 和 txkB/s 可以測量負載，也可以看是否達到網(wǎng)絡(luò)流量限制了。在上面的例子里，eth0 的吞吐量達到了大約 22 Mbytes/s，差不多 176 Mbits/sec ，比 1 Gbit/sec 還要少很多。

　　這個例子里也有 %ifutil 標識設(shè)備利用率，我們也用 Brenan 的 nicstat tool 測量。和 nicstat 一樣，這個設(shè)備利用率很難測量正確，上面的例子里好像這個值還有點問題。

　　9 sar -n TCP,ETCP 1

　　這是對 TCP 重要指標的一些概括，包括：

　　active/s：每秒鐘本地主動開啟的 TCP 連接，也就是本地程序使用 connect() 系統(tǒng)調(diào)用

　　passive/s：每秒鐘從源端發(fā)起的 TCP 連接，也就是本地程序使用 accept() 所接受的連接

　　retrans/s：每秒鐘的 TCP 重傳次數(shù)

　　atctive 和 passive 的數(shù)目通?？梢杂脕砗饬糠?wù)器的負載：接受連接的個數(shù)(passive)，下游連接的個數(shù)(active)?？梢院唵握J為 active 為出主機的連接，passive 為入主機的連接;但這個不是很嚴格的說法，比如 loalhost 和 localhost 之間的連接。重傳表示網(wǎng)絡(luò)或者服務(wù)器的問題。也許是網(wǎng)絡(luò)不穩(wěn)定了，也許是服務(wù)器負載過重開始丟包了。上面這個例子表示每秒只有 1 個新連接建立。

　　10 top

　　top 命令涵蓋了我們前面講述的許多指標。我們可以用它來看和我們之前查看的結(jié)果有沒有很大的不同，如果有的話，那表示系統(tǒng)的負載在變化。

　　top 的缺點就是你很難找到這些指標隨著時間的一些行為模式，在這種情況下，vmstat 或者 pidstat 這種可以提供滾動輸出的命令是更好的方式。如果你不以足夠快的速度暫停輸出(Ctrl-S 暫停，Ctrl-Q 繼續(xù))，一些間歇性問題的線索也可能由于被清屏而丟失。