1、DNS基礎(chǔ)知識(shí)

　　互聯(lián)網(wǎng)基于 TCP/IP 協(xié)議。為了方便管理網(wǎng)絡(luò)內(nèi)的主機(jī)，整個(gè)互聯(lián)網(wǎng)分為若干個(gè)域 (domain)，每 個(gè)域又可以再分為若干個(gè)子域，例如，.com，.org，.edu 都是頂級(jí)域，而 google.com 是.com 下面的子域。

　　網(wǎng)絡(luò)中的任意一臺(tái)主機(jī)(host)都會(huì)屬于某個(gè)域，并且有自己的名字，稱為主機(jī)名( hostname)。例如 example.com 就是.com 域中一臺(tái)主機(jī)名為 example.com(或 example，hostname 和 domain name 的區(qū)別，見(jiàn)這里 )的主機(jī)。

　　域名/主機(jī)名是為了方便人記憶，而機(jī)器之間通信最終用的還是 IP 地址，因此需要一個(gè)將主 機(jī)名(域名)轉(zhuǎn)換成 IP 地址的服務(wù)。域名服務(wù)系統(tǒng)(DNS, domain name system)做的就是 這個(gè)事情，對(duì)應(yīng)的服務(wù)器稱為域名服務(wù)器(Domain Name Server)。

　　例如，當(dāng)通過(guò)瀏覽器訪問(wèn) example.com，瀏覽器會(huì)首先訪問(wèn) DNS 服務(wù)器，查找 example.com 對(duì)應(yīng)的 IP 地址，然后和這個(gè) IP 建立 TCP 連接，接下來(lái)才發(fā)起 HTTP 請(qǐng)求。一個(gè)域名可以對(duì)應(yīng)一個(gè) IP 地址，也可以對(duì)應(yīng)多個(gè)。對(duì)于后者，DNS 服務(wù)算法會(huì)從中選擇一個(gè) 地址返回。大部分網(wǎng)絡(luò)服務(wù)為了實(shí)現(xiàn)高可用，都是對(duì)應(yīng)多個(gè)地址，我們后面會(huì)看到， baidu.com 就對(duì)應(yīng)多個(gè) IP。

　　有一些場(chǎng)景會(huì)導(dǎo)致訪問(wèn) DNS 服務(wù)不穩(wěn)定，例如 DNS 服務(wù)器的設(shè)置有問(wèn)題、網(wǎng)絡(luò)有丟包、主機(jī) DNS 配置錯(cuò)誤等等。我們接下來(lái)查看幾種 case。

　　2、準(zhǔn)備測(cè)試環(huán)境

　　為方便大家跟著上手練習(xí)，本文將搭建一個(gè)容器環(huán)境。

　　Pull Docker 鏡像:

　　運(yùn)行容器，注意這里一定要帶--privileged 參數(shù) [2]，否則后面的部分 tc 命令無(wú)法執(zhí)行:

　　進(jìn)入容器：

　　查看容器網(wǎng)絡(luò)信息：

　　3、DNS配置

　　3.1 查看 DNS 配置

　　Linux 上的 DNS 配置在/etc/resolv.conf 里面。我們先來(lái)查看容器的配置：

　　這其實(shí)是繼承了宿主機(jī)的 DNS 配置，在宿主機(jī)上執(zhí)行 cat /etc/resolv.conf 會(huì)看到一樣的 結(jié)果。

　　3.2 修改 DNS 配置

　　可以通過(guò)修改/etc/resolv.conf 里面的 nameserver 來(lái)配置自己想用的 DNS 服務(wù)器。例如內(nèi)網(wǎng)環(huán)境可能都會(huì)使用自己的 DNS 服務(wù)器，因?yàn)樗?提供內(nèi)網(wǎng)域名解析之外，公網(wǎng)域名解析也會(huì)比較快(相比于網(wǎng)絡(luò)供應(yīng)商的公網(wǎng) DNS 服務(wù)器)

　　4、DNS問(wèn)題排查

　　本節(jié)模擬幾種導(dǎo)致 DNS 查詢變慢的場(chǎng)景，如果在實(shí)際環(huán)境中遇到類似現(xiàn)象，可以考慮往這些 方向排查。

　　4.1 機(jī)器未配置 DNS 導(dǎo)致域名查找失敗

　　現(xiàn)象：網(wǎng)絡(luò)是通的(例如 ping IP 通)，但是 DNS 查詢總是失敗

　　可能的原因：機(jī)器沒(méi)有配置 DNS 服務(wù)器

　　解決辦法：修改/etc/resolv.conf，給機(jī)器配置合適的 DNS 服務(wù)器 有時(shí)新啟動(dòng)的機(jī)器(不管是物理機(jī)、虛擬機(jī)還是容器)沒(méi)有設(shè)置 DNS，導(dǎo)致訪問(wèn)域名不通。我們來(lái)復(fù)現(xiàn)一下。

　　在正常的容器里用 nslookup 工具查看域名對(duì)應(yīng)的 IP 地址：

　　可以看到，我們獲取到了該域名一個(gè) IPv4 地址和一個(gè) IPv6 地址。

　　將/etc/resolv.conf 里的 DNS 服務(wù)器列表用#注釋掉，模擬沒(méi)有配置 DNS 服務(wù)器的場(chǎng)景。

　　再次測(cè)試：

　　所以遇到這種問(wèn)題，可以先去排查/etc/resolv.conf 里面是否配置了 DNS 服務(wù)器。

　　4.2 DNS 服務(wù)太慢

　　現(xiàn)象：DNS 查詢太慢

　　可能的原因：配置的 DNS 服務(wù)器不合理

　　解決辦法：修改/etc/resolv.conf，配置合適的 DNS 服務(wù)器

　　每個(gè)公司一般都有自維護(hù)的 DNS 服務(wù)器，不僅用來(lái)解析內(nèi)網(wǎng) DNS，而且可以加速解析公網(wǎng)域名 。

　　dig 是另外一個(gè)功能更強(qiáng)大的 DNS 查詢工具，安裝：

　　首先查看使用內(nèi)網(wǎng) DNS，查詢域名的延遲：

　　可以看到非?？?，在 1ms 以內(nèi)。

　　然后我們測(cè)試如果使用 Google 的公網(wǎng) DNS 服務(wù)器 8.8.8.8 [1]，延遲會(huì)是多少。

　　修改/etc/resolv.conf，將其他 nameserver 注釋掉，添加一行 nameserver 8.8.8.8。

　　再次測(cè)試：

　　延遲變成了 150ms，比原來(lái)大了 150 多倍。

　　因此，對(duì)于 DNS 查詢特別慢的場(chǎng)景，首先要查看配置的 DNS 服務(wù)器是否合理。

　　4.3 hardcode /etc/hosts 導(dǎo)致跳過(guò) DNS 查詢

　　現(xiàn)象：某域名訪問(wèn)太慢、某域名總是指向相同 IP(多 IP 情況下)、特定機(jī)器不可訪問(wèn) 某域名等等

　　可能的原因：/etc/hosts 有 hardcode 域名及 IP

　　解決辦法：修改/etc/hosts

　　前面提到，大部分公網(wǎng)域名都對(duì)應(yīng)多個(gè) IP 地址，因此每次 DNS 查詢拿到的 IP 地址都可能不一 樣，我們用 ping 來(lái)測(cè)試一下：

　　可以看到，兩次 ping 測(cè)試(內(nèi)部首先查詢 baidu.com 對(duì)應(yīng)的 IP 地址)拿到的 IP 地址是不一樣 的。用 nslookup 可以看到它們都是 baidu.com 對(duì)應(yīng)的 IP 地址：

　　/etc/hosts 里面可以直接 harcode 一個(gè)域名對(duì)應(yīng)的 IP 地址，這會(huì)導(dǎo)致機(jī)器跳過(guò) DNS 查詢，直接拿這個(gè) IP 作 為該域名的 IP。我們來(lái)驗(yàn)證一下。

　　修改/etc/hosts，添加一行 123.125.115.110 baidu.com，再次 ping 測(cè)試

　　這是不管執(zhí)行多少次，baidu.com 對(duì)應(yīng)的 IP 地址都不會(huì)變了。而實(shí)際上，這個(gè) IP 地址并不一定是最優(yōu)的 IP 地址，甚至有可能這 個(gè) IP 不可用，導(dǎo)致訪問(wèn) baidu.com 失敗。因此，實(shí)際中要極力避免在/etc/hosts 中 hardcode。

　　4.4 DNS 查詢不穩(wěn)定

　　現(xiàn)象：DNS 查詢不穩(wěn)定，時(shí)快時(shí)慢

　　可能的原因：機(jī)器上有 tc 或 iptables 規(guī)則，導(dǎo)致到 DNS 服務(wù)器的 packet 變慢或丟失

　　解決辦法：修改或刪除 tc/iptables 規(guī)則

　　我們用 tc 來(lái)模擬網(wǎng)絡(luò)延遲：

　　首先查看有沒(méi)有 tc 規(guī)則：

　　默認(rèn)沒(méi)有任何規(guī)則。

　　然后我們加一條：每個(gè) packet 延遲 600ms：

　　測(cè)試：

　　可以看到，DNS 查詢變成了 600ms。

　　這里我們測(cè)試的是固定延遲，這種問(wèn)題很容易發(fā)現(xiàn)。我們還可以測(cè)試隨機(jī)延遲，或者按 比例延遲等 [2]：

　　此類規(guī)則會(huì)導(dǎo)致 DNS 查詢速度更有隨機(jī)性。

　　最后刪除 tc 規(guī)則：

　　iptables 規(guī)則也會(huì)導(dǎo)致類似的問(wèn)題。

　　很多軟件在運(yùn)行之后，會(huì)在宿主機(jī)上添加 tc 或 iptables 規(guī)則，例如 OpenStack，K8S 等等 。因此遇到這種隨機(jī)延遲問(wèn)題，首先可以查看機(jī)器上是否有 tc 或 iptables 規(guī)則。

　　4.5 DNS 反向查詢不穩(wěn)定

　　線上遇到過(guò)這樣一個(gè)問(wèn)題：從一臺(tái)機(jī)器 ping 一個(gè)內(nèi)網(wǎng)域名，每個(gè) ping 包看起來(lái)都會(huì)卡 5 ～ 30s 不等，但是 CTL-C 關(guān)閉 ping 之后，打印出來(lái)的統(tǒng)計(jì)信息里，既沒(méi)有丟包，ping 的延遲也很低 (毫秒級(jí))，這就很奇怪。接下來(lái)：

　　dig，很快，毫秒級(jí)，說(shuō)明 DNS 查詢沒(méi)有問(wèn)題

　　dig 能看到域名對(duì)應(yīng)的 IP，直接 ping 這個(gè) IP，發(fā)現(xiàn)是沒(méi)有卡頓的

　　仍然 ping 域名，用 tcpdump 抓包，tcpdump -i eth0 hostand icmp，發(fā)現(xiàn) ping 包都是立即響應(yīng)的，印證了統(tǒng)計(jì)信息里，ping 延遲很低的事實(shí)

　　根據(jù)以上信息，說(shuō)明 ping 卡頓的問(wèn)題出在這臺(tái)機(jī)器，而且應(yīng)該就是 ping 程序本身在做什么耗 時(shí)的操作。繼續(xù)：

　　仍然 ping 域名，同時(shí)，用 ltrace -p跟蹤 ping 進(jìn)程，發(fā)現(xiàn)卡在一個(gè)叫 gethostbyaddr()的函數(shù)

　　查閱文檔，發(fā)現(xiàn)這個(gè)函數(shù)是根據(jù) IP 反向查詢 hostname，需要和 DNS 交互

　　到這里，基本確定了是 DNS 服務(wù)器反向查詢的問(wèn)題，我們用另外幾個(gè)命令行工具驗(yàn)證一下， 以下三個(gè)命令都是根據(jù) IP 反查 hostname：

　　nslookup

　　host

　　dig -x

　　果然，以上三個(gè)命令都會(huì)卡住。修改/etc/resolv.conf，換一個(gè) DNS 服務(wù)器之后，問(wèn)題 消失了。接下來(lái)，就去查 DNS 服務(wù)器的問(wèn)題吧。