如何將Linux打造成OpenFlow Switch：Lagopus

上次介紹的部份是利用 openvswitch 來打造 OpenFlow switch，這也是大部份目前市面上買的到的 OpenFlow switch 所使用的軟體。問題是，它的傳輸效率不太好，畢竟它是透過 Linux kernel 來處理 Flow Entry。有人可能會說：「不會啊，我買的 switch 傳輸速度沒有問題啊，幾乎都可以達到 line rate」，OK，這是因為這些市面上賣的 switch 大部份都移植 Flow Entry 到處理程序到硬體平台上（像是 Broadcom 的晶片），所以傳輸速度當然不差，可是！很多 OpenFlow 的功能就不支援了，畢竟那些晶片本來就沒有提供這些功能啊（通常是Set Field）。我們可以將目前 OpenFlow switch 的狀況大概整理如下：

  1. Software-based OpenFlow switch
    功能支援度高，容易升級，但傳輸速度慢
  2. Hardware-based OpenFlow switch
    傳輸速度快，但功能並不完善
有沒有能夠兼顧兩者的設備呢？今天要介紹的這套 Lagopus 就是一個可能的選項。Lagopus 是 NTT 所開發的 Software OpenFlow switch。Software？那傳輸速率呢？為了解決這個問題，Lagopus 採用了 Intel 所推出的 Data Plane Development Kit (DPDK) 技術。下面我們就先來介紹什麼是 DPDK。

DPDK簡介

DPDK 這個技術的概念可以用下圖來表達：
DPDK（資料來源：Intel）
這張圖說明了 Intel 的 DPDK 技術是如何加速封包的處理。大概解釋一下。傳統 Linux 封包處理流程，是硬體收到封包後觸發 interrupt 後導到 Linux Kernel，如果還要進入 user space，就要通過 copy_to_user/copy_from_user 這樣的機制，而這會牽扯到記憶體拷貝的問題，這是因為不能讓 user space 直接讀到 kernel space 的記憶體管理，免得造成系統錯誤，所以作業系統會用一塊虛擬化的記憶體位置來給 user space 的 process，而這種記憶體保護機制以及拷貝很吃系統資源，這也是為什麼傳統上在處理 Linux 的 Data Plane 的時候都盡可能在 Kernel 處理，減少 user space 和 kernel space 記憶體拷貝所造成效率低下。而從這個圖來看，應該可以發現封包根本不通過 Linux Kernel　就直接打到 user space，因此可以有比較好的效能。怎麼做的？不知道，但因為 DPDK 技術必須要使用 Intel 的 CPU 以及網卡，所以我猜 Intel 有可能直接讓網卡發出的 interrupt 直接用記憶體映射到 CPU 裏面然後偷渡到 user space（以上純屬猜測，目前還沒空去研究）。

總結一下， Lagopus 是一套 Software OpenFlow switch，使用 Intel DPDK 的技術來加速封包處理。這也意味著兩件事情：第1，你非要使用 Intel 的 CPU 和網卡不可。第2，封包的處理是在 user space（這對程式設計師來說是優點）。

安裝 Lagopus

現在來看看怎麼安裝 Lagopus，主要參考內容是 Lagopus 的 Quickstart.md，作業系統是 ubuntu。收先要先安裝 DPDK。

$ sudo apt-get install make coreutils gcc binutils
$ sudo apt-get install linux-headers-`uname -r`
$ wget https://downloads.sourceforge.net/project/lagopus/Intel-DPDK/DPDK-1.6.0-18.zip
$ unzip DPDK-1.6.0-18.zip
$ export RTE_SDK="/home/user/DPDK-1.6.0"
$ export RTE_TARGET="x86_64-default-linuxapp-gcc"
$ make config T=${RTE_TARGET}
$ make install T=${RTE_TARGET}

應該算是很好明白，所以就不多做解釋了。不過安裝完以後還要設定 hugepages。首先去編輯 /etc/default/grub，設定如下：

GRUB_CMDLINE_LINUX="" --> GRUB_CMDLINE_LINUX="hugepages=1024"

然後使用 hugepages。

$ sudo update-grub
$ sudo mkdir -p /mnt/huge
$ sudo joe /etc/fstab
    nodev /mnt/huge hugetlbfs defaults 0 0
$ sudo reboot

接下來就輪到 Lagopus 了。安裝步驟如下：

# sudo apt-get install unzip build-essential libexpat1-dev libgmp-dev libncurses5-dev libssl-dev libpcap-dev byacc flex libreadline-dev python-dev python-pastedeploy python-paste python-twisted git python-setuptools python-pip python-dev libxml2-dev libxslt1-dev
$ export RTE_SDK="/home/user/DPDK-1.6.0"
$ export RTE_TARGET="x86_64-default-linuxapp-gcc"
$ git clone https://github.com/lagopus/lagopus.git
$ cd lagopus
$ ./configure --with-dpdk-dir=${RTE_SDK}
$ make
$ sudo make install

上面的安裝也很直覺，就不多做解釋了。可能有人會看這篇文章，也會按照這篇文章進行操作，但請注意文章是有時間性的，新版的不見得能順利操作。

設定並操作 Lagopus

安裝好以後就要開始用了。 首先要先載入 DPDK Kernel Module 並把網卡只派去使用 DPDK 的機制。


$ sudo modprobe uio
$ sudo insmod ${RTE_SDK}/${RTE_TARGET}/kmod/igb_uio.ko
$ sudo insmod ${RTE_SDK}/${RTE_TARGET}/kmod/rte_kni.ko
$ sudo $(RTE_SDK}/tools./pci_unbind.py --status

        Network devices using IGB_UIO driver

        ====================================

        

        Network devices using kernel driver

        ===================================

        0000:02:01.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth0 drv=e1000 unused=igb_uio *Active*

        0000:02:02.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth1 drv=e1000 unused=igb_uio

        0000:02:03.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth2 drv=e1000 unused=igb_uio

        0000:02:04.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth3 drv=e1000 unused=igb_uio

        Other network devices

        =====================

        

$ sudo ${RTE_SDK}/pci_unbind.py -b igb_uio 0000:02:02.0 0000:02:03.0 0000:02:04.0
$ sudo ${RTE_SDK}/pci_unbind.py --status

        Network devices using IGB_UIO driver

        ====================================

        0000:02:02.0 '82545EM Gigabit Ethernet Controller (Copper)' drv=igb_uio unused=e1000

        0000:02:03.0 '82545EM Gigabit Ethernet Controller (Copper)' drv=igb_uio unused=e1000

        0000:02:04.0 '82545EM Gigabit Ethernet Controller (Copper)' drv=igb_uio unused=e1000

        Network devices using kernel driver

        ===================================

        0000:02:01.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth0 drv=e1000 unused=igb_uio *Active*

        Other network devices

        =====================

從上面的指令可以很輕易的發現，這台設備有 4 個網卡，其中 3 個會使用 DPDK 的機制，剩下一個（eth0）則還是採用原來 Linux 的 Kernel Module，這也是我們之後後用來連接 controller 的。我們可以利用 ifconfig 來確認目前網卡，應該會發現只剩下一張 eth0 了，那其他的呢？因為 DPDK 已經接管了，所以就不在 Linux 系統的管理範圍。

接下來要設定 Lagopus，編輯 lagopus.conf。範例如下：

interface {
    ethernet {
        eth0;
        eth1;
        eth2;
    }
}
bridge-domains {
    br0 {
        port {
            eth0;
            eth1;
            eth2;
        }
        controller {
            192.168.8.10;
        }
    }
}

要注意這裡的 eth0 和系統的 eth0 是不一樣的！剛剛我們把三張網卡納入 DPDK 的機制中，所以這邊就是從 eth0 到 eth2。

最後就是執行指令：

$ sudo lagopus -d -- -c3 -n1 -- -p3

參數的意義可以直接查詢 Lagopus 相關文件。要注意的事，這裡的數字都是 16 進位唷，而且還是用 bitmask 的方式呈獻。

留言

張貼留言

這個網誌中的熱門文章

如何將Linux打造成OpenFlow Switch：Openvswitch

圖片
因為工作上被指派去做SDN，自然需要SDN的網路設備才可以。問題是SDN Switch賣的超級貴的，一台差不多要30萬台幣。這跟當初推廣SDN的人說法完全不一樣！他們當初說SDN網路設備會變得比較便宜，因為網路設備上不需要在堆疊這麼多的網路協定，因此硬體可以Cost Down，也可以省下軟體的錢。問題是，如果單單賣純種SDN Switch根本是不可能的事情啊，因為缺少可以在上面跑的軟體和控制器，所以只好保留傳統設備上的功能，再多加OpenFlow的支援，並提供給使用者選擇的開關。這樣當然只會更貴不會便宜啊！！ 在沒錢、沒人、沒資源的情況下，要怎麼辦呢？用模擬軟體？可惜要Demo的時候行不通。那就只好自己來打造一台SDN Switch了。雖然沒有晶片的支援，但只要不牽扯到效能的話，應該沒太多問題。下面是我和同事想過的一些解決方案： 自己打造OpenFlow的Agent，反正OpenFlow的網路協定並不複雜，然後透過Linux Kernel的netfilter來模擬晶片的行為。因為是用軟體模擬，所以效率會比較差，但反過來說，因為是軟體，所以我可以滿足所有OpenFlow的要求，不會有做不到的事情。不過這個提案被一個PM的同事封殺了，理由是這不能賣錢 ...  有一個同事找到一個有趣的專案 FlowForwarding 。這個專案提供了Open Source的OpenFlow Agent: LINC。LINC是用Erlang所開發的軟體。雖然我根本不會Erlang，但程式語言不是我考慮的重點，我好奇的是它要怎麼模擬晶片來處理封包。從網頁上看到，LINC在使用上需要libpcap的函式庫，初步猜測，LINC應該是把所有的封包透過libpcap攔截到user space以後進行修改。這樣做的效率應該會比我的解決方案更差。 OpenVswitch 。這是大部份產品的解決方案。我聽過一堆公司宣稱自己有了SDN Switch，而內容只不過是把Openvswitch移植到自己原有的產品上罷了。一樣，我好奇它要怎麼模擬晶片來處理封包，看了編譯過程，它會產生openvswitch.ko，在加上它利用bridge的特性，所以應該是在linux bridge那邊進行hook後修改。 考量到移植的方便性，所以後來我個人選擇openvswitch作為SDN Switch...
閱讀完整內容

我弟家的新居感恩禮拜分享：善頌善禱

語本禮記·檀弓下：「晉獻文子成室，晉大夫發焉。張老曰：『美哉輪焉！美哉奐焉！歌於斯，哭於斯，聚國族於斯。』文子曰：『武也，得歌於斯，哭於斯，聚國族於斯，是全要領以從先大夫於九京也。』北面再拜稽首。君子謂之：『善頌善禱』。」 不知為什麼，我一直對禮記中的這一篇印象深刻，大概是小時候記憶力比較好，所以一直刻劃在心中吧。之前有天我弟要我把時間留下來，要參加他們家的家庭禮拜，結果到了以後才發現原來是新居感恩禮拜（我說，你們小倆口根本已經搬進去很久了吧），然後居然還要說些祝福的話（喂喂，下次這種事要先講，我本來抱定只聽只吃不說話的態度啊），在想要講什麼的時候，第一個浮出的念頭就是「善頌善禱」的這個故事 ... ㄜ ... 不是聖經經文啊，所以就想找找，在聖經中哪一段有「新居落成」的相關經節，可以作為分享，結果就是以下面這段文章來做分享： 王上9：1-10 所羅門建造耶和華殿和王宮，並一切所願意建造的都完畢了，耶和華就二次向所羅門顯現，如先前在基遍向他顯現一樣，對他說：「你向我所禱告祈求的，我都應允了。我已將你所建的這殿分別為聖，使我的名永遠在其中；我的眼、我的心也必常在那裡。你若效法你父大衛，存誠實正直的心行在我面前，遵行我一切所吩咐你的，謹守我的律例典章，我就必堅固你的國位在以色列中，直到永遠，正如我應許你父大衛說：你的子孫必不斷人坐以色列的國位。倘若你們和你們的子孫轉去不跟從我，不守我指示你們的誡命律例，去事奉敬拜別神，我就必將以色列人從我賜給他們的地上剪除，並且我為己名所分別為聖的殿也必捨棄不顧，使以色列人在萬民中作笑談，被譏誚。這殿雖然甚高，將來經過的人必驚訝、嗤笑，說：耶和華為何向這地和這殿如此行呢？人必回答說：是因此地的人離棄領他們列祖出埃及地之耶和華─他們的神，去親近別神，事奉敬拜他，所以耶和華使這一切災禍臨到他們。」所羅門建造耶和華殿和王宮，這兩所二十年才完畢了。 在列王記上的記載裏面，所羅門花了二十年的時間完成了聖殿和皇宮的建造，而現在上帝來參加這個「新居感恩禮拜」。上帝說：「 我已將你所建的這殿分別為聖，使我的名永遠在其中；我的眼、我的心也必常在那裡。 」感謝上帝，這是上帝同在的保證，這是基督徒最喜歡傳講平安的福音：「以馬內利，上帝與我們同在」，以上帝給的祝福來說，沒有比這更大的。可是等等，接下來的話是新居落成時所該給的祝福嗎？一開始還好，可...
閱讀完整內容

Linux Virtual Interface: TUN/TAP

圖片
今天要介紹的，不是什麼新技術，只是之前沒碰過，而現在工作有用到，所以做個私人紀錄。 問題描述以及過去的解決方案 工作上面遇到的問題，如何建立一張虛擬的網路介面，並且讓封包經過該介面後額外封裝一個新的 Header。建立虛擬網路介面不難，但要如何去撈封包（使封包經過該介面）呢？並且之後封包的處理又是如何？之前在公司曾經用過幾種招數： 第一個作法是透過 Bridge 來將網卡綁在一起，然後去修改 Bridge 的程式碼做自己想做的事情。第二個作法是透過 Netfilter 來攔截封包，做完事情以後再硬導到正確的網卡。這兩個作法很 亂來 ，我的亂來指的是不理會 Linux 內部封包處理流程，隨意的處理並安插封包，但我可沒說這樣做不到啊。第3種方法很好，完全符合 Linux 核心的封包處理程序，代表的例子就是 GRE，問題是現在的封裝技術亂七八糟（這個詞純粹是為了抱怨用），並不一定是單純的 IP-in-IP ，所以這個架構不一定適用。正當決定來亂搞的時候，有人提供了一個新的方向（應該是說自己孤陋寡聞）：TUN/TAP。 TUN/TAP: Virtual Network Kernel Device 我們先抄一下 Wiki 上的說明： In computer networking, TUN and TAP are virtual-network kernel devices . Being network devices supported entirely in software, they differ from ordinary network devices which are backed up by hardware network adapters. TUN (namely network TUNnel) simulates a network layer device and it operates with layer 3 packets like IP packets . TAP (namely network tap) simulates a link layer device and it operates with layer 2 packets like Ethernet frames . TUN is used...
閱讀完整內容