如何將Linux打造成OpenFlow Switch：Openvswitch

因為工作上被指派去做SDN，自然需要SDN的網路設備才可以。問題是SDN Switch賣的超級貴的，一台差不多要30萬台幣。這跟當初推廣SDN的人說法完全不一樣！他們當初說SDN網路設備會變得比較便宜，因為網路設備上不需要在堆疊這麼多的網路協定，因此硬體可以Cost Down，也可以省下軟體的錢。問題是，如果單單賣純種SDN Switch根本是不可能的事情啊，因為缺少可以在上面跑的軟體和控制器，所以只好保留傳統設備上的功能，再多加OpenFlow的支援，並提供給使用者選擇的開關。這樣當然只會更貴不會便宜啊！！

在沒錢、沒人、沒資源的情況下，要怎麼辦呢？用模擬軟體？可惜要Demo的時候行不通。那就只好自己來打造一台SDN Switch了。雖然沒有晶片的支援，但只要不牽扯到效能的話，應該沒太多問題。下面是我和同事想過的一些解決方案：

1. 自己打造OpenFlow的Agent，反正OpenFlow的網路協定並不複雜，然後透過Linux Kernel的netfilter來模擬晶片的行為。因為是用軟體模擬，所以效率會比較差，但反過來說，因為是軟體，所以我可以滿足所有OpenFlow的要求，不會有做不到的事情。不過這個提案被一個PM的同事封殺了，理由是這不能賣錢 ... 
2. 有一個同事找到一個有趣的專案FlowForwarding。這個專案提供了Open Source的OpenFlow Agent: LINC。LINC是用Erlang所開發的軟體。雖然我根本不會Erlang，但程式語言不是我考慮的重點，我好奇的是它要怎麼模擬晶片來處理封包。從網頁上看到，LINC在使用上需要libpcap的函式庫，初步猜測，LINC應該是把所有的封包透過libpcap攔截到user space以後進行修改。這樣做的效率應該會比我的解決方案更差。
3. OpenVswitch。這是大部份產品的解決方案。我聽過一堆公司宣稱自己有了SDN Switch，而內容只不過是把Openvswitch移植到自己原有的產品上罷了。一樣，我好奇它要怎麼模擬晶片來處理封包，看了編譯過程，它會產生openvswitch.ko，在加上它利用bridge的特性，所以應該是在linux bridge那邊進行hook後修改。

考量到移植的方便性，所以後來我個人選擇openvswitch作為SDN Switch的解決方案。在開始介紹移植步驟前，先來介紹openvswitch。Openvswitch這個專案是Nicira為了解決網路虛擬化所開發的原始碼專案，傳統的虛擬機都是運行在同一台主機上，而虛擬機的網卡透過作業系統的Bridge進行相連。然而在資料中心的年代，當虛擬機橫跨不同的主機時，這個網路要如何管理？對外部的管理軟體來說，因為bridge的特性，所以只能夠看到主機上的那張網卡，而管理上也只能針對主機所在實體交換機，而無法對虛擬機的網路進行操控。要解決這個問題，Nicira提出的辦法就是，在各虛擬基下面再多加一層虛擬的交換器，而外部的管理工具就可以直接對這虛擬交換器進行管理、控制。架構如下所示：

也因此，openvswitch的目標是打造虛擬的switch，而且讓這台switch可以接受來自外部的管理。管理switch的protocol有很多種，OpenFlow不過是其中之一，而我就是要利用這之一的功能，來打造SDN OpenFlow Switch。再說一次，openvswitch是要在主機上模擬一台switch，雖來本意是要給在上面的虛擬機使用，不過就算沒有虛擬機也還是運作的好好的。

下面紀錄移植的步驟，因為時間的關係，很多設定不求甚解，之後補上吧。

硬體：Pandaboard ES + 2*usb網卡
作業系統：Ubuntu 12.04 Server
參考資料：
http://networkstatic.net/installing-and-configuring-openvswitch-on-ubuntu-12-04-precise-pangolin/
http://networkstatic.net/openvswitch-configure-from-packages-and-attaching-to-a-floodlight-openflow-controller/

1. 安裝移植所需要的軟體：
   apt-get install -y git automake autoconf gcc uml-utilities libtool build-essential git pkg-config linux-headers-`uname -r`
2. 下載openvswitch並解壓縮：
   wget http://openvswitch.org/releases/openvswitch-1.11.0.tar.gz
   tar zxvf openvswitch-1.11.0.tar.gz
3. 編譯openvswitch：
   cd openvswitch-1.11.0
   ./boot.sh
   ./configure --with-linux=/lib/modules/`uname -r`/build
   make
   sudo make install
4. 載入openvswitch kernel module：
   sudo insmod datapath/linux/openvswitch.ko
5. 建立openvswitch的設定檔以及資料庫：
   touch /usr/local/etc/ovs-vswitchd.conf
   sudo mkdir -p /usr/local/etc/openvswitch
   sudo ovsdb-tool create /usr/local/etc/openvswitch/conf.db vswitchd/vswitch.ovsschema
6. 啟動ovs資料庫（看不懂也不打算深究）：
   ovsdb-server /usr/local/etc/openvswitch/conf.db \
   --remote=punix:/usr/local/var/run/openvswitch/db.sock \
   --remote=db:Open_vSwitch,manager_options \
   --private-key=db:SSL,private_key \
   --certificate=db:SSL,certificate \
   --bootstrap-ca-cert=db:SSL,ca_cert --pidfile --detach --log-file
7. 啟動openvswitch
   sudo ovs-vsctl --no-wait init
   sudo ovs-vswitchd --pidfile --detach
   sudo ovs-vsctl show
8. 設定網路，使網路卡變成openvswitch上面的port
   sudo ovs-vsctl add-br br0
   sudo ovs-vsctl add-port br0 eth0
   sudo ovs-vsctl add-port br0 eth1
   sudo ovs-vsctl add-port br0 eth2
   sudo ifconfig eth0 0
   sudo ifconfig eth1 0
   sudo ifconfig eth2 0
   sudo ifconfig br0 192.168.8.232 netmask 255.255.255.0
   sudo route add default gw 192.168.8.1 br0
   從這些指令大概可以猜出openvswitch所使用的trick。要特別注意的地方在於，前面幾行ovs-vsctl的指令只要設定過一次即可，下次openvswitch啟動時候自動執行，這是因為設定已經被寫入資料庫的關係。可是下面設定IP的動作還是要自己來。
9. 連到OpenFlow Controller
   sudo ovs-vsctl set-controller br0 tcp:192.168.8.203:6633

做完了，超級簡單又不用大腦 ... 如果真的要 porting的話，要注意的是那個 kernel module吧

接下來補充一些常用的 openvswitch 指令：

1. $ ovs-vsctl set bridge br0 protocols=OpenFlow10,OpenFlow13
   顧名思義，這是設定這台 switch 所使用的 OpenFlow 版本。
2. $ ovs-vsctl set-fail-mode ovs-br standalone
   這是一個很有趣的設定，每台 OpenFlow switch 都必須接受起碼一台 OpenFlow Controller 的管理，那如果和 OpenFlow Controller 中間的連線斷了怎麼辦？這個指令可以讓 openvswitch 自動切換到一般普通 switch 的功能。
3. $ ovs-vsctl show
   呈現這台 openvswitch 的狀態。
4. $ ovs-ofctl dump-flows br0 -O openflow13
   把所有的 Flow Entries 顯示出來。
5. $ ovs-ofctl del-flows br0 -O openflow13
   刪除 Flow Entries。可以刪除就可以新增。一般來說，這些 Flow 的規則應該是要由 Controller 那邊帶過來的，但是 openvswitch 允許使用者自己在 switch 的本機端新增或是刪除這些 Flow 的規則。

In-Band vs. Out-of-Band

其實當初在看 OpenFlow 的技術時，我腦海中的第一個念頭就是，當一台 OpenFlow switch 剛開機，裏面一條 Flow Entry 都沒有，這時候是要怎麼透過 tcp (ssl/tls) 連到 OpenFlow Controller 呢？實際玩過幾台 OpenFlow switch 以後發現，大部份實際的設備都會把對 Controller 的 Port 給獨立出來不歸 OpenFlow 管，也就是在那個 Port 上會跑完整的 protocol stack （要不然怎麼建立 ssl/tls），這種情況我們稱之為 Out-of-Band。要怎麼在 openvswitch 上面設定 out-of-band 呢？很簡單，以上面的設定範例來說，不要把 eth0 拿來加入 openvswitch 的 bridge 裏面就好了。這樣 eth0 就可以拿來當作對 Controller 的獨立 port ，不歸 OpenFlow 管。

有 Out-of-Band 就有 In-Band，顧名思義就是 OpenFlow switch 對 OpenFlow Controller 的連線所使用的 Port 一樣是讓 OpenFlow 管理。可是這種情況我上面提到的問題就會發生。那 In-Band 是怎麼做到的？答案很簡單，openvswitch 一開機就加入一些隱性的 Flow Entry就好了，至於加入的 Entry是哪些，我們可以透過下面的指令來查詢：

$ ovs-appctl bridge/dump-flows br0

這個指令可以印出隱性規則（hidden flow entries）。至於設定成 Out-of-Band 的方法則是可以利用下面的指令：

$ ovs-vsctl set controller br0 connection-mode=out-of-band  

設定成 out-of-band 模式，設定完所有的  hidden flow entries 應該都會消失了。


20140624


看到有些留言說跟我使用相同的版本，問題是這文章已經有點舊了，希望大家能夠更新到新的版本。在撰寫這段文字的時候，最新版是 openvswitch 2.1.2。


20140710

補充現在所使用的 openvswitch 開機後所執行的 script，採用 systemd 的寫法：

ovsdb-server.service:
[Unit]
Description    =  Open vSwitch Database Server
Documentation  =  man:ovsdb-server

[Service]
PIDFile=/run/openvswitch/ovsdb-server.pid
ExecStart=/usr/sbin/ovsdb-server --remote=punix:/var/run/openvswitch/db.sock --pidfile=/run/openvswitch/ovsdb-server.pid


ovs-vswitchd.service:
[Unit]
Description    = Open vSwitch Daemon
Documentation  = man:ovs-vswitchd
Wants          = network.target
Before         = network.target
Requires       = ovsdb-server.service
After          = ovsdb-server.service

[Service]
ExecStartPre = /sbin/modprobe openvswitch
PIDFile = /run/openvswitch/ovs-vswitchd.pid
ExecStart = /usr/sbin/ovs-vswitchd --pidfile=/run/openvswitch/ovs-vswitchd.pid

[Install]
WantedBy       = multi-user.target