HOWTO: Linux Netfilter Hook Function Developement

我是從上研究所以後才開始接觸 Linux 的，那時候為了強迫自己盡速上手，把我家一台古董級電腦搬出來，按著「施銘威研究室」的 Linux 系列進行一個口令一個動作的學習（回首那段日子 ... 真是 ...）。而我第一個學的操作就是 iptables 的操作，理由很簡單，因為那時候我待在「Distributed Computing and Network Security Laboratory」，想說不會操作防火牆不是太丟臉了嗎？從此就開始接觸到 Linux Kernel 裡面很重要的一個封包處理機制 Netfilter。

Netfilter 是 Linux Kernel 2.4 和 2.6 的網路封包處理框架，下面是官網的介紹：

netfilter is a set of hooks inside the Linux kernel that allows kernel modules to register callback functions with the network stack. A registered callback function is then called back for every packet that traverses the respective hook within the network stack. (from http://www.netfilter.org/)

簡單來說，我們可以把 Netfilter 的機制想成下面的圖：


圖中的五個橢圓形指的就是五個 Hook Points。而旁邊一串紅色的小圈圈代表的是在該 Kook Point 上的一串規則。凡是有網路封包經過一 Hook Point 時就會進入該 Hook Point 所掛載的所有規則。

我們利用 linux kernel 2.6.28.7 來搜尋一下 NF_HOOK 這個關鍵字：

ip_forward.c: ip_forward, NF_INET_FORWARD
ip_input.c: ip_local_deliver, NF_INET_LOCAL_IN
ip_input.c: ip_rcv, NF_INET_PRE_ROUTING
ip_output.c: ip_mc_output, NF_INET_POST_ROUTING
ip_output.c: ip_mc_output, NF_INET_POST_ROUTING
ip_output.c: ip_mc_output, NF_INET_POST_ROUTING
ip_output.c: ip_output, NF_INET_POST_ROUTING
raw.c: raw_send_hdrinc, NF_INET_LOCAL_OUT

而 Hook Point 的定義則是在

include/linux/netfilter.h

enum nf_inet_hooks {
NF_INET_PRE_ROUTING,
NF_INET_LOCAL_IN,
NF_INET_FORWARD,
NF_INET_LOCAL_OUT,
NF_INET_POST_ROUTING,
NF_INET_NUMHOOKS
};

這樣我們就很輕易的找到了 IPv4 裡面的 Hook Points。至於 NF_HOOK 之後的程式碼運作，相關文章請見「Netfilter 的 Hook 方式初探」。在這裡要特別提出一件事情， Linux Kernel Netfilter 的架構裡面兩個概念，一個是 Chains ，指的就是每個 Hook Points 上面的那一串封包處理函式；另一個就是 Tables，在 Netfilter 裡面總共有三種，包含了 filter、nat、mangle。每個 Tables 都有負責管轄到的 Chains，舉例來說，filter 就只能管理 INPUT/OUTPUT/FORWARD 三個 Hook Points 上面的 Chains。那麼像 nat 和 filter 同時管到了 OUTPUT 這個 Hook Point 時，哪一個 Table 的優先權比較高呢？？這邊就是我要講得重點了 ... 基本上 Table 不牽涉到同一個 Hook Point 上封包處理函式的優先順序，這部份都是由函式在註冊時的所被賦予的優先順序來決定的！簡單來說，Tables 感覺只是方便人操作的一種概念，真正去處理封包的還是那一串被掛載的函式。那為甚麼有人會說某一 Table 的優先權比較高呢？那是因為下面的定義：

include/linux/netfilter_ipv4.h

enum nf_ip_hook_priorities {
NF_IP_PRI_FIRST = INT_MIN,
NF_IP_PRI_CONNTRACK_DEFRAG = -400,
NF_IP_PRI_RAW = -300,
NF_IP_PRI_SELINUX_FIRST = -225,
NF_IP_PRI_CONNTRACK = -200,
NF_IP_PRI_MANGLE = -150,
NF_IP_PRI_NAT_DST = -100,
NF_IP_PRI_FILTER = 0,
NF_IP_PRI_SECURITY = 50,
NF_IP_PRI_NAT_SRC = 100,
NF_IP_PRI_SELINUX_LAST = 225,
NF_IP_PRI_CONNTRACK_CONFIRM = INT_MAX,
NF_IP_PRI_LAST = INT_MAX,
};

之所以會特別提出這件事情，是因為如果我們有想要加上任何的「封包處理函式」時，其實我們可以不必理會 Table 這個概念，直接把寫好的東西掛載上去即可！所以在接下來的文章裡面，我們不會提到如何加上新的 Table，而是單純的增加新的封包處理規則在適當的 Hook Point 上面。（因為加上新的 Table 看起來有點麻煩，所以下次再說）

接下來我會試著介紹一下如何設計掛在 Hook Point 上面的封包處理模組，這才是本文的重點（所以前面都算是廢話加前言 :p ）。首先，來看看如何註冊一個新的封包處理函式：

include/linux/netfilter.h

int nf_register_hook(struct nf_hook_ops *reg);
int nf_register_hooks(struct nf_hook_ops *reg, unsigned int n);

看起來應該很容易理解用法，接下來看看那個重要的 structure ...

include/linux/netfilter.h

struct nf_hook_ops
{
struct list_head list;

/* User fills in from here down. */
nf_hookfn *hook;// 最重要的部份，封包處理函式
struct module *owner;
u_int8_t pf;//PF_INET
unsigned int hooknum;//Hook Point
/* Hooks are ordered in ascending priority. */
int priority;//Priority
};

net/netfilter/core.c

int nf_register_hook(struct nf_hook_ops *reg)
{
@@@@struct nf_hook_ops *elem;
@@@@int err;

@@@@err = mutex_lock_interruptible(&nf_hook_mutex);
@@@@if (err < style="color: rgb(255, 255, 255);">@@@@@@@@return err;
@@@@list_for_each_entry(elem, &nf_hooks[reg->pf][reg->hooknum], list)
@@@@{
@@@@@@@@if (reg->priority < elem->priority)
@@@@@@@@@@@@break;
@@@@}
@@@@list_add_rcu(&reg->list, elem->list.prev);
@@@@mutex_unlock(&nf_hook_mutex);
@@@@return 0;
}

非常非常的簡單。問題是 Hook 的程式要怎麼寫？來看看下面的程式：

net/ipv4/netfilter/iptable_filter.c

static struct nf_hook_ops ipt_ops[] __read_mostly = {
{
@@@@.hook = ipt_local_in_hook,
@@@@.owner = THIS_MODULE,
@@@@.pf = PF_INET,
@@@@.hooknum = NF_INET_LOCAL_IN,
@@@@.priority = NF_IP_PRI_FILTER,
},
{
@@@@.hook = ipt_hook,
@@@@.owner = THIS_MODULE,
@@@@.pf = PF_INET,
@@@@.hooknum = NF_INET_FORWARD,
@@@@.priority = NF_IP_PRI_FILTER,
},
{
@@@@.hook = ipt_local_out_hook,
@@@@.owner = THIS_MODULE,
@@@@.pf = PF_INET,
@@@@.hooknum = NF_INET_LOCAL_OUT,
@@@@.priority = NF_IP_PRI_FILTER,
}
};

很好，有點頭緒了，繼續看下去！

net/ipv4/netfilter/iptable_filter.c

static unsigned int
ipt_hook( unsigned int hook,
@@@@@@struct sk_buff *skb,
@@@@@@const struct net_device *in,
@@@@@@const struct net_device *out,
@@@@@@int (*okfn)(struct sk_buff *))//默認處理函式
{
@@@@@@return ipt_do_table(skb, hook, in, out,
@@@@@@@@@@@@dev_net(in)->ipv4.iptable_filter);
}

這裡我們看到了一個 Hook 函式所需要的參數，包含了 Hook Point， 經過的封包，In/Out Device，以及默認處理函式（這邊說明一下，其實我根本就不知道 okfn 是幹麼的，因為從程式裡面根本看不出來，這純粹是網路上查到的）。所以我們要寫的話，就是提供一個這樣的 Hook Function 並包在 struct nf_hook_ops 裡面進行註冊就好了。

在回傳值的部份，定義在下面的地方：

include/linux/netfilter.h

#define NF_DROP 0
#define NF_ACCEPT 1
#define NF_STOLEN 2
#define NF_QUEUE 3
#define NF_REPEAT 4
#define NF_STOP 5
#define NF_MAX_VERDICT NF_STOP

最後，來看看 ipt_do_table：

net/ipv4/netfilter/ip_tables.c

... 好多 ... 下次再說吧
看完這一篇以後，應該可以很輕鬆的寫出一個 Hook 來才是
但其實這樣還不是正解，正確的作法，
應該要寫在現有的 Table 裡面才是... 不過... 再說吧

附錄（一個簡單的範例） by Samlin
static struct nf_hook_ops _nfho;

unsigned int _hookFunc(unsigned int _hooknum,
@@@@@@@@@@@@struct sk_buff **_pSkb,
@@@@@@@@@@@@const struct net_device *_pIn,
@@@@@@@@@@@@const struct net_device *_pOut,
@@@@@@@@@@@@int (*_pOkfn)(struct sk_buff *))
{
printk(KERN_INFO "Get a packet\n");
return NF_ACCEPT;
}

int _initHook(void)
{
@@@@_nfho.hook = _gtpu_hookFunc;
@@@@_nfho.hooknum = NF_IP_LOCAL_IN;
@@@@_nfho.pf = PF_INET;
@@@@_nfho.priority = NF_IP_PRI_FIRST;
@@@@nf_register_hook(&_nfho);
@@@@return 0;
}

void _uninitHook(void)
{
@@@@nf_unregister_hook(&_nfho);
}

留言

張貼留言

這個網誌中的熱門文章

我弟家的新居感恩禮拜分享：善頌善禱

語本禮記·檀弓下：「晉獻文子成室，晉大夫發焉。張老曰：『美哉輪焉！美哉奐焉！歌於斯，哭於斯，聚國族於斯。』文子曰：『武也，得歌於斯，哭於斯，聚國族於斯，是全要領以從先大夫於九京也。』北面再拜稽首。君子謂之：『善頌善禱』。」 不知為什麼，我一直對禮記中的這一篇印象深刻，大概是小時候記憶力比較好，所以一直刻劃在心中吧。之前有天我弟要我把時間留下來，要參加他們家的家庭禮拜，結果到了以後才發現原來是新居感恩禮拜（我說，你們小倆口根本已經搬進去很久了吧），然後居然還要說些祝福的話（喂喂，下次這種事要先講，我本來抱定只聽只吃不說話的態度啊），在想要講什麼的時候，第一個浮出的念頭就是「善頌善禱」的這個故事 ... ㄜ ... 不是聖經經文啊，所以就想找找，在聖經中哪一段有「新居落成」的相關經節，可以作為分享，結果就是以下面這段文章來做分享： 王上9：1-10 所羅門建造耶和華殿和王宮，並一切所願意建造的都完畢了，耶和華就二次向所羅門顯現，如先前在基遍向他顯現一樣，對他說：「你向我所禱告祈求的，我都應允了。我已將你所建的這殿分別為聖，使我的名永遠在其中；我的眼、我的心也必常在那裡。你若效法你父大衛，存誠實正直的心行在我面前，遵行我一切所吩咐你的，謹守我的律例典章，我就必堅固你的國位在以色列中，直到永遠，正如我應許你父大衛說：你的子孫必不斷人坐以色列的國位。倘若你們和你們的子孫轉去不跟從我，不守我指示你們的誡命律例，去事奉敬拜別神，我就必將以色列人從我賜給他們的地上剪除，並且我為己名所分別為聖的殿也必捨棄不顧，使以色列人在萬民中作笑談，被譏誚。這殿雖然甚高，將來經過的人必驚訝、嗤笑，說：耶和華為何向這地和這殿如此行呢？人必回答說：是因此地的人離棄領他們列祖出埃及地之耶和華─他們的神，去親近別神，事奉敬拜他，所以耶和華使這一切災禍臨到他們。」所羅門建造耶和華殿和王宮，這兩所二十年才完畢了。 在列王記上的記載裏面，所羅門花了二十年的時間完成了聖殿和皇宮的建造，而現在上帝來參加這個「新居感恩禮拜」。上帝說：「 我已將你所建的這殿分別為聖，使我的名永遠在其中；我的眼、我的心也必常在那裡。 」感謝上帝，這是上帝同在的保證，這是基督徒最喜歡傳講平安的福音：「以馬內利，上帝與我們同在」，以上帝給的祝福來說，沒有比這更大的。可是等等，接下來的話是新居落成時所該給的祝福嗎？一開始還好，可
閱讀完整內容

如何將Linux打造成OpenFlow Switch：Openvswitch

圖片
因為工作上被指派去做SDN，自然需要SDN的網路設備才可以。問題是SDN Switch賣的超級貴的，一台差不多要30萬台幣。這跟當初推廣SDN的人說法完全不一樣！他們當初說SDN網路設備會變得比較便宜，因為網路設備上不需要在堆疊這麼多的網路協定，因此硬體可以Cost Down，也可以省下軟體的錢。問題是，如果單單賣純種SDN Switch根本是不可能的事情啊，因為缺少可以在上面跑的軟體和控制器，所以只好保留傳統設備上的功能，再多加OpenFlow的支援，並提供給使用者選擇的開關。這樣當然只會更貴不會便宜啊！！ 在沒錢、沒人、沒資源的情況下，要怎麼辦呢？用模擬軟體？可惜要Demo的時候行不通。那就只好自己來打造一台SDN Switch了。雖然沒有晶片的支援，但只要不牽扯到效能的話，應該沒太多問題。下面是我和同事想過的一些解決方案： 自己打造OpenFlow的Agent，反正OpenFlow的網路協定並不複雜，然後透過Linux Kernel的netfilter來模擬晶片的行為。因為是用軟體模擬，所以效率會比較差，但反過來說，因為是軟體，所以我可以滿足所有OpenFlow的要求，不會有做不到的事情。不過這個提案被一個PM的同事封殺了，理由是這不能賣錢 ...  有一個同事找到一個有趣的專案 FlowForwarding 。這個專案提供了Open Source的OpenFlow Agent: LINC。LINC是用Erlang所開發的軟體。雖然我根本不會Erlang，但程式語言不是我考慮的重點，我好奇的是它要怎麼模擬晶片來處理封包。從網頁上看到，LINC在使用上需要libpcap的函式庫，初步猜測，LINC應該是把所有的封包透過libpcap攔截到user space以後進行修改。這樣做的效率應該會比我的解決方案更差。 OpenVswitch 。這是大部份產品的解決方案。我聽過一堆公司宣稱自己有了SDN Switch，而內容只不過是把Openvswitch移植到自己原有的產品上罷了。一樣，我好奇它要怎麼模擬晶片來處理封包，看了編譯過程，它會產生openvswitch.ko，在加上它利用bridge的特性，所以應該是在linux bridge那邊進行hook後修改。 考量到移植的方便性，所以後來我個人選擇openvswitch作為SDN Switch的解決方
閱讀完整內容

Openssl 範例程式：建立SSL連線

說來很神奇，雖然我研究所的研究主題是「網路安全」，但我在研究所卻從來沒撰寫使用 openssl 函式庫的程式。第一次撰寫是在工作上有需求而去使用一些加密的演算法，這次則是工作尚有需求，要去建立 DTLS 的安全連線。DTLS？等一下，標題不是 SSL 嗎？說來話長，要使用 DTLS 的相關 API，按照 openssl 網站的說法，最好是使用 openssl 1.0 以後的版本，問題是客戶所使用的版本是 0.9.8d 的。理論上來說，0.9.8d 的版本也有支援 DTLS，所以我不能拒絕客戶的要求（我會努力繼續嘗試說服客戶的），但還是要做好在 0.9.8d 的開發。問題是兩個版本的寫法不一樣啊（在 1.0.0 以後的版本，有一個 dtlsv1_listen 的函式，簡單來說就是在 UDP 上面實作 listen 的行為。）~雖然已經請同事搞定 1.0 上面的寫法，但 0.9.8 上的寫法還要再研究。所以我就進去開始研究囉。下面就是研究到一半（SSL）的心得。下面的程式碼是從 HP 的網站上改過來的。 ssl_server.c # include < stdio.h > # include < stdlib.h > # include < string.h > # include < errno.h > # include < netdb.h > # include < unistd.h > # include < sys/types.h > # include < sys/socket.h > # include < netinet/in.h > # include < arpa/inet.h > # include < openssl/crypto.h > # include < openssl/ssl.h > # include < openssl/err.h > # define RSA_SERVER_CERT " serverca.crt " # define RSA_SERVER_KEY " serve
閱讀完整內容