Start a New Journey

今天要介紹的，不是什麼新技術，只是之前沒碰過，而現在工作有用到，所以做個私人紀錄。 問題描述以及過去的解決方案 工作上面遇到的問題，如何建立一張虛擬的網路介面，並且讓封包經過該介面後額外封裝一個新的 Header。建立虛擬網路介面不難，但要如何去撈封包（使封包經過該介面）呢？並且之後封包的處理又是如何？之前在公司曾經用過幾種招數： 第一個作法是透過 Bridge 來將網卡綁在一起，然後去修改 Bridge 的程式碼做自己想做的事情。第二個作法是透過 Netfilter 來攔截封包，做完事情以後再硬導到正確的網卡。這兩個作法很 亂來 ，我的亂來指的是不理會 Linux 內部封包處理流程，隨意的處理並安插封包，但我可沒說這樣做不到啊。第3種方法很好，完全符合 Linux 核心的封包處理程序，代表的例子就是 GRE，問題是現在的封裝技術亂七八糟（這個詞純粹是為了抱怨用），並不一定是單純的 IP-in-IP ，所以這個架構不一定適用。正當決定來亂搞的時候，有人提供了一個新的方向（應該是說自己孤陋寡聞）：TUN/TAP。 TUN/TAP: Virtual Network Kernel Device 我們先抄一下 Wiki 上的說明： In computer networking, TUN and TAP are virtual-network kernel devices . Being network devices supported entirely in software, they differ from ordinary network devices which are backed up by hardware network adapters. TUN (namely network TUNnel) simulates a network layer device and it operates with layer 3 packets like IP packets . TAP (namely network tap) simulates a link layer device and it operates with layer 2 packets like Ethernet frames . TUN is used...

這是一個在網路上很常見的問題，因為自己碰到了，所以就留下紀錄囉。 用 Linux 開發網路設備的人，應該很常使用下面的這命令： echo 1 > /proc/sys/net/ipv4/ip_forward 想當然，這是 root 才能做的事情，那麼，在 ubuntu 裏面，很自然就會用下面的指令執行： sudo echo 1 > /proc/sys/net/ipv4/ip_forward 實際執行結果居然是 Permission Denied ？？ 其實會出現這個問題， 主要的原因在於 shell 在執行 redirect 的流程 。上面的指令對 shell 來說其實等於下面兩個指令： "sudo echo 1" 以及 redirect to "/proc/sys/net/ipv4/ip_forward" 很明顯，真正需要 root 權限的第二個步驟反而沒有 root 的權限。所以系統當然會說 Permission Denied。解決的方法如下： sudo sh -c "echo 1 > /proc/sys/net/ipv4/ip_forward" 這就不用說明了吧

好久沒寫了 ... 人果然是懶惰的，但願能有始有終，把整個列王給完成。下一個登場的王是以色列王約蘭。聖經中叫約蘭的王還有另外一位，這位是北國的王，在列王記下佔了眾多的篇幅唷，可見他的重要性（才怪，大部份是以利沙的紀錄，這篇是不是應該改名叫以利沙啊）。那，開始了！ 姓名： 約蘭 國家：北國以色列 對應的南國君王：約沙法、約蘭、亞哈謝 （取名有創意一點吧 ...） 聖經記載： 1. 以利亞升天（王下2:1-18） 2. 醫治耶利哥的泉水（王下2:19-22） 3. 以利沙與童子（王下2:23-25） 4. 三王戰摩押（王下3） 5. 以利沙與寡婦和書念婦人（王下4:1-37） 6. 以利沙的食物神蹟（王下4:38-44） 7. 乃縵得醫治（王下5） 8. 失而復得的斧頭（王下6:1-7） 9. 與我們同在的比與他們同在的更多（王下6:8-23） 10. 撒馬利亞解圍（王下6:24-7:20） 11. 歸鄉的書念婦人（王下8:1-6） 12. 哈薛篡位（王下8:7-15） 13. 耶戶叛變（王下9:1-26） 1. 以利亞升天（王下2:1-18） 以利亞的工作要結束了，神要將他接去。他對以利沙說：「耶和華差我往伯特利去，你可以在這裡等候。」很明顯，他其實不想帶以利沙去，康來昌牧師對這一段有些有趣的解釋，他認為以利亞其實不太喜歡以利沙，因為以利亞去撿選以利沙的時候，以利沙跟他說：「求你容我先與父母親嘴，然後我便跟隨你。」而沒有直接來跟從以利亞。Well ... 也許吧，但聖經也沒明顯這樣說，所以我也不知道是不是，但毫無疑問，以利亞三次試圖要把以利沙拋下，但以利沙的立場非常堅定：「我指著永生的耶和華，又敢在你面前起誓，我必不離開你。」（王下：2:3、5、6） 為什麼以利沙這麼不聽話？看到以利沙的行為，讓我想到了聖經中的另外兩個人：雅各、路得。雅各在毘努伊勒和上帝摔跤（創32:24-30），並堅決不讓上帝離開，堅持要上帝的賜福；當拿俄米對俄珥巴和路得說：「你們各人回娘家去吧。」雖然一開始兩個人都拒絕，不過最後只有路得一個人和拿俄米回去。以利沙在以利亞身上、雅各在那個人身上、路得在拿俄米身上，我覺得他們都從這些人背後看到了上帝，他們也很了解「 神啊，你的慈愛何其寶貴！世人投靠在你翅膀的蔭下。 」（詩36:7），所以他們才會做出這...

這篇文章的起因是 ... 有個長官要求我們去 "study SDN Switch OS"，因為覺得如果以計劃的力量去開發這個「作業系統」可能資源不夠，所以集中資源直接向已經有的公司買個一套，然後在計劃內直接移植。 但什麼是 SDN Switch OS？先說結論， 根本沒有這東西！！ SDN Switch OS這個名字的由來是 Pica8 這家公司這家公司推出的，他們宣稱他們公司有 PicOS 。我們直接看看他們網頁是怎麼說的： Our hardware-agnostic, Debian-based , and OpenFlow-supporting switching operating system—PicOS™—is loaded onto commoditized, or "white box" bare-metal switches purchased from our ODM (original design manufacturer) partners. 首先，根據作業系統的定義，他們的作業系統就是 Linux，其他的功能不應該屬於作業系統層級。而且根本就是 Debian。第二，什麼是 OpenFlow supporting switching？說穿了 就是把 openvswitch 移植上去 。這樣說起來，請問你要跟這些公司買啥東西啊？ 當然這些公司不是沒有他們優化（正確來說比較是平台移植的問題）的厲害之處。他們做的事情以下圖所示：  左邊的圖示單純把 Openvswitch 移植到平台上，如果之前 Blog 所示範的，我已經成功的將 Openvswitch 移植到 pandaboard 上面（另外一位同事也移植到了 raspberry pi 上面）。這樣的效能當然好不到哪裡去，但是可以用。右邊的圖是這些廠商所著重的部份，就是把 openvswitch 的 kernel module 整合 現有的硬體網路晶片 ，來提升網路傳輸的效能。所以他們會做一層 HAL。問題是現有的晶片根本不支援 OpenFlow ... 所以反而在功能層面會有所缺乏。相反地，左邊的解決方案是純軟體的，所以功能層面齊全的更多。如果要實際細分的話，大概在 Action 和 Set Field 這兩樣功能現有晶片支...

TED是一個演講計劃，也可以用做練習英聽的題目，問題是和增進英文比較起來，我對演講內容比較有興趣，所以我還是寧可看中文字幕。以往我都是透過 http://tedtalksubtitledownload.appspot.com/ 來下載字幕，問題是 TED 的網頁改版了！！所以上面這個網頁沒辦法用，因此本人就決定自己來打造一個 TED 的字幕下載工具（順便當作 Python 的程式練習）。 import urllib def parseTime ( str ) : time = str . split ( "data-time='" ) [ 1 ] . split ( "'" ) [ 0 ] return time def parseSub ( str ) : subtitle = str . split ( ">" ) [ 1 ] . split ( "<" ) [ 0 ] return subtitle def time2Str ( time ) : minisecond = time % 1000 second = ( time / 1000 ) % 60 minute = ( ( time / 1000 ) / 60 ) % 60 hour = ( ( ( time / 1000 ) / 60 ) / 60 ) % 60 miniSecStr = str ( minisecond ) secStr = str ( second ) minStr = str ( minute ) hrStr = str ( hour ) # SRT time format: 00:02:52,184 --> 00:02:53,617 if len ( miniSecStr ) < 3 : for i in range ( 0 , ( 3 - len ( ...

耶穌說：「 你們必曉得真理，真理必叫你們得以自由。 」（約8:32）。這節聖經基督徒大概都很熟悉，問題是基督徒大概常常不覺得很自由。為什麼？因為當基督徒讀到登山寶訓的時候，常常會覺得這明明是新約，怎麼比舊約還要律法，要求這麼嚴格，除了外在的行為，還會鑑察自己的內心，而偏偏耶穌又說：「 你們若愛我，就必遵守我的命令。 」（約14:15），這樣壓力好大唷。這在人是不能，但靠著上帝的恩典，凡事都能（太19:26）。感謝上帝！不過今天的分享不是在這裡，而是在主日聽賴長老講道的時候，突然浮起的另外一個問題... 如果，上帝願意給你一個機會，使你一切手所做的盡都順利，而且你完全不用聽從祂的吩咐（也就是可以胡作非為:p），你覺得這個提案怎麼樣？ 乍聽之下很棒吧！雖然大部分的基督徒應該會直接大笑說：「怎麼可能？」，可能還會引經據典的來說這根本是天方夜譚，所以根本就不需要考慮這個問題。但或多或少，內心也會有點心動吧。然而，這個提案並非空穴來風，而是曾經出現在聖經當中的... 出33:1 耶和華吩咐摩西說：「我曾起誓應許亞伯拉罕、以撒、雅各說：『要將迦南地賜給你的後裔。現在你和你從埃及地所領出來的百姓，要從這裡往那地去。 出33:2 我要差遣使者在你前面，攆出迦南人、亞摩利人、赫人、比利洗人、希未人、耶布斯人， 出33:3 領你到那流奶與蜜之地。 我自己不同你們上去；因為你們是硬著頸項的百姓，恐怕我在路上把你們滅絕。 」 出33:14 耶和華說：「我必親自和你同去，使你得安息。」 出33:15 摩西說：「你若不親自和我同去，就不要把我們從這裡領上去。 出33:16 人在何事上得以知道我和你的百姓在你眼前蒙恩呢？豈不是因你與我們同去、使我和你的百姓與地上的萬民有分別嗎？ 」 出33:17 耶和華對摩西說：「你這所求的我也要行；因為你在我眼前蒙了恩，並且我按你的名認識你。」 在這個故事裡，上帝對摩西說，我派遣使者在你們面前，幫你們驅除一切的敵人，只是我不與你們同在，免得我因著怒氣而滅了你們。這真是一個誘人的提案，一來可以不花一兵一卒就可以佔領迦南地；二來也隱含著，你們可以胡作非為，而且我不會因此而懲罰你們。這提案有多大的吸引力呢？從之後的故事來看，約書亞爭戰了老半天，過約旦河、取耶利哥城、敗走艾城又取回來、打敗五王聯軍，到老年的時候，仍然還有許多未得之地（書13...

上一篇文章所介紹使用的 Linux User/Kernel 溝通方式：Character Device，是一個很標準的範例程式，過去在公司的案子開發上也大多採用這種方法（另一種方法是 ioctl ）。這個方式最大的好處是簡單，而且移植性高，因為從很早以前的 Linux Kernel 就已經支援了（2.4，你問 2.2？抱歉，我沒那麼老 ... ）缺點呢？Kernel Module 只能夠被動的等待 User Space 的程式呼叫，無法主動進行溝通。 Linux Kernel 最近發展的方向，在 UK 這一塊盡可能改採 Netlink 的方式來進行通訊。這是一個很簡單的思維： 既然所有網路的封包都會到 Kernel 去進行處理，那我為什麼不直接把網路封包拿來當作給 Kernel 的訊息呢？而 Kernel 要和 User Space 的程式溝通時，只要製作一個網路封包往 socket 丟不就好了嗎？ 於是 Netlink 就誕生了。先說缺點，因為算是比較新的技術，所以 API 的介面改的很快，因此程式似乎也要常常變動。下面是由同一位同事 taco 所撰寫的範例。（其實我本來想自己寫的，但 ... 懶啊） Kernel: # include < linux/types.h > # include < linux/kernel.h > # include < linux/netlink.h > # include < net/sock.h > # include < linux/sched.h > # include < linux/module.h > # include < linux/init.h > MODULE_AUTHOR ( " tacolin " ) ; MODULE_DESCRIPTION ( " NETLINK KERNEL TEST MODULE " ) ; MODULE_LICENSE ( " GPL " ) ; # define NETLINK_TEST 17 # define MAX_PAYLOAD 512 static struct sock *...