如何做個好的測試工程師

你心目中的測試工程師是做什麼的？或許很多人的答案是「按照測試文件的步驟進行，並且產出報告」。事實上，我相信這是大部分的老闆心中所想像的畫面，無怪乎想到測試工程師的時候都直接聯想到廉價的工作（恩，聽說某家科技公司把所有的QA部門都裁了 ...）。講真的，這樣想的人，也太小看測試工程師了。下面我列出我心中對測試工程師的標準，這樣以後再有新進同事近來擔任測試工程師的時候可以拿來當作教材。話先說在前面，這只是我個人的經驗所整理出來的文章，所以難免會有缺漏，以後有想到的話再補充吧（還要加上我有動力的話 ... ）

  1. 要做出有用、明確的報告。

    什麼叫作有用、明確的報告？先講一下我之前的故事（之前好像也在 Blog 提過了，不過發生過很多遍，人物也都不同）。有人找我處理電腦上的問題（這似乎是念CS的原罪），只留下一句話：「電腦無法上網了，會不會是中毒了啊？」這是我最討厭聽到的問題！（不過已經見怪不怪了，所以還是可以控制情緒）為什麼討厭這樣的問題，因為理由太多了！！就好像跟醫生說肚子痛，可能發生的原因從脹氣、拉肚子，一直到胃癌都有可能，一句肚子痛，你是要醫生給你什麼答案。電腦無法上網，可能是電信公司的問題（我最常推卸的對象，真是對不起電信公司，不過這可以讓我用最短的時間結束對話）、網路設定問題、家用網路設備的問題，當然也有可能是中毒。那不公平，一般人沒有相關的專業知識啊，所以醫生要負責做檢查的工作！沒錯，醫生要負責做檢查，在軟體產品上，做檢查的責任就是在測試工程師身上。

    我在這邊說的報告，不是那種紙本，要寫的很囉哩囉唆滿足客戶需求的那種文件（當然這個技能非常重要），而是在跟開發工程師回報的時候，要很明確的講出到底發生了什麼狀況！死亡信息（Log）有哪些？是 Kernel Panic 還是 Segmentation Fault？請不要以一句「系統掛了」來總結所有的 Bug！並且還要根據 Log 做出初步的判斷，不要把開機以來的幾千行 Log 看也不看就直接貼給開發工程師。

    這不公平，我只是小小的測試工程師，我又搞不懂那些 Log 在寫什麼，整個產品的功能是什麼、架構如何？Well，一般來說，Log 寫的是英文吧？雖然我不否認很多開發工程師，包含我在內，Log寫的很爛，但還是可以讀吧？不了解整個產品？那你憑什麼擔任測試工程師？要重複操作，我找個國中生來就好了。測試工程師不能夠以不了解系統作為藉口，事實上，對整個軟體 Spec 的熟悉程度是必須達到甚至超過開發工程師的。

  2. 尋找、使用、並熟悉各式各樣可以用的工具

    毫無疑問，測試的工作有點煩瑣、步驟重複，難免給人浪費生命的感覺。事實上，有很多可以自動化的工具可以減輕測試工程師的負擔，像是 Script（VB、JAVA、LUA、PYTHON ... ），有些甚至還有GUI，聽過最誇張的例子，有人因為打魔獸世界而學會 LUA 的語言，被封為該公司測試工程師中最會寫程式的高手，恩，打電動是很重要的。那些東西我都不會啊，沒人教我。去好好打電動吧（笑）。拜託，你要設法去多看，多找找各式各樣的工具，會用 Google 吧？與其花時間在逛 Mobile01，多花時間找工具並且試試看吧。

    除此以外，測試工程師要儘量去熟悉各式各樣的觀察工具，如何量測網路流量？如何觀察網路封包？沒有 Wireshark 可以用的時候怎麼辦？如何灌封包？此外，拜託請多利用這些工具！Wireshark不單單可以擷取封包，還可以做出統計圖表，你知道嗎？沒事把那些軟體的所有功能都跑過一遍，會有很多意想不到的收穫。
  3. 使用自動化工具之前，麻煩請先了解它在做什麼

    這要回到公司實際發生過的案例。為了加速測試的工作，我們公司使用了 VB Script來執行操作，結果有新人來學習以後，就只學會如何操作 Script（這裡說的如何操作指的是如何操作滑鼠去選擇要跑的Script），根本不了解 Script 裏面所執行的項目，連改 IP 都不會改，只會跑過來問說這個 Script 執行後為什麼不會動。無怪乎我有一個公司的學長非常反對使用自動化測試工具，他說：「等你習慣自動化工具以後，你根本就不知道系統要怎麼操作了」，雖然我不完全同意他的堅持，但是這句話倒是一個非常不錯的提醒。

    很多公司已經有一整套過去強者所留下來的測試工具，雖然好用，但是一定要花時間去學習，不是去學習如何使用滑鼠，而是要深究內部找出所有的設定、操作方法。這樣就可以做出不同的應用。
  4. 盡可能的找出重現 BUG 的最短路徑

    OK，這很困難，我知道，但在可能的情況下，告訴開發工程師如何重現 BUG，而且進可能的簡化重現 BUG 的步驟。愈明確、愈簡短的步驟，開發工程師找到問題、解決問題的時間就愈短。如果 ABCDE 的步驟會產生問題，而你用確定（或是看起來）到C為止都是沒問題的，那可以試試看是不是只執行 DE 就會出事。這是測試工程師該有的精神跟態度，雖然這一步驟很大取決於經驗以及能力，但總要盡可能的往這方向前進。
  5. 熟悉一切的設定檔

    測試的環境千奇百怪，不同的環境非常可能有不同的設定檔，設定這些環境是測試工程師的工作。

愈寫愈短，代表愈來愈懶，所以微博興起果然不是沒有道理的。如果還想到要補充的以後再說吧~但還是有些話要先說在前面，這些是我心中對測試工程師的要求，但沒達到這個要求，Well ... 心情好的話就會慢慢指導測試工程師該如何測試，心情不好的話可能會直接把測試報告退貨，無論如何，還是會乖乖去解啦 ...

留言

張貼留言

這個網誌中的熱門文章

如何將Linux打造成OpenFlow Switch：Openvswitch

圖片
因為工作上被指派去做SDN，自然需要SDN的網路設備才可以。問題是SDN Switch賣的超級貴的，一台差不多要30萬台幣。這跟當初推廣SDN的人說法完全不一樣！他們當初說SDN網路設備會變得比較便宜，因為網路設備上不需要在堆疊這麼多的網路協定，因此硬體可以Cost Down，也可以省下軟體的錢。問題是，如果單單賣純種SDN Switch根本是不可能的事情啊，因為缺少可以在上面跑的軟體和控制器，所以只好保留傳統設備上的功能，再多加OpenFlow的支援，並提供給使用者選擇的開關。這樣當然只會更貴不會便宜啊！！ 在沒錢、沒人、沒資源的情況下，要怎麼辦呢？用模擬軟體？可惜要Demo的時候行不通。那就只好自己來打造一台SDN Switch了。雖然沒有晶片的支援，但只要不牽扯到效能的話，應該沒太多問題。下面是我和同事想過的一些解決方案： 自己打造OpenFlow的Agent，反正OpenFlow的網路協定並不複雜，然後透過Linux Kernel的netfilter來模擬晶片的行為。因為是用軟體模擬，所以效率會比較差，但反過來說，因為是軟體，所以我可以滿足所有OpenFlow的要求，不會有做不到的事情。不過這個提案被一個PM的同事封殺了，理由是這不能賣錢 ...  有一個同事找到一個有趣的專案 FlowForwarding 。這個專案提供了Open Source的OpenFlow Agent: LINC。LINC是用Erlang所開發的軟體。雖然我根本不會Erlang，但程式語言不是我考慮的重點，我好奇的是它要怎麼模擬晶片來處理封包。從網頁上看到，LINC在使用上需要libpcap的函式庫，初步猜測，LINC應該是把所有的封包透過libpcap攔截到user space以後進行修改。這樣做的效率應該會比我的解決方案更差。 OpenVswitch 。這是大部份產品的解決方案。我聽過一堆公司宣稱自己有了SDN Switch，而內容只不過是把Openvswitch移植到自己原有的產品上罷了。一樣，我好奇它要怎麼模擬晶片來處理封包，看了編譯過程，它會產生openvswitch.ko，在加上它利用bridge的特性，所以應該是在linux bridge那邊進行hook後修改。 考量到移植的方便性，所以後來我個人選擇openvswitch作為SDN Switch...
閱讀完整內容

我弟家的新居感恩禮拜分享：善頌善禱

語本禮記·檀弓下：「晉獻文子成室，晉大夫發焉。張老曰：『美哉輪焉！美哉奐焉！歌於斯，哭於斯，聚國族於斯。』文子曰：『武也，得歌於斯，哭於斯，聚國族於斯，是全要領以從先大夫於九京也。』北面再拜稽首。君子謂之：『善頌善禱』。」 不知為什麼，我一直對禮記中的這一篇印象深刻，大概是小時候記憶力比較好，所以一直刻劃在心中吧。之前有天我弟要我把時間留下來，要參加他們家的家庭禮拜，結果到了以後才發現原來是新居感恩禮拜（我說，你們小倆口根本已經搬進去很久了吧），然後居然還要說些祝福的話（喂喂，下次這種事要先講，我本來抱定只聽只吃不說話的態度啊），在想要講什麼的時候，第一個浮出的念頭就是「善頌善禱」的這個故事 ... ㄜ ... 不是聖經經文啊，所以就想找找，在聖經中哪一段有「新居落成」的相關經節，可以作為分享，結果就是以下面這段文章來做分享： 王上9：1-10 所羅門建造耶和華殿和王宮，並一切所願意建造的都完畢了，耶和華就二次向所羅門顯現，如先前在基遍向他顯現一樣，對他說：「你向我所禱告祈求的，我都應允了。我已將你所建的這殿分別為聖，使我的名永遠在其中；我的眼、我的心也必常在那裡。你若效法你父大衛，存誠實正直的心行在我面前，遵行我一切所吩咐你的，謹守我的律例典章，我就必堅固你的國位在以色列中，直到永遠，正如我應許你父大衛說：你的子孫必不斷人坐以色列的國位。倘若你們和你們的子孫轉去不跟從我，不守我指示你們的誡命律例，去事奉敬拜別神，我就必將以色列人從我賜給他們的地上剪除，並且我為己名所分別為聖的殿也必捨棄不顧，使以色列人在萬民中作笑談，被譏誚。這殿雖然甚高，將來經過的人必驚訝、嗤笑，說：耶和華為何向這地和這殿如此行呢？人必回答說：是因此地的人離棄領他們列祖出埃及地之耶和華─他們的神，去親近別神，事奉敬拜他，所以耶和華使這一切災禍臨到他們。」所羅門建造耶和華殿和王宮，這兩所二十年才完畢了。 在列王記上的記載裏面，所羅門花了二十年的時間完成了聖殿和皇宮的建造，而現在上帝來參加這個「新居感恩禮拜」。上帝說：「 我已將你所建的這殿分別為聖，使我的名永遠在其中；我的眼、我的心也必常在那裡。 」感謝上帝，這是上帝同在的保證，這是基督徒最喜歡傳講平安的福音：「以馬內利，上帝與我們同在」，以上帝給的祝福來說，沒有比這更大的。可是等等，接下來的話是新居落成時所該給的祝福嗎？一開始還好，可...
閱讀完整內容

Linux Virtual Interface: TUN/TAP

圖片
今天要介紹的，不是什麼新技術，只是之前沒碰過，而現在工作有用到，所以做個私人紀錄。 問題描述以及過去的解決方案 工作上面遇到的問題，如何建立一張虛擬的網路介面，並且讓封包經過該介面後額外封裝一個新的 Header。建立虛擬網路介面不難，但要如何去撈封包（使封包經過該介面）呢？並且之後封包的處理又是如何？之前在公司曾經用過幾種招數： 第一個作法是透過 Bridge 來將網卡綁在一起，然後去修改 Bridge 的程式碼做自己想做的事情。第二個作法是透過 Netfilter 來攔截封包，做完事情以後再硬導到正確的網卡。這兩個作法很 亂來 ，我的亂來指的是不理會 Linux 內部封包處理流程，隨意的處理並安插封包，但我可沒說這樣做不到啊。第3種方法很好，完全符合 Linux 核心的封包處理程序，代表的例子就是 GRE，問題是現在的封裝技術亂七八糟（這個詞純粹是為了抱怨用），並不一定是單純的 IP-in-IP ，所以這個架構不一定適用。正當決定來亂搞的時候，有人提供了一個新的方向（應該是說自己孤陋寡聞）：TUN/TAP。 TUN/TAP: Virtual Network Kernel Device 我們先抄一下 Wiki 上的說明： In computer networking, TUN and TAP are virtual-network kernel devices . Being network devices supported entirely in software, they differ from ordinary network devices which are backed up by hardware network adapters. TUN (namely network TUNnel) simulates a network layer device and it operates with layer 3 packets like IP packets . TAP (namely network tap) simulates a link layer device and it operates with layer 2 packets like Ethernet frames . TUN is used...
閱讀完整內容