去年，作為《穿山甲專訪》系列采訪之一，我們曾經(jīng)給大家分享過UCloud技術副總裁楊鐳先生的訪談。那是我和楊鐳先生的第一次見面，雖然采訪時間不長，但是他務實嚴謹?shù)娘L格，也給我留下了深刻的印象。因此，這次又特意預約了他的時間，專程去上海和他深入地聊了一些過去七年UCloud的技術選型之路和技術價值觀理念，并與這位從一線運維跌打滾爬出身的技術領袖的所思所想產(chǎn)生了深切的共鳴。
作為采訪者，我也是一位做了二十多年互聯(lián)網(wǎng)技術工作的老兵，雖然在私交上我和楊鐳并不算熟悉，但是隨著在互聯(lián)網(wǎng)、技術和開源方面話題的展開，我們很快就聊得十分投機。
【圖：現(xiàn)場采訪圖】
第一章 一位技術人員的成長史
話題是先從楊鐳先生的技術背景和從業(yè)經(jīng)歷展開的。
老王：是否可以請先介紹一下你之前的技術背景和你從業(yè)方面的情況?
楊鐳：我結合 UCloud 整個技術發(fā)展的情況和我自己的情況跟你講一下。
我的背景是這樣的，我2006年加入盛大在線，剛入職時我是從最一線的運維人員開始做的，大概兩年多以后逐漸地開始參加一些研發(fā)的工作，做一些運維的平臺系統(tǒng)開發(fā)工作。
我跟老季(UCloud CEO 季昕華)是大概 2008 年認識的，他當時在管盛大在線。盛大在線提供運維平臺來支撐各個游戲部門的業(yè)務，包括像盛大創(chuàng)新院的服務器，其實背后都是由盛大在線提供運維的。在之后做盛大云時，我們承接了非常多的業(yè)務部門的運維工作，而當時我就是在做平臺技術方面的工作。
那時包括 OpenStack 才剛剛出現(xiàn)，AWS在國內剛被知曉，而我們那時候自己最早做虛擬化都是通過 VMWare 來做的。我們一直在關注云計算的發(fā)展。在 2011 年底，老季出來創(chuàng)業(yè)時，問我有沒有興趣出來，我就出來了。
我們當時認為，運維應該走到一線去產(chǎn)生業(yè)務價值，而云計算正好是可以讓做運維、做技術的人能做產(chǎn)品的一個技術。云計算說白了是把以前運維的東西放在臺前了，可以去賺錢了。
從一封未發(fā)出的郵件說起…
楊鐳：當時我離開盛大的時候，寫了一封郵件，但郵件我沒發(fā)出去，一直存在我的草稿箱里，現(xiàn)在還在。其實我對盛大也是挺有感情的，整個平臺都是我們一手搭建的，做了很多很多的事情，還是很辛苦的。
那封信大概的意思是說，云計算真的能解決很多問題，它能讓服務器彈性地、不用關機去升級內存和 CPU……還有很多充滿想象力的事情，其實這也是 UCloud的初衷，是我們出來創(chuàng)業(yè)的初心，包括老季在內，其實也是這樣的，在那個時候我們每次出問題，他都知道，可能是哪個機房的網(wǎng)線插反了，或者哪個服務器配置不小心沒搞對，就像蝴蝶效應一樣引發(fā)了嚴重的后果。
那時候出來，我們就是想把云這個事情做好。
踐行新技術, 到處吃螃蟹
楊鐳：因為我不是從研發(fā)出身的，當時 UCloud 創(chuàng)業(yè)的時候也不容易，我們當時除了三個創(chuàng)始人之外，還有五個研發(fā)技術人員。當時所有的運維、開發(fā)、底層的一些工作，這些我都參與過。
一開始我是做網(wǎng)絡方面的研發(fā)，當時懂網(wǎng)絡的人比較少，而我是做運維出身的。那時還沒有 SDN 的概念，我們開始做云計算的時候，當時主流的虛擬化技術是Xen，KVM 剛進入視野。我那時候很關心 Linux 內核方面的技術，我認為 KVM 一定是有發(fā)展的，所以就建議圍繞KVM而不是Xen做底層虛擬化，我們一開始采用的 KVM 就是這樣來的，結果在后面就少走了很多的彎路。
我主要的一個工作是虛擬機創(chuàng)建流程，這跟我自己之前的一些運維知識也比較匹配，在這方面我做的很多工作主要是優(yōu)化。這里面其實有一個云計算產(chǎn)品的精髓，云計算產(chǎn)品如果要做好有兩方面：
一方面技術要做好，它的可拓展性、穩(wěn)定性要好，這是從研發(fā)的架構層面來看;另一個方面，你要真正地懂這個產(chǎn)品。
比如說云主機，你現(xiàn)在來看很多云計算產(chǎn)品的功能都已經(jīng)習以為常了，但是 UCloud 一開始做了很多可能現(xiàn)在看起來不同尋常的事情。為什么會做這些事情呢?根本原因在于我們對于運維的理解比較深刻，所以我們敢先做這些功能。比如說當時有一個叫“重裝系統(tǒng)”的功能，當時很多云服務商是沒有這個功能的——那時候還很早，大約是 2012年的時候——這是我現(xiàn)在回過頭來看一開始 UCloud 在那個階段能沖出來的一個蠻重要的原因。
當時 SDN 也是這樣的。在那個時候，很多技術和框架還沒有標準的、可以參考的開源實現(xiàn)。比如說做虛擬化，你可以用 KVM或Xen都能做 。因為那個時候我對網(wǎng)絡方面一直很感興趣，我以前主要是做運維，對 IPtables 很熟悉，排查過非常多復雜的現(xiàn)網(wǎng)故障，所以對于IPtables在生產(chǎn)環(huán)境中的使用有一定的把握。當時我們就是這樣，去AWS的EC2虛擬機中抓包結合網(wǎng)絡上的材料來分析背后的實現(xiàn)方案，然后用最有把握的工具鏈來實現(xiàn)。我們很快就做了一套自己的 SDN——當時還沒有 Open vSwitch，它是 2013 年出來的——而我們當時就很大膽地采用了一個這樣的東西。現(xiàn)在你看 UCloud 發(fā)布的技術文章、我們把技術實現(xiàn)方式都講了出去，但是那個時候你只能自己猜和試驗。
云計算的問題在于什么呢?它的產(chǎn)品是技術型的，客戶用你的產(chǎn)品和服務的時候，你跟客戶接觸的人員是要懂技術的，盡管我們傳統(tǒng)上認為這個事情很多還是商務上、銷售上的事情。但是最終你要成就一個優(yōu)質的客戶，因為只有優(yōu)質的客戶，它的業(yè)務好，才會更多的買云服務。而優(yōu)質的客戶不光看客戶關系的，看的還是你的技術、你的產(chǎn)品和你的人員是不是專業(yè)。因為這個原因，所以我后來在整個 UCloud 工作的過程里，不斷地在往前走，去做技術支持。那時候我們很重視客戶，我去做解決方案架構師，甚至有段時間在事業(yè)部參與銷售工作，其實是因為被這個問題推著往前走的，包括我現(xiàn)在其實主要的精力也在負責產(chǎn)品以及整體的技術管理這塊。
差不多我的技術歷程就是這樣的，這也是 UCloud 技術這幾年發(fā)展的一個縮影。
第二章 技術觀與價值觀
老王：你作為 UCloud 的技術負責人，之前在 TIC 大會上我也聽你講到過 UCloud 的技術價值觀的觀點，我想了解一下在宏觀上、較高層面上你是如何看待云計算技術的發(fā)展的，以及這里傳達了什么樣的價值觀?
「能力」——用工程能力解決技術問題
楊鐳：接著前面的話題說。盡管在方向上是對的，但是我們還是走了很多小的彎路。我們有一個核心的能力，也是UCloud的核心技術能力，就是出現(xiàn)BUG或者架構缺陷的時候可以很快地在現(xiàn)網(wǎng)透明地升級解決掉——這實際上是對我們后端的無縫升級能力特別大的挑戰(zhàn)。我自己的感受是，一開始講要這樣做時我其實不太相信能做到，但是在第一年，我們就做到了很多這樣的事情。
我舉個例子，當時我們產(chǎn)品上線以后，做彈性 IP 的實現(xiàn)，一開始很簡單，我們搞幾臺設備，用IPtables實現(xiàn)了彈性IP和內網(wǎng)云主機的映射，放在兩臺機器上，有故障時候服務自動切換，一切都很美好。但是上線以后就開始發(fā)現(xiàn)問題，這兩臺機器不停地宕機，其實就是出現(xiàn)了“Kernel Panic”。因為我們一開始只有兩臺核心網(wǎng)絡接入設備，宕機一臺就是 50% 的服務不可用，然后客戶自然就炸了。但是那時候我們是解決不了這個 “Kernel Panic” 問題的，盡管懂一點內核知識，但是對內核代碼層面的問題并不了解，我不知道為什么會發(fā)生，雖然我知道肯定是那個方向的問題。
我們搞不定怎么辦呢?當時老季和我們COO經(jīng)常在外面和客戶解釋網(wǎng)絡故障的原因，例如中午和客戶吃飯，邊吃邊告訴客戶我們出了什么問題，會采取什么樣的措施確保不再出現(xiàn)。而在后面，我們做了一件什么事兒呢?我們大概花了 2-3 天的時間，我們把兩臺集中式的服務器變成分布式的了，因為在物理機上崩潰了之后、服務器就掛了嘛，所以我們把這個服務放到虛擬機里去，每一臺物理機上我們放兩臺。這樣比如說到時候這里宕機了，這兩臺就可以及時切換，而且因為是虛擬機，切換速度很快。我們寫了一個自動化地拉起所有服務的腳本。兩三天就完成了，就把這個問題救活了。如果當時不解決，可能 UCloud 就掛了。
我們靠這個機制頂了大半年，直到我們的內核負責人來了。最后，發(fā)現(xiàn)是什么問題呢?確實是流量帶寬控制那里有一個隱藏的 BUG，這個 BUG 其實連CentOS 都沒修復——因為我們用的是 CentOS——它沒修復，而我們也搞不定。當時去查找 CentOS 的補丁列表，并沒發(fā)現(xiàn)有這方面的補丁。到最后是怎么發(fā)現(xiàn)的呢?是上游后來發(fā)一個修復，但是這個修復 CentOS 一直都沒放進來。
你看，這本身是一個非常深入的技術問題，但在創(chuàng)業(yè)的時候你不一定能解決，而我們通過架構的優(yōu)化把它解決掉了，這實際上是 UCloud 從成立第一年開始到現(xiàn)在的一個核心能力。我自己經(jīng)歷過這個事情以后，再遇到什么事情都不怕了。
楊鐳：這是一種變換的能力。這是整個 UCloud 技術文化所貫穿的一點，先提供一個方案把它解決掉，讓我們的服務品質不會降低。而要做到這一點，我覺得最難的是你需要對工程這個事情有深刻的理解。大家都會說工程師很重要、工程能力很重要，但是說實話，就像我開始來到 UCloud 的時候，我也會講我是工程師，我很自信這一點，但是在我第一年遇到并解決了很多問題以后，我發(fā)現(xiàn)自己其實還不太懂。比如說，你看現(xiàn)在最近很火一些知識付費類課程，當我走到那個高度后我跟你說這個事情應該這樣，應該那樣。但如果你是才進入行業(yè)兩三年的人，你是聽不懂的，你并不知道怎么做，只能知道這句話應該是對的。這句話可能確實是對的，但是在日常工作中，你第一時間是反應不過來的，因為你不會深刻理解這句話。
一開始我們的工程能力就是很強的，因為這個基因來自于創(chuàng)始團隊是當時最頂尖的工程團隊。云計算天生對穩(wěn)定的要求特別高，這是非常偏工程化，而這個能力對整個行業(yè)的影響是很深遠的。
「嘗試」——當時膽子真的太大了，走得很前面
楊鐳：當時我們遇到的挑戰(zhàn)很多，我們一開始第一代用 SDN 白盒交換機的，當時沒多想就上了，然后我們遇到了非常多的問題，最早還用過 Open Switch。其實 UCloud前幾年在技術上走的比較靠前，因為我們規(guī)模較小，決策更快，而且我們的技術團隊膽子也很大，因為對技術團隊很自信，對自己的工程能力很自信，所以敢嘗試新的技術。比如說在網(wǎng)絡層，我們有一套是用的 OVS，還有一套是用白盒交換機，而我們在兩套之間還做了無縫地升級。我們的膽子大，所以那時候我們玩的都是新的技術。我還記得我在 2013 年出去做過 SDN 相關的演講，現(xiàn)在看來當時膽子真的太大了，走得很前面。
那時候大家都知道是趨勢，但是到底會怎么發(fā)展還沒有人敢下定論，就像 Service Mesh 一樣，現(xiàn)在絕大多數(shù)公司在做研究，在做概念驗證，而我們已經(jīng)在產(chǎn)品環(huán)境上跑了，我們走在很前面，有點孤獨。
從我自己的角度看，我們那時候技術還是走得很快的。我舉一個例子，比如現(xiàn)在有的云服務商要在兩個地域之間打通，比如說從北京到香港，一般會告訴你要找第三方的網(wǎng)絡供應商幫你打通。而 UCloud 是怎么做的呢?我們在底層有物理專線，用戶只要在控制臺點一下兩邊就通了。大概在相當早的時候，我們就提供了兩個地域連接打通的功能。現(xiàn)在有的云服務商還需要幾天才能為客戶打通，而我們只要控制臺上點一下，計費之后就通了，兩個地域間的虛擬機就全部都互通了。
我記得那時候在這個功能的發(fā)布前夕，我們?yōu)榇俗隽艘徽麄€通宵。在早上 7 點鐘的時候，公司有人來上班了，我就在群里發(fā)了一條消息，說我們這個搞完了，大家都很激動，雖然現(xiàn)在兩個地域之間的云計算服務器連起來是很正常的，但是在那個時候是沒有人做的，那時候就感覺很有成就感。
其實好幾個 UCloud 早期的研發(fā)同事，他們都有類似于跟我一樣的事情，只是我當時的領域全部在網(wǎng)絡上，而他們的領域在其它的方面。
整個云計算這個事情，它的核心其實是一個技術問題，最終想在這個地方走長遠，本質上是要比技術能力的，一不小心就會落后。
我再舉一個例子，我們在 2014年下半年的時候招了第一個做 DPDK 研發(fā)的人，那時候我們知道 DPDK 技術發(fā)展前景還不錯，所以我們招了這個崗位;而到了 2018 年的下半年，如果哪家有云產(chǎn)品而沒有 DPDK 技術，你的產(chǎn)品是完全不具備商業(yè)競爭力的，你會賣得很貴，性能非常差，而友商會賣得很便宜，性能又很好，這個就是技術的紅利。DPDK 的紅利，但是如果你當時不投入的話，到現(xiàn)在可能會來不及。這是看三年的，所以我們現(xiàn)在在做 Serverless 方面的工作，投入是比較大的，但是如果我們不投入，可能三年以后或者四五年以后就出局了。
楊鐳：我們還做了很多很有意思的事情。比如，很多用戶買了云計算的虛擬機以后由于密碼不嚴格被黑掉了，然后就變成肉雞對外發(fā)大量數(shù)據(jù)包。這個事情很多云服務商的處理是很簡單粗暴的，就是把你機器關掉，但客戶其實是很受傷的。而我們當時不是這樣做的。我們看，它不是對外發(fā)包嗎?我們在宿主機上打開 TCP 來抓包，比如說10秒鐘的包——因為不能長抓，長抓的量太大了——把它放到數(shù)據(jù)庫里，然后我們去分析這個 TCP 包的特征、出入的比例，如果只是出站沒有入站的話，那就肯定是被利用攻擊了嘛。后來我們發(fā)現(xiàn)，所有被反射攻擊利用的特征都是這樣的。我們發(fā)現(xiàn)如果符合這個特征，就把這個虛擬機的網(wǎng)絡給處理掉——我們會把它的網(wǎng)絡給漂走，叫做隔離區(qū)，并沒有把機器關掉，不會影響其他人，但是他的虛擬機自己還是可以登進去的。我們把這叫做最優(yōu)選擇，但是這個技術上很復雜。
實際上這不是純技術的問題，這是一個理念，你要懂技術，還要懂業(yè)務，還要懂數(shù)據(jù)分析，還要設計一套東西把它串起來。
我們覺得自豪的一點不是說這個技術很厲害，而是我們的友商沒人這樣去做。我們做了好幾件類似的事情，我們最終帶動了行業(yè)的發(fā)展，客戶在UCloud里體會到好處以后，他跑到別的云服務商說，你看UCloud這樣做的，別的云服務商沒辦法，就被我們反逼提供這樣的功能。而且這種功能不是說我們?yōu)榱顺秸l，而是我們自己想出來的。我們自己的研發(fā)人員自己關起門來說，對這種事情還是挺自豪，某種意義上我覺得這其實是種創(chuàng)新。
「價值觀」——我們相信云計算是長遠的
老王：你剛才介紹了UCloud的情況，作為技術人員我也覺得很有心向往之的感覺。你覺得目前而言，你們這個四五百人的技術團隊的優(yōu)勢主要是在工程能力上還是在你們團隊上的技術文化上?
楊鐳：從我這個角度，首先這是我們的精髓、文化或者說是技術文化。在這個問題上我們是不允許所謂的不純粹的。所以在管理上，其實我們對剛才說的這幾件事情，我們是要求很高的，如果你新來一個人你在文化上不認同，這個可能不適合你。
還有一方面，我們對整個技術的價值觀就像上次我跟你聊的一樣，我們會要求很高。我們除了自己不收集，還會幫用戶把隱私保護好，告訴用戶不要給我們任何的信息，而多數(shù)的公司是反過來的。我們大概會在1年多后完成大部分云上數(shù)據(jù)的加密，包括存量的數(shù)據(jù)。就像我們在去年的TIC大會上說的，這里會堅決投入，而且不是一個小的研發(fā)投入。因為說白了用戶未必自己訴求那么強，很多時候沒這個意識。而我們做這個事情因為有很多存量的云主機，幾十萬臺的規(guī)模，我們要透明的、不影響性能、安全地放上去，而且密鑰還要定期輪換，不能老是一把密鑰，但是要輪換的時候又不能影響性能，所以在工程上是有挑戰(zhàn)的和有技術深度的。我們做那么多的事情，說白了這就是價值觀問題，我們真的對用戶的數(shù)據(jù)安全非常重視。
楊鐳：盡管我們現(xiàn)在人不少了，但是我們產(chǎn)品線也很長，我們這點人也是不夠的，我們現(xiàn)在做這個事情都在加班做，說白了時間不夠，只能花時間解決這種問題。這種事情說白了是在價值觀上，你做不做可能沒有區(qū)別，但是我們認為真正長遠地看這個事情是有意義的。眼前不會有太大的得益和收益，但是從長遠的趨勢看，從我們的信念看，保護隱私、保護數(shù)據(jù)安全其實是一個所有人都會走向的共同的目標，只是現(xiàn)在還看不到。
所有的這些事情其實都是歸納到一點，你相信什么樣的事情?我們相信云計算是長遠的。我們跟客戶的合作不是做一錘子買賣，我們甚至于對客戶都有要求，我們都要做得很優(yōu)秀，我們要長遠看這件事情值不值得做?當然值得做。為什么要看長遠?因為我們對自己還是有信心的。其實你的現(xiàn)在是被過去決定的，你現(xiàn)在是為未來做的，所以我們現(xiàn)在在這個層面上想的事情都是三年、五年以后的。現(xiàn)在這些從大勢來看，我們做的這些其實都是因為我們前三年做了一些事情，我們堅持了一些事情，因為做了那些事情，我們活了下來了。現(xiàn)在數(shù)據(jù)隱私這個事情也好，數(shù)據(jù)安全這個事情也好，或者是很多 Serverless 產(chǎn)品也好，我們相信在那個時代會更重要，所以我們堅持做這個。
第三章 尾聲
老王：做這個專訪，一方面我們希望看到真正的技術人現(xiàn)在具體做哪些事情。另外一方面我們希望讓大家看到有這樣的公司在做具體的事情，這些事情會不會對他們產(chǎn)生觸動、啟發(fā)甚至吸引他們去關注或者參與，這是我們希望能進一步做到的東西。
我覺得今天你婉拒了很多采訪的邀約而接受我們的專訪，我覺得也很榮幸。一方面我們可以持續(xù)性地關注你們這邊的技術進展，我們把有些可能在你們看來不值得一提，但是在我們看起來可能非常重要或者更有傳播和示范意義事件傳播給大家。我覺得今天的采訪讓我確實地了解到了很多我原來沒有想到或者沒有觀察到的地方。
楊鐳：我從一個運維人員走到現(xiàn)在，現(xiàn)在做這個事情我才能發(fā)現(xiàn)原來是這樣的。我覺得我能理解你，因為大家專業(yè)不同，我們正好每天在這里做事情，所以就往這個方面想。我希望這篇采訪能讓大家知道有些事情怎么做更好，只是我們走在了前面一點，我們是這個行業(yè)里的人，我們有經(jīng)驗，我們傳播出去，這個我很開心，就OK了。
180-0586-8797