ZKIZ Archives


谷歌全球研發總監談其廣告系統:每秒賺$1000

http://slamnow.blog.163.com/blog/static/199318236201206714514/

谷歌全球研發總監隙小虎

我們想知道,一個念頭是如何破繭而出,最終發展成為優秀的產品。在這背後又有著怎樣的技術與思考?我們想知道,成長道路上的合作、碰撞與收穫。為此新浪科技推出《科技開講》系列訪談,希望能遠離喧鬧紛繁的商戰,尋找IT企業的靈魂。

Google廣告體系背後的技術

訪談主題:

作為全球市值最高的互聯網公司,Google每秒鐘獲取的收入超過1000美元。這其中Google廣告系統起到至關重要的作用。Google廣告系統如何發展而來,又靠什麼技術支撐?本期《科技開講》就來談談Google廣告技術和背後的工程師。

做客嘉賓:

谷歌全球研發總監隙小虎

互動交流:

更多關於Google廣告技術的問題可與@隙小虎直接互動。

跟蹤Google動態請關注官方微博@Google黑板報。

本期精彩看點:

- Google一個季度的營收近百億美元,每秒鐘產生1000美元以上的收入。而這家公司的絕大多數產品都是免費提供,賺錢全靠Google廣告系統。

- Google最初設計出的廣告系統,從亞馬遜賺的錢只夠買幾瓶啤酒。

- 2002年,Google廣告系統的發展出現歷史性轉折,包括1.採用按展示付費 2.第二價格密封競拍 3.引入質量得分系統。Google廣告排名=最高點擊成本×廣告質量得分。

- 不少Google廣告工程師都是百萬富翁俱樂部成員。獲得這個稱號意味著,這位工程師因為犯錯給Google帶來百萬美元以上的損失。不過沒人因此被解僱。

- 防錯機制:救火隊員+驗屍報告。

- 海量存儲系統、機器學習系統、實時匹配系統,Google廣告系統的三大模塊。

- Google現在有上萬台機器進行海量存儲,但在還不「富裕」的時候,曾經用卡車去買大量廢棄內存條,組建大量廉價硬件+高質量軟件的解決方案。

以下是本期《科技開講》的文字實錄:

Google廣告排名=最高點擊成本×廣告質量得分

新 浪科技孟鴻:大家好,這裡是新浪科技,今天我們講一講關於Google的話題。Google大家比較熟悉,是一家非常賺錢的公司,第二季度財報收入90多 億美元,市值逼近2000多億美元。提供免費服務的公司怎麼會這麼賺錢?今天就談談這家公司背後賺錢的秘密。我們請到的公司是谷歌全球研發總監隙小虎,我 們歡迎tiger。

隙小虎:非常高興和大家交流。

新浪科技:正如剛才提到的Google為什麼會賺錢呢?

隙小虎:Google這家公司給大家提供了很多免費的服務,如搜索、地圖、電子郵件等等。同時Google也提供非常強大的網絡營銷平台。Google有超過97%的營業收入由廣告平台做成的,主要是廣告來源。

新浪科技:Google在廣告上到底有什麼樣的產品?

隙小虎:Google的產品分為關鍵字廣告、聯盟廣告,關鍵字廣告是大家熟悉的產品,在Google引擎上搜索時,會看到搜索相關的廣告,當用戶點擊時會被引導到廣告商頁面上。

廣告商引導是拓展到非搜索頁面的產品,用戶會花時間瀏覽頁面閱讀電子郵件,包括換上視頻等。08年進一步完善了展示產品的產品線,移動互聯網平台是非常重要的發展方向,在去年Google完成了對AdMob公司的收購,很看好移動互聯網作為廣告發展平台的前景。

新浪科技:我們會想到廣告中排名的問題,對Google來講,他們廣告中排名是怎麼計算的?

隙小虎:這是非常好的問題,是Google的核心機密。不能把所有機密透露給你,可以簡單概括一下。Google排名是基於質量得分的第二價格密封競拍系統。舉個簡單的例子,Google的競拍系統,按照用戶願意付的最高點擊成本作為排名的因素。

大 家知道,在通常的拍賣過程中,如果我對一件物品很感興趣,願意出一個價格把這件物品買下來。在廣告的營銷平台上,這裡的物品可以想像成某一個關鍵字,如我 是鮮花店鮮花對我來說是產品,我願意把產品和服務展示到搜索面前,每一次點擊願意付費,每一次點擊願意出價比如說2塊錢。

你 也是另一家賣鮮花的公司,你對這個關鍵字很感興趣你願意出一塊錢,傳統上的競拍是按照價格高低排名。Google的競拍過程,最大的區別是引入競價質量得 分的機制,排名廣告質量得分在裡面是重要因素,質量得分由多種因素衡量。包括它文字,和關鍵字匹配程度,廣告商網頁的質量,以及用戶在廣告商網站上瀏覽的 結果轉換率都會排在其中。最後的排名是以最高點擊成本和廣告質量得分綜合得出,是機器得出的結果,沒有任何人工的成功在裡面,是非常公正的系統。

剛 才舉的例子,我們兩家是花店競價,我們出的價格比你高,引入質量得分之後,我賣塑料花的網站,當用戶點擊鮮花之後,到我網站後發現不是賣鮮花的全部是塑料 花,不是他想要的,他點擊之後用戶體驗不是很好,我們系統會把這些學習下來,並且對這個廣告的質量得分進行修改。再經過一段時間之後,系統發現我的廣告質 量得分是1分,你的廣告質量得分是3分,你賣的是鮮花用戶想要的東西。

用非常簡單的公式,我出價兩塊我的質量得分是1分,你出價三塊,我綜合質量是3分,我會排名你的前面。

最初的Google廣告盈利只夠買幾瓶啤酒

新浪科技:Google廣告體系比較成熟,Google的體系不可能一開始就是成熟的。tiger很早加入Google團隊做這個體系,對這個廣告體系比較瞭解,最開始怎麼想到做這麼一個體系的?

隙 小虎:Google的廣告產品到今天是非常完善的商業模式,它不是第一天就成型。Google也經過了非常長的不斷探索和改進的過程,其實從一開 始,Google對於怎麼樣在互聯網上賺錢沒有清晰的想法,開始的階段Google也是進行了大量的摸索,也有很多失敗的例子。

從 1999年成立之後,Google在2000年開始著手設計廣告平台這樣一個產品,在那個年代互聯網上充斥的大部分是展示類的彈窗廣告,你瀏覽網站時可以 看到有跳動的圖畫等。Google沒有採取這種形式,因為這種廣告形式對用戶體驗很差,因為他沒有和用戶瀏覽的網頁內容相關,彈窗很難被關掉。

Google採取非常簡單的文本廣告形式,顯示在搜索頁面窄窄的搜索頁面之內。開始廣告定向,廣告內容和搜索關鍵字相關,這是第一步。

但 是在當時,對於這樣一個複雜的系統,怎麼樣能夠讓它成功我們沒有十分清晰的想法。第一個例子,第一次嘗試我們實際上是在搜索網站上,對亞馬遜網站的書籍進 行了一些推薦。當用戶搜索的關鍵字和某本書籍相關,我們自動指向亞馬遜網站的鏈接,用戶完成購買過程之後,我們可以在亞馬遜中得到分成,這個系統不是很成 功,最後掙到的錢,只能買幾瓶啤酒喝。

這個廣告系統受到很大挑戰,2000-2001年互聯網進入大規模泡沫,很多廣告預算大幅度削減,我們銷售團隊給大客戶打電話,對購買的廣告位置、關鍵字,每千字廣告的價格進行協商,最後簽訂合同。

互 聯網泡沫破滅之後這些廣告商受到很大影響,這個時候Google把中心轉移到中小客戶上,2000年推出自助服務。當時在Google主頁上發佈很小的信 息,如果你有信用卡有5分鐘的時間,你可以在Google顯示你的廣告。這個產品自助式服務是成功的產品,發佈一段時間發現有很多的中小客戶使用這個產 品。我們的廣告客戶群體越來越大,直到今天中小客戶以及個人客戶還是我們構成Google廣告系統上最大的收入來源。

新浪科技:您說2002年時轉向中小企業為主,當時這個機制是現在的AdWords的嗎?

隙 小虎:這個問題很好,我們付費排名方式沒有完全成型,採用的是傳統的按展示付費,會按每千次展示付一定的費用。同時對每一個位置進行出價。我們工程師意識 到這個系統有很大的缺陷,最大的問題是廣告的相關性不夠好,一個廣告商願意出很高的價格,可以佔據熱門的關鍵字頁面上很好的位置,對於用戶來說不是他們想 要的信息。

2002年由我們天才的工程師主導,對廣告系統進行了巨大的改進,這是Google的AdWords系統在歷史上重大的轉折點,包括三個方面。第一方面是按展示付費,轉移到按點擊付費。

第二個改動採用了第二價格密封競拍的競拍系統。

我要補充一點,第二價格競拍指的是,我每個廣告商會出他願意為每一個點擊付的最高成本,但他真正每一次點擊付的價格排在他後一位廣告商高一點,保證廣告商不用去猜其他人出價多少,他給出他願意承受的最高成本就可以。

第三個改進,引入質量得分系統,這是非常核心的改進。

新浪科技:剛才我們談到過去的事情,tiger能否回憶一下,Google廣告最初的客戶大概是什麼樣的群體。

隙 小虎:第一個客戶很難想起,因為廣告系統經歷了很多的轉變。2001年推出自助服務之後,第一批的客戶其中有一家是波斯頓地區一家賣龍蝦的小商戶,在我們 網頁上發佈了你有信用卡5分鐘時間來Google做廣告之後,很快發現在Google上搜索龍蝦之後,你看到這家小商戶的廣告,會看到新鮮的龍蝦送貨上 門。

新浪科技:它是最貴的關鍵字嗎?

隙 小虎:我們使用這個系統看到有趣的現象,初期我們發現有生僻的關鍵字,有非常高的出價,這個字叫做「肺塵病」出價的廣告商是很大的律師行。這個好像很難想 像,後來我們做了一些研究,發現原因是這樣的。肺塵病是屬於由惡劣的工作環境造成的工傷的慢性病,當這些受害者他們一般如果要訴訟公司的話,會有很大勝訴 的幾率,律師行願意為這些客戶代理,對他們來說是潛在的客戶,如果他們勝訴他們會得到非常大的回報。所以律師行願意為肺塵病的每一次點擊出非常高的出價。

廣告工程師:救火隊員+百萬富翁俱樂部

新浪科技:剛才tiger也跟我們分享了,Google廣告系統過去的一些情況,我們想知道Google是一家以技術安身立命的公司,在Google廣告系統背後Google的工程師們是怎麼工作的?

隙小虎:我覺得在Google的廣告系統團隊工作,是我人生中最值得回憶的一段經歷。可以這樣講,Google廣告團隊的每一個工程師是超人是superman。他們是技術專家的同時,還要有鋼鐵般的一致,以及在高壓下保持清醒頭腦的能力。

很 多人都有兩個綽號,一個是救火隊員,一個是百萬富翁俱樂部。救火隊員不是我們的全職工作,但是我們每個人要進行這樣一個兼職工作,扮演救火隊的角色。 Google的廣告系統,對我們的廣大廣告客戶和公司重要的客戶,承載了大量的客戶請求。這個系統有任何問題,或者說我們人為的犯了某些錯誤,對用戶和公 司的影響相當大。這個系統要24小時全天候有人客戶,這是我們的兼職工作。

每 個人每個季度要扮演救火隊長的角色,所有人沒有豁免權。包括從高級副總裁開始,我們有很長的排表,這周我是救火隊長,下周副總裁是救火隊長,當你是救火隊 長時24小時隨時待命,要戴兩到三個呼機,呼機一響說明現在系統有問題,著火了,必須去救火。這時我們要放下手頭的工作,看系統出現什麼問題,在最短的時 間內把問題找到並修復。

因為這個系統產生了大量的收入,上個季度Google的收入已經超過了100億。

新浪科技:差不多90億。

隙 小虎:差不多90億美元,每秒鐘產生的收入是平均1000美元以上,回答你這個問題花了一分鐘的時間,大概是六萬美元沒有了,大概一個工程師一年的工資。 我們的壓力相當大,你要24小時待命。問題經常出現在深夜裡,比如半夜2、3點鐘你的呼機會響,要馬上爬起來出現什麼問題。

睡覺前,要做大量準備工作,電腦打開連到公司內網上,所有窗口工具都打開,旁邊經常需要打電話人的電話號碼放在那裡,這樣可以保證當我聽到呼機響的時候,第一時間爬起來可以投入工作。

這個過程可以想像壓力非常大,雖然它是一個技術活,經常讓我想起醫院的急救室,你是急救室的醫生,醫院推進病人,病人呼吸衰竭,你要診斷出出現什麼問題。有的時候我自己不能把所有問題解決掉,這個人比如是腦部的問題,我要找腦部的專家,他是心臟的問題找心臟科的專家。

「驗屍報告」——出錯後的流程

新浪科技:似乎聽起來這個系統很脆弱是這樣嗎?

隙小虎:軟件是人寫的,人都會犯錯誤,這個是不可避免的,Google的廣告系統背後是非常複雜的。上百萬的原代碼,而且我們的用戶是從世界各地,每天的訪問量大概有超過數十億,不同的用戶會用你難以想像的方式請求我們的系統,你很難把這些情況都考慮到。

當 然我們的系統,一開始的確我們犯過一些愚蠢的錯誤,開會的時候有一位工程師突然臉部變得慘白,原來是他誤操作把我們數據庫格式化掉了,這樣愚蠢的操作我們 Google曾經出現過,但我們的系統逐漸完善,到今天我們有逐漸完善的流程,這樣的錯誤不會再發生。因為這個系統的複雜性很多錯誤無法避免,我們能做到 的是,當系統有問題出現時,我們能在最短時間內把問題修復。

新浪科技:我們更關心臉色慘白的同事,最後是什麼下場?

隙小虎:大家可能猜到,一般的公司如果你給公司造成上百萬的損失,一定會被解僱,這個在Google沒有發生過。

新浪科技:上百萬損失沒有被解僱。

隙小虎:我剛才提到百萬富翁俱樂部,不是說你很有名,而是說你給Google造成了百萬以上的損失,就得到百萬富翁俱樂部的頭銜,Google很多人得到過這個稱號。

新浪科技:您本人是嗎?

隙小虎:這個屬於商業機密我不能透露,Google的文化是創新的,創新一定會犯錯誤。我們當系統出現問題之後地我們重心放在盡快找到這個問題,從這次的經驗中吸取教訓,怎麼樣避免下次發生同樣的錯誤。

新浪科技:是怎麼找到的,我們的機制是什麼樣的?

隙小虎:每次大的系統問題之後都要做驗屍報告,驗屍報告中包括問題是怎麼發生的,我們是怎麼處理的,問題當中哪些我們可以做的更好,哪些可以避免,如果可以避免,我們會把它作為工作流程的一部分,使我們工作流程越來越完善。

中國網民瀏覽習慣與眾不同

新浪科技:因為是全球化產品,您比較熟悉中國團隊的事情,中國團隊我們會做些什麼事情,對Google廣告系統的支持?

隙小虎:我們團隊和Google廣告進行平台開發的,我們開發的是同一個系統,不管中國客戶美國客戶,他使用的系統是同一個系統,我們是上千、上萬人開發系統,而不是幾十人幾百人,我們站在巨人的肩上,我們享受前面天才工程師搭建的系統。

中國的團隊對中國市場有更深的瞭解,他們經常看到中國用戶的特殊需求。我們會在進行核心系統系統開發之外,把這些用戶的需求反饋到我們全球團隊,我們會把這些功能實現出來。

我可以舉一個例子,在世界上大多數國家,當用戶瀏覽一個頁面的時候,他們的注意力會集中在頁面的某些區域,這個區域大概呈現出英文字母的「F」型,主要在頁面最上面和最左邊,這些是頁面關注度很高的區域。

我 們發現中國用戶瀏覽習慣不一樣,他們關注焦點是均勻分佈在頁面所有位置,他們哪兒都看。因為由於頁面設計的特點,用戶會跳過頁面上面的位置,頁面上面經常 出現不太相關的細節他們經常跳過,到頁面的後半部,發現這個用戶行為之後,我們對系統做了調整。我們意識到作為這樣的產品,如果我們只關注頁面的上部和左 部是不夠的對中國的用戶來講,我們對頁面的底部加入大量的信息,對於關鍵字的建議等等。這是中國團隊為全球廣告團隊作出貢獻的例子,這不僅讓中國廣告系統 收益,發現其他國家用戶也有這樣的瀏覽習慣。

新浪科技:您說的工程師是全球部署的是嗎?各個不同的地方的改動,都會影響產品的形態是嗎?

隙小虎:是。我們是在同一個系統上進行開發,可以開發出針對每個國家地區的用戶需要的特殊功能,針對這個功能,可以只對這個國家用戶開放。在不適用的國家,會把這個功能關掉是可以選擇的。

Google廣告核心系統:海量存儲、機器學習、實時匹配

新浪科技:剛才tiger給我們講了工程師在做Google廣告系統的時候,會面臨的一些問題,我們想瞭解工程師在技術上面,會面臨什麼樣,除了之前說的資金壓力,他們在技術上會面臨什麼樣的問題呢?

隙 小虎:廣告系統是非常大型的分佈式系統,對完成每一次用戶請求這個過程並不複雜,我們想像需要一個數據庫存儲所有廣告信息,需要一個截面給廣告商使用,他 們通過頁面他們購買的關鍵字,對於每一個關鍵字的售價和廣告信息等。數字信息會被傳到全球所有瀏覽器上去,用戶在搜索時,會提供給相應匹配的廣告信息展示 給用戶,會被回傳下來,用戶月底會收到帳單。

對Google最大的挑戰是,我們如何相應海量的廣告商數據、用戶數據,每天超過十億的客戶訪問量。每一次的用戶請求,要進行非常複雜的競拍過程,這裡需要牽涉到上千台機器的協同工作。

相 比其它部來說,搜索來講,廣告系統對搜索同步性非常高。如果搜索一個網站,網站會進行更新如果我經過一段延遲看到廣告最新的內容,大家都是可以接受的。對 於廣告平台上的應用來講,廣告商他們經常會把一個新的廣告上線,或把已有的廣告下線他們會買新的關鍵字和進行調整,這些改動需要在新的時間內生效。

新浪科技:您能給我們總結出什麼樣的機制,在支撐Google的正常運轉嗎?

隙小虎:這個系統簡單分成三大模塊,首先要海量存儲系統,這個系統需要存儲所有用戶廣告商的廣告數據,包括關鍵字、出價、預算、廣告創意。同時它要記錄所有的用戶行為,包括每一次廣告展示,每一次廣告的點擊、轉換等等。

對於這個數據庫來講,它需要處理大量的海量數據,我們的系統中現在有超過上百萬的廣告客戶,如果你假設每一個廣告客戶購買一千個關鍵字數據量是相當大的。

經常我們的系統需要完成一些我們的分析工作,比如說我們想知道最多的關鍵字是哪一個,或者說這段時間內用戶搜索的關鍵字是哪些,這些請求是傳統數據庫不能完成的,是由我們工程師開發的超大容量的數據庫進行支持。

第 二個模塊是機器學習系統。這個系統對我們記錄下來的所有事件分類、分析、處理。比如我們對廣告和一個關鍵字的相關性進行處理,我們會對一個頁面上面的概念 進行抽取,我們會對用戶的點擊,以及轉換機器學習。機器學習系統會建立非常大數學模型,這是支持我們廣告質量的分的核心系統。

最後一個是實時匹配系統,這個系統完成了我們競拍過程,每一個客戶請求到來之後,我們會從機器系統中找到可以匹配的廣告,從當中提取的模型對請求進行預算,對每個廣告進行評分,最終完成競拍的過程,把排名前面的廣告展示在前面。

廉價硬件支撐起海量存儲系統

新浪科技:Google有多少機器可以用來作為存儲?

隙小虎:這個屬於商業機密,可以告訴你超過上萬台。

新浪科技:一開始Google還窮的時候不會有上萬台機器,一開始怎麼解決這個問題的?

隙小虎:這個是很有趣的問題,Google一開始走的路線是以大量廉價硬件和高質量軟件結合解決這個問題。

新浪科技:廉價硬件。

隙小虎:剛剛提到數據庫的問題,可以從市場上買最高端的服務器和數據庫,但這些數據庫沒有辦法處理Google的訪問量。我們採用的辦法是用大量的廉價的機器,構成大規模的機群,這些機群用的硬件,都是你可以在市場上找到最廉價的硬件。

在 早期,我記得當時Google,曾經用卡車去買來了大量廢棄的內存條,我們高質量的內存條可以保證,儲存數據和讀出來的數據是一致的,這些低水平的內存條 是不能保證這點。你寫進去的是1,出來的可能是0。像這樣低質量的內存條,一般人家不會要的,但Google會要,我們可以檢測到,從這樣的錯誤中如何會 恢復。

新浪科技:大家比較關心的是,一個錯的信息我們為什麼要?難道把錯的信息提供給用戶嗎?

隙小虎:當我們有一百台機器之後,如果有一台機器跟其它九十九台不一致,不能避免每一台都給出正確的答案,大部分給出同一個答案的應該是正確的。

新浪科技:多個機器一塊來算。

隙小虎:對。很多時候是多台機器對同一個請求進行計算,進行投票的機制。在早期沒有足夠的資金購買高端硬件的情況下,我們工程師想到非常聰明的解決方法。

新浪科技:現在不會再做這種?

隙小虎:有一些理念直到今天被應用。我們一直相信,大規模的機群通過協同工作,可以達到高端機器不能達到的行動。

新浪科技:剛才講到機器學習系統,機器是通過什麼樣的原理學習的,通過我們自己編的軟件,是有歸納還是什麼過程,可以做到機器的學習呢?

隙小虎:這個是數學的建模過程,簡單的講它是根據歷史來預測將來。如果說,我們看到在過去大部分用戶的廣告請求中,我們能夠發現一些模式,那麼我們會把這種模式,用來對未來進行預測。

支付原則:接納山羊作為廣告費

新浪科技:我們今天實際上在最後,也想問tiger一個問題,我們看到Google今天新的CEO上任之後,有很多改變,我們想知道在最開始的時候,Google的創始人包括在現在為止,對這個系統怎麼看,他們當中有好玩的小故事沒有?

隙 小虎:我們兩位創始人對系統要求相當高,對每一個產品來講都要求我們能打造出非常優秀的廣告平台。在一開始在我們廣告平台沒有完全搭建之前,他們已經有了 非常長遠的宏偉規劃,其中有一個有趣的小故事。我們在廣告平台建立時需要先設計一個系統,使廣告商支付他們產生的費用。

在這個系統設計開始,Google創始人提出,在電子商務不發達的國家,我們必須支持以當地接受的形式進行支付的過程。比如說你在中亞的某個地區,大部分的交易是以物異物的交易,你必須允許廣告商用他養的山羊來支付廣告費用。

新浪科技:現在沒有人給Google交羊是吧?

隙小虎:我們希望將來有一天是會實現的。

新浪科技:今天我們和tiger回憶了Google最賺錢的體系和發展,他有哪些失敗怎麼走向成功,他有很多經驗,希望將來Google有更多的故事跟各位分享,我們今天的活動就到這裡,謝謝tiger,謝謝大家!

谷歌 全球 研發 總監 談其 廣告 系統 每秒 1000
PermaLink: https://articles.zkiz.com/?id=30394

股票掌故 | 香港股票資訊 | 神州股票資訊 | 台股資訊 | 博客好文 | 文庫舊文 | 香港股票資訊 | 第一財經 | 微信公眾號 | Webb哥點將錄 | 港股專區 | 股海挪亞方舟 | 動漫遊戲音樂 | 好歌 | 動漫綜合 | RealBlog | 測試 | 強國 | 潮流潮物 [Fashion board] | 龍鳳大茶樓 | 文章保管庫 | 財經人物 | 智慧 | 世界之大,無奇不有 | 創業 | 股壇維基研發區 | 英文 | 財經書籍 | 期權期指輪天地 | 郊遊遠足 | 站務 | 飲食 | 國際經濟 | 上市公司新聞 | 美股專區 | 書藉及文章分享區 | 娛樂廣場 | 波馬風雲 | 政治民生區 | 財經專業機構 | 識飲色食 | 即市討論區 | 股票專業討論區 | 全球政治經濟社會區 | 建築 | I.T. | 馬後砲膠區之圖表 | 打工仔 | 蘋果專欄 | 雨傘革命 | Louis 先生投資時事分享區 | 地產 |
ZKIZ Archives @ 2019