📖 ZKIZ Archives


誰是擊落馬航客機的真兇?解析三大“嫌犯”及影響

來源: http://wallstreetcn.com/node/100257

前天,一架馬來西亞航空(馬航)MH12客機在飛經俄烏邊境時被導彈擊落,機上298人全部遇難。美國總統奧巴馬昨日講話稱,導彈來自親俄的烏克蘭分裂勢力控制區。歐盟國家歸咎於俄羅斯支持烏反政府武裝,最早下周決定加大對俄制裁。 馬航客機事故目前正在調查,福克斯新聞的國家安全分析師K.T. McFarland分別分析了涉嫌制造此次事故的三方,並預測了俄烏兩國將受到的影響。 先看烏克蘭政府。McFarland認為烏政府有機會,但沒有動機。 烏政府軍擁有能擊落馬航客機的導彈系統,那是多年前俄羅斯提供的。但烏克蘭政府現在希望得到西方國家的經濟和軍事援助,打擊俄羅斯和烏東部的叛亂者,攻打一架不相幹的民航客機不能保證他們達到這樣的目的。 烏克蘭東部的親俄反政府武裝是西方國家所說的“分裂勢力”。McFarland認為,他們可能有機會,也可能有動機。 McFarland說,這不能肯定,但俄羅斯人已經向他們提供足以擊落馬航客機的導彈系統。過去數日,他們擊落了兩架烏克蘭政府軍的軍用飛機,也許他們有些得意忘形。 McFarland猜測,可能這次分裂勢力想再擊落一架烏克蘭政府軍的飛機,沒想到誤傷了馬航的客機。此前有跡象可以證明這樣的推測。 華爾街見聞昨天的文章就提到,在馬航客機失聯的20分鐘內,一個屬於烏克蘭分裂勢力的俄羅斯社交網站賬號宣稱,剛剛擊落了一架烏克蘭軍事運輸機。地點正是馬航客機事發地附近。 而且,McFarland指出,過去幾天,普京已發出信號,暗示俄羅斯方面要同烏克蘭分裂勢力保持距離。也許正是這樣的信號使分裂勢力做出決定,要讓戰爭升級,希望借此迫使俄軍再次卷入其中。 若果真如此,那烏克蘭分裂勢力這次可犯了大錯誤。 最後看俄羅斯政府。McFarland認為他們當然有機會,但也沒有動機。 McFarland說,她上個月和烏克蘭政府的軍方與情報官員會面。對方提到,俄羅斯總統普京在烏克蘭東部發起的是“冒牌戰爭”。 那些官員的意思是,俄羅斯向親俄分裂勢力提供武器、傳授相關軍事經驗、組織秘密活動,但拒絕承認和這些分裂勢力的反政府武裝有任何關系。 普京的冒牌戰爭旨在控制俄羅斯的參與程度,這樣俄方否認支持分裂勢力顯得有說服力,也不會激起西方國家采取行動。 烏克蘭的情報官員稱,大量穿“褐色衣服”的從俄羅斯湧入烏克蘭東部地區,無疑那是俄羅斯的特種部隊,並非佩戴俄軍標誌的部隊。 McFarland認為,如果證明俄羅斯已經在俄烏邊境沖突中走上前臺,確實擊落了馬航客機,馬航客機事件就將是改變局勢的關鍵轉折。 McFarland預計,屆時俄羅斯方面即使否認也無人相信,即使該負責的是俄方支持的烏克蘭分裂勢力,俄羅斯也沒有撇清幹系的力證。前天馬航被導彈擊落的客機上也有美國和歐洲乘客。這次墜機事故可能促使歐美領導人立即對俄羅斯給予嚴厲打擊。 McFarland還認為,普京在靜悄悄地複興過去那個俄羅斯帝國,可如果全世界把他的一舉一動放在顯微鏡下關註,那他可能沒法順利實現夢想。如果壓力加大,普京將讓俄羅斯人還以顏色。這是一場可能迅速失控的危機。 McFarland稱,現在是美國政府需要一個支持行動者的時刻。她回憶起上世紀80年代美蘇冷戰時期。 1983年,前蘇聯擊落了一架韓國飛機,起初斷然否認,後來承認,稱該客機進行間諜活動。那是時任美國總統里根的轉折點。 里根意識到不可能向前蘇聯妥協。他開始加快開發星球大戰計劃的導彈防禦系統,敦促國會增強國防力量,聯手歐洲盟國與前蘇聯對峙。他還策劃壓低油價,迫使前蘇聯更快地走向滅亡。 下圖為2012年《時代》雜誌封面,左為里根,右為奧巴馬。 下圖為2012年《新聞周刊》封面,大標題寫著奧巴馬是“民主黨的里根”。
PermaLink: https://articles.zkiz.com/?id=106794

誰是擊落馬航客機的真兇?解析三大“嫌犯”及影響

來源: http://wallstreetcn.com/node/100257

前天,一架馬來西亞航空(馬航)MH17客機在飛經俄烏邊境時被導彈擊落,機上298人全部遇難。美國總統奧巴馬昨日講話稱,導彈來自親俄的烏克蘭分裂勢力控制區。歐盟國家歸咎於俄羅斯支持烏反政府武裝,最早下周決定加大對俄制裁。 馬航客機事故目前正在調查,福克斯新聞的國家安全分析師K.T. McFarland分別分析了涉嫌制造此次事故的三方,並預測了俄烏兩國將受到的影響。 先看烏克蘭政府。McFarland認為烏政府有機會,但沒有動機。 烏政府軍擁有能擊落馬航客機的導彈系統,那是多年前俄羅斯提供的。但烏克蘭政府現在希望得到西方國家的經濟和軍事援助,打擊俄羅斯和烏東部的叛亂者,攻打一架不相幹的民航客機不能保證他們達到這樣的目的。 烏克蘭東部的親俄反政府武裝是西方國家所說的“分裂勢力”。McFarland認為,他們可能有機會,也可能有動機。 McFarland說,這不能肯定,但俄羅斯人已經向他們提供足以擊落馬航客機的導彈系統。過去數日,他們擊落了兩架烏克蘭政府軍的軍用飛機,也許他們有些得意忘形。 McFarland猜測,可能這次分裂勢力想再擊落一架烏克蘭政府軍的飛機,沒想到誤傷了馬航的客機。此前有跡象可以證明這樣的推測。 華爾街見聞昨天的文章就提到,在馬航客機失聯的20分鐘內,一個屬於烏克蘭分裂勢力的俄羅斯社交網站賬號宣稱,剛剛擊落了一架烏克蘭軍事運輸機。地點正是馬航客機事發地附近。 而且,McFarland指出,過去幾天,普京已發出信號,暗示俄羅斯方面要同烏克蘭分裂勢力保持距離。也許正是這樣的信號使分裂勢力做出決定,要讓戰爭升級,希望借此迫使俄軍再次卷入其中。 若果真如此,那烏克蘭分裂勢力這次可犯了大錯誤。 最後看俄羅斯政府。McFarland認為他們當然有機會,但也沒有動機。 McFarland說,她上個月和烏克蘭政府的軍方與情報官員會面。對方提到,俄羅斯總統普京在烏克蘭東部發起的是“冒牌戰爭”。 那些官員的意思是,俄羅斯向親俄分裂勢力提供武器、傳授相關軍事經驗、組織秘密活動,但拒絕承認和這些分裂勢力的反政府武裝有任何關系。 普京的冒牌戰爭旨在控制俄羅斯的參與程度,這樣俄方否認支持分裂勢力顯得有說服力,也不會激起西方國家采取行動。 烏克蘭的情報官員稱,大量穿“褐色衣服”的從俄羅斯湧入烏克蘭東部地區,無疑那是俄羅斯的特種部隊,並非佩戴俄軍標誌的部隊。 McFarland認為,如果證明俄羅斯已經在俄烏邊境沖突中走上前臺,確實擊落了馬航客機,馬航客機事件就將是改變局勢的關鍵轉折。 McFarland預計,屆時俄羅斯方面即使否認也無人相信,即使該負責的是俄方支持的烏克蘭分裂勢力,俄羅斯也沒有撇清幹系的力證。前天馬航被導彈擊落的客機上也有美國和歐洲乘客。這次墜機事故可能促使歐美領導人立即對俄羅斯給予嚴厲打擊。 McFarland還認為,普京在靜悄悄地複興過去那個俄羅斯帝國,可如果全世界把他的一舉一動放在顯微鏡下關註,那他可能沒法順利實現夢想。如果壓力加大,普京將讓俄羅斯人還以顏色。這是一場可能迅速失控的危機。 McFarland稱,現在是美國政府需要一個支持行動者的時刻。她回憶起上世紀80年代美蘇冷戰時期。 1983年,前蘇聯擊落了一架韓國飛機,起初斷然否認,後來承認,稱該客機進行間諜活動。那是時任美國總統里根的轉折點。 里根意識到不可能向前蘇聯妥協。他開始加快開發星球大戰計劃的導彈防禦系統,敦促國會增強國防力量,聯手歐洲盟國與前蘇聯對峙。他還策劃壓低油價,迫使前蘇聯更快地走向滅亡。 下圖為2012年《時代》雜誌封面,左為里根,右為奧巴馬。 下圖為2012年《新聞周刊》封面,大標題寫著奧巴馬是“民主黨的里根”。
PermaLink: https://articles.zkiz.com/?id=107002

一張圖解析中國網民

http://www.infzm.com/content/102692

一張圖解析中國網民。(資料來源:中國互聯網絡信息中心 小虎、zero/圖)

PermaLink: https://articles.zkiz.com/?id=107300

解析日本社交遊戲中的gacha機制

http://newshtml.iheima.com/2014/0801/144603.html
昨天聽到雅虎日本的一個負責人說到「扭蛋機制」覺得有意思順手查了下,分享給大家,也許能用在其他文化產品的設計上。

DeNA、GREE以及400多家日本第三方社交遊戲開發商之所以能夠實現巨大收益的一大因素便是「gacha」,這也是我們可以在幾乎任何一款日本社交遊戲中找到的獨特元素。
 

我們將通過下文解釋「gacha」的含義:
 

1)背景維基百科對現實世界中的「gacha」的解釋是(概括):扭蛋(gashapon),也稱轉蛋(gachapon),它是Bandai註冊商標(廣泛覆蓋其膠囊玩具產品)。Gashapon和 gachapon都是日文發音,由兩個音節構成,分別是「gasha」或「gacha」意指轉動玩具販售機的的曲柄,而「pon」則是膠囊玩具落入販售機時所發出的聲音。這兩個單詞也都能夠代表販售機和機器中的玩具。扭蛋機就像是雜貨店或者其它國家零售商店外的投幣式玩具自動販售機。
 

2)社交遊戲中的「gacha」機制日本社交遊戲公司在不久前開始將這種現實生活中的玩具自動販售機融入社交遊戲機制。而今天,虛擬「gacha」機制已經成為Mobage,GREE以及Mixi旗下遊戲的重要組成部分。以Konami的《Dragon Collection》為例。這款遊戲將「gacha」實體化,而在此販售的虛擬道具則是一些卡片(遊戲邦註:因為《Dragon Collection》是一款卡牌戰鬥類社交遊戲),如下圖:gacha machines(from serkantoto)發現「gacha」這一理念的大受歡迎後,很多遊戲公司開始在現有的遊戲中整合「gacha」機制。當Popcap遊戲《寶石迷陣閃電戰》針對日本市場進行本土化處理時,他們也採用了這一機制。
 

3)定價和評論不同類型的玩具價格也不同:有些扭蛋轉動一次要價100日元,也有些要價300日元。而最貴的「gacha」可能是一些非常稀有的卡片,並且也需要參合一定的運氣元素。
 

很多開發者每天在遊戲中提供一次免費的「gacha」機會,一方面想以此吸引玩家,另一方面也希望能夠提高用戶留存率/登錄遊戲的用戶數量。除此之外,開發者也會推出一些優惠活動(如特別促銷活動)或提供限量版道具(如只在聖誕節或萬聖節進行銷售)。
 

事實證明「gacha」具有顯著的功效,有些遊戲開發者甚至表示,他們至少有50%的收益來自這種機器。因為用戶總是會忍不住為玩下一輪遊戲而花錢(支付虛擬貨幣或代幣)。有些遊戲設計有意讓玩家只能通過「gacha」獲得一些特定的道具。這便是這種機制在日本招致非議的一大原因,有些人認為這種行為與賭博無異。有一些持批評意見的記者要求規範日本社交遊戲產業,對「gacha」進行有效整治。
 

作者:Serkan Toto

PermaLink: https://articles.zkiz.com/?id=107796

深度解析LinkedIn大數據平台

http://newshtml.iheima.com/2014/0812/144872.html
日誌幾乎與計算機同時產生的,它是許多分佈式數據系統和實時應用結構的核心。但是大多數軟件工程師對他們不是很熟悉。在這裡,我們將聚焦LinkedIn大數據平台的深度解析,探討日誌是什麼,如何在數據集成、實時處理和系統構建中使用日誌等內容。
 
我在六年前的一個令人興奮的時刻加入到LinkedIn公司。從那個時候開始我們就破解單一的、集中式數據庫的限制,並且啟動到特殊的分佈式系統套件的轉換。這是一件令人興奮的事情:我們構建、部署,而且直到今天仍然在運行的分佈式圖形數據庫、分佈式搜索後端、Hadoop安裝以及第一代和第二代鍵值數據存儲。
 
從這一切裡我們體會到的最有益的事情是我們構建的許多東西的核心裡都包含一個簡單的理念:日誌。有時候也稱作預先寫入日誌或者提交日誌或者事務日誌,日誌幾乎在計算機產生的時候就存在,同時它還是許多分佈式數據系統和實時應用結構的核心。
 
不懂得日誌,你就不可能完全懂得數據庫,NoSQL存儲,鍵值存儲,複製,paxos,Hadoop,版本控制以及幾乎所有的軟件系統;然而大多數軟件工程師對它們不是很熟悉。我願意改變這種現狀。在這篇博客文章裡,我將帶你瀏覽你必須瞭解的有關日誌的所有的東西,包括日誌是什麼,如何在數據集成、實時處理和系統構建中使用日誌等。
 
第一部分:日誌是什麼?
 
\
 
 
日誌是一種簡單的不能再簡單的存儲抽象。它是一個只能增加的,完全按照時間排序的一系列記錄。日誌看起來如下:
 
我們可以給日誌的末尾添加記錄,並且可以從左到右讀取日誌記錄。每一條記錄都指定了一個唯一的有一定順序的日誌記錄編號。
 
日誌記錄的排序是由「時間」來確定的,這是因為位於左邊的日誌記錄比位於右邊的要早些。日誌記錄編號可以看作是這條日誌記錄的「時間戳」。在一開始就把這種排序說成是按時間排序顯得有點多餘 ,不過 ,與任何一個具體的物理時鐘相比,時間屬性是非常便於使用的屬性。在我們運行多個分佈式系統的時候,這個屬性就顯得非常重要。
 
對於這篇討論的目標而言,日誌記錄的內容和格式不怎麼重要。另外提醒一下,在完全耗盡存儲空間的情況下,我們不可能再給日誌添加記錄。稍後我們將會提到這個問題。
 
日誌並不是完全不同於文件或者數據表的。文件是由一系列字節組成,表是由一系列記錄組成,而日誌實際上只是按照時間順序存儲記錄的 一種數據表或者文件。
 
此時,你可能奇怪為什麼要討論這麼簡單的事情呢?不同環境下的一個只可增加的有一定順序的日誌記錄是怎樣與數據系統關聯起來的呢?答案是日誌有其特定的應用目標:它記錄了什麼時間發生了什麼事情。 而對分佈式數據系統許多方面而言, 這才是問題的真正核心。
 
不過,在我們進行更加深入的討論之前,讓我先澄清有些讓人混淆的概念。每個編程人員都熟悉另一種日誌記錄——應用使用syslog或者log4j可能寫入到本地文件裡的沒有結構的錯誤信息或者追蹤信息。為了區分開來,我們把這種情形的日誌記錄稱為「應用日誌記錄」。應用日誌記錄是我在這兒所說的日誌的一種低級的變種。最大的區別是:文本日誌意味著主要用來方便人們閱讀,而我所說明的「日誌」或者「數據日誌」的建立是方便程序訪問。
 
(實際上,如果你對它進行深入的思考,那麼人們讀取某個機器上的日誌這種理念有些不順應時代潮流。當涉及到許多服務和服務器的時候,這種方法很快就變成一個難於管理的方式,而且為了認識多個機器的行為,日誌的目標很快就變成查詢和圖形化這些行為的輸入了——對多個機器的某些行為而言,文件裡的英文形式的文本同這兒所描述的這種結構化的日誌相比幾乎就不適合了。)
 
數據庫日誌
 
我不知道日誌概念起源於何處-可能它就像二進制搜索一樣:發明者認為它太簡單而不能當作一項發明。它早在IBM的系統R出現時候就出現了。數據庫裡的用法是在崩潰的時候用它來同步各種數據結構和索引。為了保證操作的原子性和持久性,在對數據庫維護的所有各種數據結構做更改之前,數據庫把即將修改的信息謄寫到日誌裡。日誌記錄了發生了什麼,而且其中的每個表或者索引都是一些數據結構或者索引的歷史映射。由於日誌是即刻永久化的,可以把它當作崩潰發生時用來恢復其他所有永久性結構的可信賴數據源。
 
隨著時間的推移,日誌的用途從實現ACID細節成長為數據庫間複製數據的一種方法。利用日誌的結果就是發生在數據庫上的更改順序與遠端複製數據庫上的更改順序需要保持完全同步。
 
Oracle,MySQL 和PostgreSQL都包括用於給備用的複製數據庫傳輸日誌的日誌傳輸協議。Oracle還把日誌產品化為一個通用的數據訂閱機制,這樣非Oracle數據訂閱用戶就可以使用XStreams和GoldenGate訂閱數據了,MySQL和PostgreSQL上的類似的實現則成為許多數據結構的關鍵組件。
 
正是由於這樣的起源,機器可識別的日誌的概念大部分都被侷限在數據庫內部。日誌用做數據訂閱的機制似乎是偶然出現的,不過要把這種 抽象用於支持所有類型的消息傳輸、數據流和實時數據處理是不切實際的。
 
分佈式系統日誌
 
日誌解決了兩個問題:更改動作的排序和數據的分發,這兩個問題在分佈式數據系統裡顯得尤為重要。協商出一致的更改動作的順序(或者說保持各個子系統本身的做法,但可以進行存在副作用的數據拷貝)是分佈式系統設計的核心問題之一。
 
以日誌為中心實現分佈式系統是受到了一個簡單的經驗常識的啟發,我把這個經驗常識稱為狀態機複製原理:如果兩個相同的、確定性的進程從同一狀態開始,並且以相同的順序獲得相同的輸入,那麼這兩個進程將會生成相同的輸出,並且結束在相同的狀態。
 
這也許有點難以理解,讓我們更加深入的探討,弄懂它的真正含義。
 
確定性意味著處理過程是與時間無關的,而且任何其他「外部的「輸入不會影響到處理結果。例如,如果一個程序的輸出會受到線程執行的具體順序影響,或者受到gettimeofday調用、或者其他一些非重複性事件的影響,那麼這樣的程序一般最有可能被認為是非確定性的。
 
進程狀態是進程保存在機器上的任何數據,在進程處理結束的時候,這些數據要麼保存在內存裡,要麼保存在磁盤上。
 
以相同的順序獲得相同輸入的地方應當引起注意-這就是引入日誌的地方。這兒有一個重要的常識:如果給兩段確定性代碼相同的日誌輸入,那麼它們就會生成相同的輸出。
 
分佈式計算這方面的應用就格外明顯。你可以把用多台機器一起執行同一件事情的問題縮減為實現分佈式一致性日誌為這些進程輸入的問題。這兒日誌的目的是把所有非確定性的東西排除在輸入流之外,來確保每個複製進程能夠同步地處理輸入。
 
當你理解了這個以後,狀態機複製原理就不再複雜或者說不再深奧了:這或多或少的意味著「確定性的處理過程就是確定性的」。不管怎樣,我都認為它是分佈式系統設計裡較常用的工具之一。
 
這種方式的一個美妙之處就在於索引日誌的時間戳就像時鐘狀態的一個副本——你可以用一個單獨的數字描述每一個副本,這就是經過處理的日誌的時間戳。時間戳與日誌一一對應著整個副本的狀態。
 
由於寫進日誌的內容的不同,也就有許多在系統中應用這個原則的不同方式。舉個例子,我們記錄一個服務的請求,或者服務從請求到響應的狀態變化,或者它執行命令的轉換。理論上來說,我們甚至可以為每一個副本記錄一系列要執行的機器指令或者調用的方法名和參數。只要兩個進程用相同的方式處理這些輸入,這些進程就會保持副本的一致性。
 
一千個人眼中有一千種日誌的用法。數據庫工作者通常區分物理日誌和邏輯日誌。物理日誌就是記錄每一行被改變的內容。邏輯日誌記錄的不是改變的行而是那些引起行的內容被改變的SQL語句(insert,update和delete語句)。
 
分佈式系統通常可以寬泛分為兩種方法來處理數據和完成響應「狀態機器模型」通常引用一個主動—主動的模型——也就是我們為之記錄請求和響應的對象。對此進行一個細微的更改,稱之為「預備份模型」,就是選出一個副本做為leader,並允許它按照請求到達的時間來進行處理並從處理過程中輸出記錄其狀態改變的日誌。其他的副本按照leader狀態改變的順序而應用那些改變,這樣他們之間達到同步,並能夠在leader失敗的時候接替leader的工作。
 
\
 
                    primary-Backup                       State Machine Replication
 
為了理解兩種方式的不同,我們來看一個不太嚴謹的例子。假定有一個算法服務的副本,保持一個獨立的數字作為它的狀態(初始值為0),並對這個值進行加法和乘法運算。主動—主動方式應該會輸出所進行的變換,比如「+1」,「*2」等。每一個副本都會應用這些變換,從而得到同樣的解集。主動—被動方式將會有一個獨立的主體執行這些變換並輸出結果日誌,比如「1」,「3」,「6」等。這個例子也清楚的展示了為什麼說順序是保證各副本間一致性的關鍵:一次加法和乘法的順序的改變將會導致不同的結果。
 
分佈式日誌可以理解為一致性問題模型的數據結構。因為日誌代表了後續追加值的一系列決策。你需要重新審視Paxos算法簇,儘管日誌模塊是他們最常見的應用。 在Paxos算法中,它通常通過使用稱之為多paxos的協議,這種協議將日誌建模為一系列的問題,在日誌中每個問題都有對應的部分。在ZAB, RAFT等其它的協議中,日誌的作用尤為突出,它直接對維護分佈式的、一致性的日誌的問題建模。
 
我懷疑的是,我們就歷史發展的觀點是有偏差的,可能是由於過去的幾十年中,分佈式計算的理論遠超過了其實際應用。在現實中,共識的問題是有點太簡單了。計算機系統很少需要決定單個值,他們幾乎總是處理成序列的請求。這樣的記錄,而不是一個簡單的單值寄存器,自然是更加抽象。
 
此外,專注於算法掩蓋了 抽象系統需要的底層的日誌。我懷疑,我們最終會把日誌中更注重作為一個商品化的基石,不論其是否以同樣的方式 實施的,我們經常談論一個哈希表而不是糾結我們得到是不是具體某個細節的哈希表,例如線性或者帶有什麼什麼其它變體哈希表。日誌將成為一種大眾化的接口,為大多數算法和其實現提升提供最好的保證和最佳的性能。
 
變更日誌101:表與事件的二相性
 
讓我們繼續聊數據庫。數據庫中存在著大量變更日誌和表之間的二相性。這些日誌有點類似借貸清單和銀行的流程,數據庫表就是當前的盈餘表。如果你有大量的變更日誌,你就可以使用這些變更用以創建捕獲當前狀態的表。這張表將記錄每個關鍵點(日誌中一個特別的時間點)的狀態信息。這就是為什麼日誌是非常基本的數據結構的意義所在:日誌可用來創建基本表,也可以用來創建各類衍生表。同時意味著可以存儲非關係型的對象。
 
這個流程也是可逆的:如果你正在對一張表進行更新,你可以記錄這些變更,並把所有更新的日誌發佈到表的狀態信息中。這些變更日誌就是你所需要的支持准實時的克隆。基於此,你就可以清楚的理解表與事件的二相性: 表支持了靜態數據而日誌捕獲變更。日誌的魅力就在於它是變更的完整記錄,它不僅僅捕獲了表的最終版本的內容,它還記錄了曾經存在過的其它版本的信息。日誌實質上是表歷史狀態的一系列備份。
 
這可能會引起你對源代碼的版本管理。源代碼管理和數據庫之間有密切關係。版本管理解決了一個大家非常熟悉的問題,那就是什麼是分佈式數據系統需要解決的——時時刻刻在變化著的分佈式管理。版本管理系統通常以補丁的發布為基礎,這實際上可能是一個日誌。您可以直接對當前類似於表中的代碼做出「快照」互動。你會注意到,與其他分佈式狀態化系統類似,版本控制系統 當你更新時會複製日誌,你希望的只是更新補丁並將它們應用到你的當前快照中。
 
最近,有些人從Datomic——一家銷售日誌數據庫的公司得到了一些想法。這些想法使他們對如何在他們的系統應用這些想法有了開闊的認識。 當然這些想法不是只針對這個系統,他們會成為十多年分佈式系統和數據庫文獻的一部分。
 
這可能似乎有點過於理想化。但是不要悲觀!我們會很快把它實現。
 
接下來的內容
 
在這篇文章的其餘部分,我將試圖說明日誌除了可用在分佈式計算或者抽象分佈式計算模型內部之外,還可用在哪些方面。其中包括:
 
數據集成-讓機構的全部存儲和處理系統裡的所有數據很容易地得到訪問。
 
實時數據處理-計算生成的數據流。
 
分佈式系統設計-實際應用的系統是如何通過使用集中式日誌來簡化設計的。
 
所有這些用法都是通過把日誌用做單獨服務來實現的。
 
在上面任何一種用法裡,日誌的用途開始都是使用了日誌所能提供的某個簡單功能:生成永久的、可重現的歷史記錄。令人意外的是,問題的核心是可以讓多少台機器以特定的方式,按照自身的速度重現歷史記錄的能力。
 
第二部分:數據集成
 
請讓我首先解釋 一下「數據集成」是什麼意思,還有為什麼我覺得它很重要,之後我們再來看看它和日誌有什麼關係。
 
數據集成就是將數據組織起來,使得在與其有關的服務和系統中可以訪問它們。「數據集成」(data integration)這個短語應該不止這麼簡單,但是我找不到一個更好的解釋。而更常見的術語 ETL 通常只是覆蓋了數據集成的一個有限子集(譯註:ETL,Extraction-Transformation-Loading的縮寫,即數據提取、轉換和加載)——相對於關係型數據倉庫。但我描述的東西很大程度上可以理解為,將ETL推廣至實時系統和處理流程。
 
你一定不會聽到數據集成就興趣盎然屏住呼吸,並且天花亂墜的想到關於大數據的概念,不過,我相信世俗的問題「讓數據可被訪問」 是一個組織應該關注的有價值的事情。
 
對數據的高效使用遵循一種馬斯洛的需要層次理論 。金字塔的基礎部分包括捕獲所有相關數據,能夠將它們全部放到適當的處理環境(那個環境應該是一個奇妙的實時查詢系統,或者僅僅是文本文件和python腳本)。這些數據需要以統一的方式建模,這樣就可以方便讀取和數據處理。如果這種以統一的方式捕獲數據的基本需求得到滿足,那麼就可以在基礎設施上以若干種方法處理這些數據——映射化簡(MapReduce),實時查詢系統,等等。
 
很明顯,有一點值得注意:如果沒有可靠的、完整的數據流,Hadoop集群除了象昂貴的且難於安裝的空間取暖器哪樣外不會做更多事情了。一旦數據和處理可用,人們就會關心良好數據模型和一致地易於理解的語法哪些更細緻的問題。最後,人們才會關注更加高級的處理——更好的可視化、報表以及處理和預測算法。
 
以我的經驗,大多數機構在數據金字塔的底部存在巨大的漏洞——它們缺乏可靠的、完整的數據流——而是打算直接跳到高級數據模型技術上。這樣做完全是反著來做的。
 
因此,問題是我們如何構建通過機構內所有數據系統的可靠的數據流。
 
數據集成:兩個併發症
 
兩種趨勢使數據集成變得更困難。
 
事件數據管道
 
第一個趨勢是增長的事件數據(event data)。事件數據記錄的是發生的事情,而不是存在的東西。在web系統中,這就意味著用戶活動日誌,還有為了可靠的操作以及監控數據中心的機器的目的,所需要記錄的機器級別的事件和統計數字。人們傾向稱它們為「日誌數據」,因為它們經常被寫到應用的日誌中,但是這混淆了形式與功能。這種數據位於現代web的中心:歸根結底,Google的資產是由這樣一些建立在點擊和映像基礎之上的相關管道所生成的——那也就是事件。
 
這些東西並不是僅限於網絡公司,只是網絡公司已經完全數字化,所以它們更容易用設備記錄。財務數據一直是面向事件的。RFID(無線射頻識別)將這種跟蹤能力賦予物理對象。我認為這種趨勢仍將繼續,伴隨著這個過程的是傳統商務活動的數字化。
 
這種類型的事件數據記錄下發生的事情,而且往往比傳統數據庫應用要大好幾個數量級。這對於處理提出了重大挑戰。
 
專門的數據系統的爆發
 
第二個趨勢來自於專門的數據系統的爆發,通常這些數據系統在最近的五年中開始變得流行,並且可以免費獲得。專門的數據系統是為OLAP,搜索, 簡單在線存儲, 批處理, 圖像分析,等等而存在的。
 
更多的不同類型數據的組合,以及將這些數據存放到更多的系統中的願望,導致了一個巨大的數據集成問題。
 
日誌結構數據流
 
為了處理系統之間的數據流,日誌是最自然的數據結構。其中的秘訣很簡單:
 
將所有組織的數據提取出來,並將它們放到一個中心日誌,以便實時查閱。
 
每個邏輯數據源都可以建模為它自己的日誌。一個數據源可以是一個應用程序的事件日誌(如點擊量或者頁面瀏覽量),或者是一個接受修改的數據庫表。每個訂閱消息的系統都儘可能快的從日誌讀取信息,將每條新的記錄保存到自己的存儲,並且提升其在日誌中的地位。訂閱方可以是任意一種數據系統 —— 一個緩存,Hadoop,另一個網站中的另一個數據庫,一個搜索系統,等等。
 
\
 
例如,日誌針對每個更改給出了邏輯時鐘的概念,這樣所有的訂閱方都可以被測量。推導不同的訂閱系統的狀態也因此變得相對簡單的多,因為每個系統都有一個讀取動作的「時間點」。
 
為了讓這個顯得更具體,我們考慮一個簡單的案例,有一個數據庫和一組緩存服務器集群。日誌提供了一種同步更新所有這些系統,並推導出每一個系統的接觸時間點的方法。我們假設寫了一條日誌X,然後需要從緩存做一次讀取。如果我們想保證看到的不是陳舊的數據,我們只需保證沒有從任何尚未複製X的緩存中讀取即可。
 
日誌也起到緩存的作用,使數據生產與數據消費相同步。由於許多原因這個功能很重要,特別是在多個訂閱方消費數據的速度各不相同的時候。這意味著一個訂閱數據系統可以宕機,或者下線維護,之後重新上線以後再趕上來:訂閱方按照自己控制的節拍來消費數據。批處理系統,如Hadoop或者是一個數據倉庫,或許只是每小時或者每天消費一次數據,而實時查詢系統可能需要及時到秒。由於無論是原始數據源還是日誌,都沒有各種目標數據系統的相關知識,因此消費方系統可以被添加和刪除,而無需傳輸管道的變化。
 
「每個工作數據管道設計得就像是一個日誌;每個損壞的數據管道以其自己的方式損壞。」—Count Leo Tolstoy (由作者翻譯)
 
特別重要的是:目標系統只知道日誌,不知道數據源系統的任何細節。消費方系統自身無需考慮數據到底是來自於一個RDBMS(關係型數據庫管理系統Relational Database Management System),一種新型的鍵值存儲,或者它不是由任何形式的實時查詢系統所生成的。這似乎是一個小問題,但實際上是至關重要的。
 
這裡我使用術語「日誌」取代了「消息系統」或者「發佈—訂閱」,因為它在語義上更明確,並且對支持數據複製的實際實現這樣的需求,有著更接近的描述。我發現「發佈訂閱」並不比間接尋址的消息具有更多的含義——如果你比較任何兩個發佈—訂閱的消息傳遞系統的話,你會發現他們承諾的是完全不同的東西,而且大多數模型在這一領域都不是有用的。你可以認為日誌是一種消息系統,它具有持久性保證和強大的訂閱語義。在分佈式系統中,這個通信模型有時有個(有些可怕的)名字叫做原子廣播。
 
值得強調的是,日誌仍然只是基礎設施。這並不是管理數據流這個故事的結束:故事的其餘部分圍繞著元數據,模式,兼容性,以及處理數據結構的所有細節及其演化。除非有一種可靠的,一般的方法來處理數據流運作,語義在其中總是次要的細節。
 
在LinkefIn(SNS社交網站)
 
在LinkedIn從集中式關係數據庫向分佈式系統集合轉化的過程中,我看到這個數據集成問題迅速演變。
 
現在主要的數據系統包括:
 
搜索
 
社交圖譜
 
Voldemort (鍵值存儲)(譯註:一種分佈式數據庫)
 
Espresso (文檔存儲)
 
推舉引擎
 
OLAP查詢引擎(譯註:OLAP聯機分析技術)
 
Hadoop
 
Terradata
 
Ingraphs (監控圖表和指標服務)
 
這些都是專門的分佈式系統,在其專業領域提供先進的功能。
 
這種使用日誌作為數據流的思想,甚至在我到這裡之前就已經與LinkedIn相伴了。我們開發的一個最早的基礎設施之一,是一種稱為databus 的服務,它在我們早期的Oracle表上提供了一種日誌緩存抽象,可伸縮訂閱數據庫修改,這樣我們就可以很好支持我們的社交網絡和搜索索引。
 
我會給出一些歷史並交代一下上下文。我首次參與到這些大約是在2008年左右,在我們轉移鍵值存儲之後。我的下一個項目是讓一個工作中的Hadoop配置演進,並給其增加一些我們的推薦流程。由於缺乏這方面的經驗,我們自然而然的安排了數週計劃在數據的導入導出方面,剩下的時間則用來實現奇妙的預測算法。這樣我們就開始了長途跋涉。
 
我們本來計劃是僅僅將數據從現存的Oracle數據倉庫中剖離。但是我們首先發現將數據從Oracle中迅速取出是一種黑暗藝術。更糟的是,數據倉庫的處理過程與我們為Hadoop而計劃的批處理生產過程不適合——其大部分處理都是不可逆轉的,並且與即將生成的報告具體相關。最終我們採取的辦法是,避免使用數據倉庫,直接訪問源數據庫和日誌文件。最後,我們為了加載數據到鍵值存儲並生成結果,實現了另外一種管道。
 
這種普通的數據複製最終成為原始開發項目的主要內容之一。糟糕的是,在任何時間任意管道都有一個問題,Hadoop系統很大程度上是無用的——在錯誤的數據基礎上運行奇特的算法,只會產生更多的錯誤數據。
 
雖然我們已經以一種通用的方式創建事物,但是每個數據源都需要自定義配置安裝。這也被證明是巨量錯誤與失敗的根源。我們在Hadoop上實現的網站功能已經開始流行起來,同時我們發現我們有一長串感興趣的工程師。每個用戶都有他們想要集成的一系列系統,他們想要的一系列新數據源。
 
古希臘時代的 ETL(提取轉換加載Extract Transform and Load)。並沒有太多變化
 
有些東西在我面前開始漸漸清晰起來。
 
首先,我們已建成的通道雖然有一些雜亂,但實質上它們是很有價值的。在採用諸如Hadoop的新的處理系統生成可用數據的過程,它開啟了大量的可能性。 基於這些數據過去很難實現的計算,如今變為可能。 許多新的產品和分析技術都來源於把分片的數據放在一起,這些數據過被鎖定在特定的系統中。
 
第二, 眾所周知,可靠的數據加載需要數據通道的深度支持。如果我們可以捕獲所有我們需要的結構,我就就可以使得Hadoop數據全自動的加載,這樣就不需要額外的操作來增加新的數據源或者處理模式變更–數據就會自動的出現在HDFS,Hive表就會自動的生成對應於新數據源的恰當的列。
 
第三,我們的數據覆蓋率仍然非常低。如果你查看存儲於Hadoop中的可用的Linked 數據的全部百分比,它仍然是不完整的。花費大量的努力去使得各個新的數據源運轉起來,使得數據覆蓋度完整不是一件容易的事情。
 
我們正在推行的,為每個數據源和目標增建客戶化數據加載,這種方式很顯然是不可行的。我們有大量的數據系統和數據倉庫。把這些系統和倉庫聯繫起來,就會導致任意一對系統會產生如下所示的客戶化通道。
 
\
 
需要注意的是:數據是雙向流動的:例如許多系統諸如數據庫和Hadoop既是數據轉化的來源又是數據轉化的目的地。這就意味著我們我們不必為每個系統建立兩個通道:一個用於數據輸入,一個用於數據輸出。
 
這顯然需要一大群人,而且也不具有可操作性。隨著我們接近完全連接,最終我們將有差不多O(N2)條管道。
 
替代的,我們需要像這樣通用的東西:
 
\
 
我們需要儘可能的將每個消費者與數據源隔離。理想情形下,它們應該只與一個單獨的數據倉庫集成,並由此讓他們能訪問到所有東西。
 
這個思想是增加一個新的數據系統——或者它是一個數據源或者它是一個數據目的地——讓集成工作只需連接到一個單獨的管道,而無需連接到每個數據消費方。
 
這種經歷使得我關注創建Kafka來關聯我們在消息系統所見的與數據庫和分佈式系統內核所發佈的日誌。我們希望一些實體作為中心的通道,首先用於所有的活動數據,逐步的擴展到其他用途,例如Hadoop外的數據實施,數據監控等。
 
在相當長的時間內,Kafka是獨一無二的底層產品,它既不是數據庫,也不是日誌文件收集系統,更不是傳統的消息系統。但是最近Amazon提供了非常類似Kafka的服務,稱之為Kinesis。相似度包括了分片處理的方式,數據的保持,甚至包括在Kafka API中,有點特別的高端和低端消費者分類。我很開心看到這些,這表明了你已經創建了很好的底層協議,AWS已經把它作為服務提供。他們對此的期待與我所描述的吻合:通道聯通了所有的分佈式系統,諸如DynamoDB,RedShift,S3等,它同時作為使用EC2進行分佈式流處理的基礎。
 
與ETL和數據倉庫的關係
 
我們再來聊聊數據倉庫。數據倉庫是清洗和歸一數據結構用於支撐數據分析的倉庫。這是一個偉大的理念。對不熟悉數據倉庫概念的人來說,數據倉庫方法論包括了:週期性的從數據源抽取數據,把它們轉化為可理解的形式,然後把它導入中心數據倉庫。對於數據集中分析和處理,擁有高度集中的位置存放全部數據的原始副本是非常寶貴的資產。在高層級上,也許你抽取和加載數據的順序略微調整,這個方法論不會有太多變化,無論你使用傳統的數據倉庫Oracle還是Teradata或者Hadoop。
 
數據倉庫是極其重要的資產,它包含了原始的和規整的數據,但是實現此目標的機制有點過時了。
 
對以數據為中心的組織關鍵問題是把原始的歸一數據聯結到數據倉庫。數據倉庫是批處理的基礎查詢:它們適用於各類報表和臨時性分析,特別是當查詢包含了簡單的計數、聚合和過濾。但是如果一個批處理系統僅僅包含了原始的完整的數據的數據倉庫,這就意味著這些數據對於實時數據處理、搜索索引和系統監控等實時的查詢是不可用的。
 
依我之見,ETL包括兩件事:首先,它是抽取和數據清洗過程–特別是釋放被鎖在組織的各類系統中的數據,移除系統專有的無用物。第二,依照數據倉庫的查詢重構數據。例如使其符合關係數據庫類型系統,強制使用星號、雪花型模式,或者分解為高性能的柱狀格式等。合併這兩者是有困難的。這些規整的數據集應當可以在實時或低時延處理中可用,也可以在其它實施存儲系統索引。
 
在我看來,正是因為這個原因有了額外好處:使得數據倉庫ETL更具了組織級的規模。數據倉庫的精典問題是數據倉庫負責收集和清洗組織中各個組所生成的全部數據。各組織的動機是不同的,數據的生產者並不知曉在數據倉庫中數據的使用情況,最終產生的數據很難抽取,或者需要花費規模化的轉化才可以轉化為可用的形式。當然, 中心團隊不可能恰到好處的掌握規模,使得這規模剛好與組織中其它團隊相匹配,因此數據的覆蓋率常常差別很大,數據流是脆弱的同時變更是緩慢的。
 
較好的方法是有一個中心通道,日誌和用於增加數據的定義良好的API。與通道集成的且提供良好的結構化的數據文件的職責依賴於數據的生產者所生成的數據文件。這意味著在設計和實施其它系統時應當考慮數據的輸出以及輸出的數據如何轉化為結構良好的形式並傳遞給中心通道。增加新的存儲系統倒是不必因為數據倉庫團隊有一個中心結點需要集成而關注數據倉庫團隊。數據倉庫團隊僅需處理簡單的問題,例如從中心日誌中加載結構化的數據,向其它周邊系統實施個性化的數據轉化等。
 
\
 
如圖所示:當考慮在傳統的數據倉庫之外增加額外的數據系統時,組織結構的可擴展性顯得尤為重要。例如,可以考慮為組織的完整的數據集提供搜索功能。或者提供二級的數據流監控實時數據趨勢和告警。無論是這兩者中的哪一個,傳統的數據倉庫架構甚至於Hadoop聚簇都不再適用。更糟的是,ETL的流程通道的目的就是支持數據加載,然而ETL似乎無法輸出到其它的各個系統,也無法通過引導程序,使得這些外圍的系統的各個架構成為適用於數據倉庫的重要資產。這就不難解釋為什麼組織很難輕鬆的使用它的全部數據。反之,如果組織已建立起了一套標準的、結構良好的數據,那麼任何新的系統要使用這些數據僅僅需要與通道進行簡單的集成就可以實現。
 
這種架構引出了數據清理和轉化在哪個階段進行的不同觀點:
 
由數據的生產者在把數據增加到公司全局日誌之前。
 
在日誌的實時轉化階段進行,這將會產生一個新的轉化日誌。
 
在向目標系統加載數據時,做為加載過程的一部分進行。
 
理想的模形是:由數據的生產者在把數據發佈到日誌之前對數據進行清理。這樣可以確保數據的權威性,不需要維護其它的遺留物例如為數據產生的特殊處理代碼或者維護這些數據的其它的存儲系統。這些細節應當由產生數據的團隊來處理,因為他們最瞭解他們自己的數據。這個階段所使用的任何邏輯都應該是無損的和可逆的。
 
任何可以實時完成的增值轉化類型都應當基於原始日誌進行後期處理。這一過程包括了事件數據的會話流程,或者增加大眾感興趣的衍生字段。原始的日誌仍然是可用的,但是這種實時處理產生的衍生日誌包含了參數數據。
 
最終,只有針對目標系統的聚合需要做了加載流程的一部分。它包括了把數據轉化成特定的星型或者雪花狀模式,從而用於數據倉庫的分析和報表。因為在這個階段,大部分自然的映射到傳統的ETL流程中,而現在它是在一個更加乾淨和規整的數據流集在進行的,它將會更加的簡單。
 
日誌文件和事件
 
我們再來聊聊這種架構的優勢:它支持解耦和事件驅動的系統。
 
在網絡行業取得活動數據的典型方法是把它記為文本形式的日誌,這些文本文件是可分解進入數據倉庫或者Hadoop,用於聚合和查詢處理的。由此產生的問題與所有批處理的ETL的問題是相同的:它耦合了數據流進入數據倉庫系統的能力和流程的調度。
 
在LinkedIn中,我們已經以中心日誌的方式構建了事件數據處理。我們正在使用Kafka做為中心的、多訂閱者事件日誌。我們已經定義了數百種事件類型,每種類型都會捕獲用於特定類型動作的獨特的屬性。這將會覆蓋包括頁面視圖、表達式、搜索以及服務調用、應用異常等方方面面。
 
為了進一步理解這一優勢:設想一個簡單的事務–在日誌頁面顯示已發佈的日誌。這個日誌頁面應當只包括顯示日誌所需要的邏輯。然而,在相當多的動態站點中,日誌頁面常常變的添加了很多與顯示日誌無關的邏輯。例如,我們將對如下的系統進行集成:
 
需要把數據傳送到Hadoop和數據倉庫中用於離線數據處理。
 
需要對視圖進行統計,確保視圖訂閱者不會攻擊一些內容片段。
 
需要聚合這些視圖,視圖將用於作業發佈者的分析頁面顯示。
 
需要記錄視圖以確保我們為作業推薦的使用者提供了恰當的印象覆蓋,我們不想一次次的重複同樣的事情。
 
推薦系統需要記錄日誌用於正確的跟蹤作業的普及度。
 
等等。
 
不久,簡單的作業顯示變得相當的複雜。我們增加了作業顯示的其它終端——移動終端應用等——這些邏輯必須繼續存在,複雜度不斷的增加。更糟的是我們需要與之做接口交互的系統現在是錯綜複雜的–在為顯示日作業而工作的工程師們需要知曉多個其它系統和它們的特徵,才可以確保它們被正確的集成了。這僅僅是問題的簡單版本,真實的的應用系統只會更加的複雜。
 
「事件驅動」的模式提供了一種簡化這類問題的機制。作業顯示頁面現在只顯示作業並記錄與正在顯示的作業,作業訂閱者相關的其它屬性,和其它與作業顯示相關的其它有價值的屬性。每個與此相關的其它系統諸如推薦系統、安全系統、作業推送分析系統和數據倉庫,所有這些只是訂閱種子文件,並進行它們的操作。顯示代碼並不需要關注其它的系統,也不需要因為增加了數據的消費者而相應的進行變更。
 
構建可伸縮的日誌
 
當然,把發佈者與訂閱者分離不再是什麼新鮮事了。但是如果你想要確保提交日誌的行為就像多個訂閱者實時的分類日誌那樣記錄網站發生的每件事時,可擴展性就會成為你所面臨的首要挑戰。如果我們不能創建快速、高性價比和可擴展性靈活的日誌以滿足實際的可擴展需求,把日誌做為統一的集成機制不再是美好的想像,
 
人們普遍認為分佈式日誌是緩慢的、重量經的概念(並且通常會把它僅僅與「原數據」類型的使用聯繫起來,對於這類使用Zookeeper可以適用)。但是深入實現並重點關注分類記錄大規模的數據流,這種需求是不切實際的。在LinkedIn,我們現在每天通過Kafka運行著超過600億個不同的消息寫入點(如果統計鏡相與數據中心之間的寫入,那麼這個數字會是數千億)。
 
我們在Kafk中使用了一些小技巧來支持這種可擴展性:
 
日誌分片
 
通過批處理讀出和寫入優化吞吐力
 
規避無用的數據複製。
 
\
 
為了確保水平可擴展性,我們把日誌進行切片:
 
每個切片都是一篇有序的日誌,但是各片之間沒有全局的次序(這個有別於你可能包含在消息中的掛鐘時間)。把消息分配到特定的日誌片段這是由寫入者控制的,大部分使用者會通過用戶ID等鍵值來進行分片。分片可以把日誌追加到不存在協作的片段之間,也可以使系統的吞吐量與Kafka聚簇大小成線性比例關係。
 
每個分片都是通過可配置數量的複製品複製的,每個複製品都有分片的一份完全一致的拷貝。無論何時,它們中的任一個都可以做為主分片,如果主分片出錯了,任何一個複製品都可以接管並做為主分片。
 
缺少跨分片的全局順序是這個機制的侷限性,但是我們不認為它是最主要的。事實上,與日誌的交互主要來源於成百上千個不同的流程,以致於對於它們的行為排一個總體的順序是沒什麼意義的。相反,我們可以確保的是我們提供的每個分片都是按順序保留的。Kafka保證了追加到由單一發送者送出的特定分片會按照發送的順序依次處理。
 
日誌,就像文件系統一樣,是容易優化成線性可讀可寫的樣式的。日誌可以把小的讀入和寫出組合成大的、高吞吐量的操作。Kafka一直至立於實現這一優化目標。批處理可以發生在由客戶端向服務器端發送數據、寫入磁盤;在服務器各端之間複製;數據傳遞給消費者和確認提交數據等諸多環節。
 
最終,Kafka使用簡單的二進制形式維護內存日誌,磁盤日誌和網絡數據傳送。這使得我們可以使用包括「0數據複製傳送」在內的大量的優化機制。
 
這些優化的積累效應是你常常進行的寫出和讀入數據的操作可以在磁盤和網絡上得到支持,甚至於維護內存以外的大量數據集。
 
這些詳細記述並不意味著這是關於Kafka的主要內容,那麼我就不需要瞭解細節了。你可閱讀到更多的關於LinkedIn的方法在這個鏈接,和Kafka的設計總述在這個鏈接。
 
第三部分:日誌和實時流處理
 
到此為止,我只是描述從端到端數據複製的理想機制。但是在存儲系統中搬運字節不是所要講述內容的全部。最終我們發現日誌是流的另一種說法,日誌是流處理的核心。
 
但是,等等,什麼是流處理呢?
 
如果你是90年代晚期或者21世紀初數據庫文化或者數據基礎架構產品的愛好者,那麼你就可能會把流處理與建創SQL引擎或者創建「箱子和箭頭」接口用於事件驅動的處理等聯繫起來。
 
如果你關注開源數據庫系統的大量出現,你就可能把流處理和一些開源數據庫系統關聯起來,這些系統包括了:Storm,Akka,S4和Samza。但是大部分人會把這些系統作為異步消息處理系統,這些系統與支持群集的遠程過程調用層的應用沒什麼差別(而事實上在開源數據庫系統領域某些方面確實如此)。
 
這些視圖都有一些侷限性。流處理與SQL是無關的。它也侷限於實時流處理。不存在內在的原因限制你不能處理昨天的或者一個月之前的流數據,且使用多種不同的語言表達計算。
 
\
 
我把流處理視為更廣泛的概念:持續數據流處理的基礎架構。我認為計算模型可以像MapReduce或者分佈式處理架構一樣普遍,但是有能力處理低時延的結果。
 
處理模型的實時驅動是數據收集方法。成批收集的數據是分批處理的。數據是不斷收集的,它也是按順序不斷處理的。
 
美國的統計調查就是成批收集數據的良好典範。統計調查週期性的開展,通過挨門挨戶的走訪,使用蠻力發現和統計美國的公民信息。1790年統計調查剛剛開始時這種方式是奏效的。那時的數據收集是批處理的,它包括了騎著馬悠閒的行進,把信息寫在紙上,然後把成批的記錄傳送到人們統計數據的中心站點。現在,在描述這個統計過程時,人們立即會想到為什麼我們不保留出生和死亡的記錄,這樣就可以產生人口統計信息這些信息或是持續的或者是其它維度的。
 
這是一個極端的例子,但是大量的數據傳送處理仍然依賴於週期性的轉儲,批量轉化和集成。處理大容量轉儲的唯一方法就是批量的處理。但是隨著這些批處理被持續的供給所取代,人們自然而然的開始不間斷的處理以平滑的處理所需資源並且消除延遲。
 
例如LinkedIn幾乎沒有批量數據收集。大部分的數據或者是活動數據或者是數據庫變更,這兩者都是不間斷髮生的。事實上,你可以想到的任何商業,正如:Jack Bauer告訴我們的,低層的機制都是實時發生的不間斷的流程事件。數據是成批收集的,它總是會依賴於一些人為的步驟,或者缺少數字化或者是一些自動化的非數字化流程處理的遺留信息。當傳送和處理這些數據的機制是郵件或者人工的處理時,這一過程是非常緩慢的。首輪自動化總是保持著最初的處理形式,它常常會持續相當長的時間。
 
每天運行的批量處理作業常常是模擬了一種一天的窗口大小的不間斷計算。當然,低層的數據也經常變化。在LinkedIn,這些是司空見貫的,並且使得它們在Hadoop運轉的機制是有技巧的,所以我們實施了一整套管理增量的Hadoop工作流的架構。
 
由此看來,對於流處理可以有不同的觀點。流處理包括了在底層數據處理的時間概念,它不需要數據的靜態快照,它可以產生用戶可控頻率的輸出,而不用等待數據集的全部到達。從這個角度上講,流處理就是廣義上的批處理,隨著實時數據的流行,會兒更加普遍。
 
這就是為什麼從傳統的視角看來流處理是利基應用。我個人認為最大的原因是缺少實時數據收集使得不間斷的處理成為了學術性的概念。
 
我想缺少實時數據收集就像是商用流處理系統注定的命運。他們的客戶仍然需要處理面向文件的、每日批量處理ETL和數據集成。公司建設流處理系統關注的是提供附著在實時數據流的處理引擎,但是最終當時極少數人真正使用了實時數據流。事實上,在我在LinkedIn工作的初期,有一家公司試圖把一個非常棒的流處理系統銷售給我們,但是因為當時我們的全部數據都按小時收集在的文件裡,當時我們提出的最好的應用就是在每小時的最後把這些文件輸入到流處理系統中。他們注意到這是一個普遍性的問題。這些異常證明了如下規則:流處理系統要滿足的重要商業目標之一是:財務, 它是實時數據流已具備的基準,並且流處理已經成為了瓶頸。
 
甚至於在一個健康的批處理系統中,流處理作為一種基礎架構的實際應用能力是相當廣泛的。它跨越了實時數據請求——應答服務和離線批量處理之間的鴻溝。現在的互聯網公司,大約25%的代碼可以劃分到這個類型中。
 
最終這些日誌解決了流處理中絕大部分關鍵的技術問題。在我看來,它所解決的最大的問題是它使得多訂閱者可以獲得實時數據。對這些技術細節感興趣的朋友,我們可以用開源的Samza,它是基於這些理念建設的一個流處理系統。這些應用的更多技術細節我們在此文檔中有詳細的描述。
 
數據流圖
 
\
 
流處理最有趣的角度是它與流處理系統內部無關,但是與之密切相關的是如何擴展了我們談到的早期數據集成的數據獲取的理念。我們主要討論了基礎數據的獲取或日誌——事件和各類系統執行中產生的數據等。但是流處理允許我們包括了計算其它數據的數據。這些衍生的數據在消費者看來與他們計算的原始數據沒什麼差別。這些衍生的數據可以按任意的複雜度進行壓縮。
 
讓我們再深入一步。我們的目標是:流處理作業可以讀取任意的日誌並把日誌寫入到日誌或者其它的系統中。他們用於輸入輸出的日誌把這些處理關聯到一組處理過程中。事實上,使用這種樣式的集中日誌,你可以把組織全部的數據抓取、轉化和工作流看成是一系列的日誌和寫入它們的處理過程。
 
流處理器根本不需要理想的框架:它可能是讀寫日誌的任何處理器或者處理器集合,但是額外的基礎設施和輔助可以提供幫助管理處理代碼。
 
日誌集成的目標是雙重的:
 
首先,它確保每個數據集都有多個訂閱者和有序的。讓我們回顧一下狀態複製原則來記住順序的重要性。為了使這個更加具體,設想一下從數據庫中更新數據流–如果在處理過程中我們把對同一記錄的兩次更新重新排序,可能會產生錯誤的輸出。 TCP之類的鏈接僅僅侷限於單一的點對點鏈接,這一順序的持久性要優於TCP之類的鏈接,它可以在流程處理失敗和重連時仍然存在。
 
第二,日誌提供了流程的緩衝。這是非常基礎的。如果處理流程是非同步的,那麼上行生成流數據的作業比下行消費流數據的作業運行的更快。這將會導致處理流程阻塞,或者緩衝數據,或者丟棄數據。丟棄數據並不是可行的方法,阻塞將會導致整個流程圖立即停止。 日誌實際上是一個非常大的緩衝,它允許流程重啟或者停止但不會影響流程圖其它部分的處理速度。如果要把數據流擴展到更大規模的組織,如果處理作業是由多個不同的團隊提供的,這種隔離性是極其重的。我們不能容忍一個錯誤的作業引發後台的壓力,這種壓力會使得整個處理流程停止。
 
Storm和Sama這兩者都是按非同步方式設計的,可以使用Kafka或者其它類似的系統作為它們的日誌。
 
有狀態的實時流處理
 
一些實時流處理在轉化時是無狀態的記錄。在流處理中大部分的應用會是相當複雜的統計、聚合、不同窗口之間的關聯。例如有時人們想擴大包含用戶操作信息的事件流(一系列的單擊動作)–實際上關聯了用戶的單擊動作流與用戶的賬戶信息數據庫。不變的是這類流程最終會需要由處理器維護的一些狀態信息。例如數據統計時,你需要統計到目前為止需要維護的計數器。如果處理器本身失敗了,如何正確的維護這些狀態信息呢?
 
最簡單的替換方案是把這些狀態信息保存在內存中。但是如果流程崩潰,它就會丟失中間狀態。如果狀態是按窗口維護的,流程就會回退到日誌中窗口開始的時間點上。但是,如果統計是按小時進行的,那麼這種方式就會變得不可行。
 
另一個替換方案是簡單的存儲所有的狀態信息到遠程的存儲系統,通過網絡與這些存儲關聯起來。這種機制的問題是沒有本地數據和大量的網絡間通信。
 
我們如何支持處理過程可以像表一樣分區的數據呢?
 
回顧一下關於表和日誌二相性的討論。這一機制提供了工具把數據流轉化為與處理過程協同定位的表,同時也提供了這些表的容錯處理的機制。
 
流處理器可以把它的狀態保存在本地的表或索引——bdb,或者leveldb,甚至於類似於Lucene 或fastbit一樣不常見的索引。這些內容存儲在它的輸入流中(或許是使用任意的轉化)。生成的變更日誌記錄了本地的索引,它允許存儲事件崩潰、重啟等的狀態信息。流處理提供了通用的機制用於在本地輸入流數據的隨機索引中保存共同分片的狀態。
 
當流程運行失敗時,它會從變更日誌中恢復它的索引。每次備份時,日誌把本地狀態轉化成一系列的增量記錄。
 
這種狀態管理的方法有一個優勢是把處理器的狀態也做為日誌進行維護。我們可以把這些日誌看成與數據庫表相對應的變更日誌。事實上,這些處理器同時維護著像共同分片表一樣的表。因為這些狀態它本身就是日誌,其它的處理器可以訂閱它。如果流程處理的目標是更新結點的最後狀態,這種狀態又是流程的輸出,那麼這種方法就顯得尤為重要。
 
為了數據集成,與來自數據庫的日誌關聯,日誌和數據庫表的二象性就更加清晰了。變更日誌可以從數據庫中抽取出來,日誌可以由不同的流處理器(流處理器用於關聯不同的事件流)按不同的方式進行索引。
 
我們可以列舉在Samza中有狀態流處理管理的更多細節和大量實用的例子。
 
日誌壓縮
 
當然,我們不能奢望保存全部變更的完整日誌。除非想要使用無限空間,日誌不可能完全清除。為了澄清它,我們再來聊聊Kafka的實現。在Kafka中,清理有兩種選擇,這取決於數據是否包括關鍵更新和事件數據。對於事件數據,Kafka支持僅維護一個窗口的數據。通常,配置需要一些時間,窗口可以按時間或空間定義。雖然對於關鍵數據而言,完整日誌的重要特徵是你可以重現源系統的狀態信息,或者在其它的系統重現。
 
隨著時間的推移,保持完整的日誌會使用越來越多的空間,重現所耗費的時間越來越長。因些在Kafka中,我們支持不同類型的保留。我們移除了廢棄的記錄(這些記錄的主鍵最近更新過)而不是簡單的丟棄舊日誌。我們仍然保證日誌包含了源系統的完整備份,但是現在我們不再重現原系統的全部狀態,而是僅僅重現最近的狀態。我們把這一特徵稱為日誌壓縮。
 
第四部分:系統建設
 
我們最後要討論的是在線數據系統設計中日誌的角色。
 
在分佈式數據庫數據流中日誌的角色和在大型組織機構數據完整中日誌的角色是相似的。在這兩個應用場景中,日誌是對於數據源是可靠的,一致的和可恢復的。組織如果不是一個複雜的分佈式數據系統呢,它究竟是什麼?
 
分類計價嗎?
 
如果換個角度,你可以看到把整個組織系統和數據流看做是單一的分佈式數據系統。你可以把所有的子查詢系統(諸如Redis,SOLR,Hive表等)看成是數據的特定索引。你可以把Storm或Samza一樣的流處理系統看成是發展良好的觸發器和視圖具體化機制。我已經注意到,傳統的數據庫管理人員非常喜歡這樣的視圖,因為它最終解釋了這些不同的數據系統到底是做什麼用的–它們只是不同的索引類型而已。
 
不可否認這類數據庫系統現在大量的出現,但是事實上,這種複雜性一直都存在。即使是在關係數據庫系統的鼎盛時期,組織中有大量的關係數據庫系統。或許自大型機時代開始,所有的數據都存儲在相同的位置,真正的集成是根本不存在的。存在多種外在需求,需要把數據分解成多個系統,這些外在需求包括:規模、地理因素、安全性,性能隔離是最常見的因素。這些需求都可以由一個優質的系統實現:例如,組織可以使用單一的Hadoop聚簇,它包括了全部的數據,可以服務於大型的和多樣性的客戶。
 
因此在向分佈式系統變遷的過程中,已經存在一種處理數據的簡便的方法:把大量的不同系統的小的實例聚合成為大的聚簇。許多的系統還不足以支持這一方法:因為它們不夠安全,或者性能隔離性得不到保證,或者規模不符合要求。不過這些問題都是可以解決的。
 
依我之見,不同系統大量出現的原因是建設分佈式數據庫系統很困難。通過削減到單一的查詢或者用例,每個系統都可以把規模控制到易於實現的程度。但是運行這些系統產生的複雜度依然很高。
 
未來這類問題可能的發展趨勢有三種:
 
第一種可能是保持現狀:孤立的系統還會或長或短的持續一段時間。這是因為建設分佈式系統的困難很難克服,或者因為孤立系統的獨特性和便捷性很難達到。基於這些原因,數據集成的核心問題仍然是如何恰當的使用數據。因此,集成數據的外部日誌非常的重要。
 
第二種可能是重構:具備通用性的單一的系統逐步融合多個功能形成超極系統。這個超級系統表面看起來類似關係數據庫系統,但是在組織中你使用時最大的不同是你只需要一個大的系統而不是無數個小系統。在這個世界裡,除了在系統內已解決的這個問題不存在什麼真正的數據集成問題。我想這是因為建設這樣的系統的實際困難。
 
雖然另一種可能的結果對於工程師來說是很有吸引力的。新一代數據庫系統的特徵之一是它們是完全開源的。開源提供了一種可能性:數據基礎架構不必打包成服務集或者面嚮應用的系統接口。在Java棧中,你可以看到在一定程度上,這種狀況已經發生了。
 
Zookeeper用於處理多個系統之間的協調,或許會從諸如Helix 或者Curator等高級別的抽象中得到一些幫助。
 
Mesos和YARN用於處理流程可視化和資源管理。
 
Lucene和LevelDB等嵌入式類庫做為索引。
 
Netty,Jetty和Finagle,rest.li等封裝成高級別的用於處理遠程通信。
 
Avro,Protocol Buffers,Thrift和umpteen zillion等其它類庫用於處理序列化。
 
Kafka和Bookeeper提供支持日誌。
 
如果你把這些堆放在一起,換個角度看,它有點像是簡化版的分佈式數據庫系統工程。你可以把這些拼裝在一起,創建大量的可能的系統。顯而易見,現在探討的不是最終用戶所關心的API或者如何實現,而是在不斷多樣化和模塊化的過程中如何設計實現單一系統的途徑。因為隨著可靠的、靈活的模塊的出現,實施分佈式系統的時間週期由年縮減為周,聚合形成大型整體系統的壓力逐步消失。
 
日誌文件在系統結構中的地位
 
那些提供外部日誌的系統如今已允許個人電腦拋棄他們自身複雜的日誌系統轉而使用共享日誌。在我看來,日誌可以做到以下事情:
 
通過對節點的並發更新的排序處理數據的一致性(無論在及時還是最終情況下)
 
提供節點之間的數據複製
 
提供」commit「語法(只有當寫入器確保數據不會丟失時才會寫入)
 
位系統提供外部的數據訂閱資源
 
提供存儲失敗的複製操作和引導新的複製操作的能力
 
處理節點間的數據平衡
 
這實際上是一個數據分發系統最重要的部分,剩下的大部分內容與終端調用的API和索引策略相關。這正是不同系統間的差異所在,例如:一個全文本查詢語句需要查詢所有的分區,而一個主鍵查詢只需要查詢負責鍵數據的單個節點就可以了。
 
下面我們來看下該系統是如何工作的。系統被分為兩個邏輯區域:日誌和服務層。日誌按順序捕獲狀態變化,服務節點存儲索引提供查詢服務需要的所有信息(鍵—值的存儲可能以B-tree或SSTable的方式進行,而搜索系統可能存在與之相反的索引)。寫入器可以直接訪問日誌,儘管需要通過服務層代理。在寫入日誌的時候會產生邏輯時間戳(即log中的索引),如果系統是分段式的,那麼就會產生與段數目相同數量的日誌文件和服務節點,這裡的數量和機器數量可能會有較大差距。
 
\
 
服務節點訂閱日誌信息並將寫入器按照日誌存儲的順序盡快應用到它的本地索引上。
 
客戶端只要在查詢語句中提供對應的寫入器的時間戳,它就可以從任何節點中獲取」讀寫「語義。服務節點收到該查詢語句後會將其中的時間戳與自身的索引比較,如果必要,服務節點會延遲請求直到對應時間的索引建立完畢,以免提供舊數據。
 
服務節點或許根本無需知道」控制「或」投標選擇(leader election)「的概念,對很多簡單的操作,服務節點可以愛完全脫離領導的情況下提供服務,日誌即是信息的來源。
 
分發系統所需要做的其中一個比較複雜的工作,就是修復失敗節點並移除幾點之間的隔離。保留修復的數據並結合上各區域內的數據快照是一種較為典型的做法,它與保留完整的數據備份並從垃圾箱內回收日誌的做法幾乎等價。這就使得服務層簡單了很多,日誌系統也更有針對性。
 
有了這個日誌系統,你可以訂閱到API,這個API提供了把ETL提供給其它系統的數據內容。事實上,許多系統都可以共享相同的日誌同時提供不同的索引,如下所示:
 
\
 
這樣一個以日誌為中心的系統是如何做到既數據流的提供者又同時加載其它系統的數據的呢?因為流處理器既可以消費多個輸入的數據流,隨後又可以通過其它系統對數據做索引為它們提供服務。
 
這個系統的視圖可以清晰的分解到日誌和查詢API,因為它允許你從系統的可用性和一致性角度分解查詢的特徵。這可以幫助我們對系統進行分解,並理解那些並沒按這種方式設計實施的系統。
 
雖然Kafka和Bookeeper都是一致性日誌,但這不是必須的,也沒什麼意義。你可以輕鬆的把Dynamo之類的數據構分解為一致性的AP日誌和鍵值對服務層。這樣的日誌使用起來靈活,因為它重傳了舊消息,像Dynamo一樣,這樣的處理取決於消息的訂閱者。
 
在很多人看來,在日誌中另外保存一份數據的完整複本是一種浪費。事實上,雖然有很多因素使得這件事並不困難。首先,日誌可以是一種有效的存儲機制。我們在Kafka生產環境的服務器上存儲了5 TB的數據。同時有許多的服務系統需要更多的內存來提供有效的數據服務,例如文本搜索,它通常是在內存中的。服務系統同樣也需樣硬盤的優化。例如,我們的實時數據系統或者在內存外提供服務或者使用固態硬盤。相反,日誌系統只需要線性的讀寫,因此,它很樂於使用TB量級的硬盤。最終,如上圖所示,由多個系統提供的數據,日誌的成本分攤到多個索引上,這種聚合使得外部日誌的成本降到了最低點。
 
LinkedIn就是使用了這種方式實現它的多個實時查詢系統的。這些系統提供了一個數據庫(使用數據總線做為日誌摘要,或者從Kafka去掉專用的日誌),這些系統在頂層數據流上還提供了特殊的分片、索引和查詢功能。這也是我們實施搜索、社交網絡和OLAP查詢系統的方式。事實上這種方式是相當普遍的:為多個用於實時服務的服務系統提供單一的數據(這些來自Hadoop的數據或是實時的或是衍生的)。這種方式已被證實是相當簡潔的。這些系統根本不需要外部可寫入的API,Kafka和數據庫被用做系統的記錄和變更流,通過日誌你可以查詢系統。持有特定分片的結點在本地完成寫操作。這些結點盲目的把日誌提供的數據轉錄到它們自己的存儲空間中。通過回放上行流日誌可以恢復轉錄失敗的結點。
 
這些系統的程度則取決於日誌的多樣性。一個完全可靠的系統可以用日誌來對數據分片、存儲結點、均衡負載,以及用於數據一致性和數據複製等多方面。在這一過程中,服務層實際上只不過是一種緩存機制,這種緩存機制允許直接寫入日誌的流處理。
 
結束語
 
如果你對於本文中所談到的關於日誌的大部內容,如下內容是您可以參考的其它資料。對於同一事務人們會用不同的術語,這會讓人有一些困惑,從數據庫系統到分佈式系統,從各類企業級應用軟件到廣闊的開源世界。無論如何,在大方向上還是有一些共同之處。
 
學術論文、系統、評論和博客
 
關於狀態機和主備份復現的概述。
 
PacificA是實施微軟基於日誌的分佈式存儲系統的通用架構。
 
Spanner-並不是每個人都支持把邏輯時間用於他們的日誌,Google最新的數據庫就嘗試使用物理時間,並通過把時間戳直接做為區間來直接建時鐘遷移的不確定性。
 
Datanomic:解構數據庫,它是Rich Hickey在它的首個數據庫產品中的的重要陳述之一,Rich Hickey是Clojure的創建者。
 
在消息傳遞系統中回捲恢復協議的調查。我發現這個有助於引入容錯處理和數據庫以外的應用系統日誌恢復。
 
Reactive Manifesto-事實上我並不清楚反應編程的確切涵義,但是我想它和「事件驅動」指的是同一件事。這個鏈接並沒有太多的訊息,但由久富盛史的Martin Odersky講授的課程是很有吸引力的。
 
Paxos!
 
1)Leslie Lamport有一個有趣的歷史:在80年代算法是如何發現的,但是直到1998年才發表了,因為評審組不喜歡論文中的希臘寓言,而作者又不願修改。
 
2)甚至於論文發佈以後,它還是不被人們理解。Lamport再次嘗試,這次它包含了一些並不有趣的小細節,這些細節是關於如何使用這些新式的自動化的計算機的。它仍然沒有得到廣泛的認可。
 
3)Fred Schneider和Butler Lampson分別給出了更多細節關於在實時系統中如何應用Paxos.
 
4)一些Google的工程師總結了他們在Chubby中實施Paxos的經驗。
 
5)我發現所有關於Paxos的論文理解起來很痛苦,但是值得我們費大力氣弄懂。你不必忍受這樣的痛苦了,因為日誌結構的文件系統的大師John Ousterhout的這個視頻讓這一切變得相當的容易。這些一致性算法用展開的通信圖表述的更好,而不是在論文中通過靜態的描述來說明。頗為諷刺的是,這個視頻錄製的初衷是告訴人們Paxos很難理解。
 
6)使用Paxos來構造規模一致的數據存儲。
 
Paxos有很多的競爭者。如下諸項可以更進一步的映射到日誌的實施,更適合於實用性的實施。
 
1)由Barbara Liskov提出的視圖戳復現是直接進行日誌復現建模的較早的算法。
 
2)Zab是Zookeeper所使用的算法。
 
3)RAFT是易於理解的一致性算法之一。由John Ousterhout講授的這個視頻非常的棒。
 
你可以的看到在不同的實時分佈式數據庫中動作日誌角色:
 
1)PNUTS是探索在大規模的傳統的分佈式數據庫系統中實施以日誌為中心設計理念的系統。
 
2)Hbase和Bigtable都是在目前的數據庫系統中使用日誌的樣例。
 
3)LinkedIn自己的分佈式數據庫Espresso和PNUTs一樣,使用日誌來復現,但有一個小的差異是它使用自己底層的表做為日誌的來源。
 
流處理:這個話題要總結的內容過於寬泛,但還是有幾件我所關注的要提一下:
 
1)TelegraphCQ
 
2)Aurora
 
3)NiagaraCQ
 
4)離散流:這篇論文討論了Spark的流式系統。
 
5)MillWheel 它是Google的流處理系統之一。
 
6)Naiad:一個實時數據流系統
 
7)在數據流系統中建模和相關事件:它可能是研究這一領域的最佳概述之一。
 
8)分佈處式流處理的高可用性算法。
 
企業級軟件存在著同樣的問題,只是名稱不同,或者規模較小,或者是XML格式的。哈哈,開個玩笑。
 
事件驅動——據我所知:它就是企業級應用的工程師們常說的「狀態機的復現」。有趣的是同樣的理念會用在如此迥異的場景中。事件驅動關注的是小的、內存中的使用場景。這種機制在應用開發中看起來是把發生在日誌事件中的「流處理」和應用關聯起來。因此變得不那麼瑣碎:當處理的規模大到需要數據分片時,我關注的是流處理作為獨立的首要的基礎設施。
 
變更數據捕獲–在數據庫之外會有些對於數據的舍入處理,這些處理絕大多數都是日誌友好的數據擴展。
 
企業級應用集成,當你有一些現成的類似客戶類系管理CRM和供應鏈管理SCM的軟件時,它似乎可以解決數據集成的問題。
 
複雜事件處理(CEP),沒有人知道它的確切涵義或者它與流處理有什麼不同。這些差異看起來集中在無序流和事件過濾、發現或者聚合上,但是依我之見,差別並不明顯。我認為每個系統都有自己的優勢。
 
企業服務總線(ESB)——我認為企業服務總線的概念類似於我所描述的數據集成。在企業級軟件社區中這個理念取得了一定程度的成功,對於從事網絡和分佈式基礎架構的工程師們這個概念還是很陌生的。
 
一些相關的開源軟件:
 
Kafka是把日誌作為服務的一個項目,它是後邊所列各項的基礎。
 
Bookeeper 和Hedwig 另外的兩個開源的「把日誌作為服務」的項目。它們更關注的是數據庫系統內部構件而不是事件數據。
 
Databus是提供類似日誌的數據庫表的覆蓋層的系統。
 
Akka 是用於Scala的動作者架構。它有一個事件驅動的插件,它提供持久化和記錄。
 
Samza是我們在LinkedIn中用到的流處理框架,它用到了本文論述的諸多理念,同時與Kafka集成來作為底層的日誌。
 
Storm是廣泛使用的可以很好的與Kafka集成的流處理框架之一。
 
Spark Streaming一個流處理框架,它是Spark的一部分。
 
Summingbird是在Storm或Hadoop之上的一層,它提供了便潔的計算摘要。

本文由「華爾街俱樂部」推薦。
PermaLink: https://articles.zkiz.com/?id=108543

港股地雷陣解析:大股東玩法多 小散防不勝防 作者:賈麗娟

http://www.gelonghui.com/forum.php?mod=viewthread&tid=1910&extra=
正是由於在制度等方面存在著種種差異,初涉港股市場的投資者總以為自己來到了遍地黃金之處,但結果往往是一地雞毛。在港股市場上,大股東的強勢地位使得小股東頗為被動,若是遇上了「不靠譜」的公司,幾乎只能被魚肉。因此,混跡港股多年的投資者,說起自己「踩雷」的經歷,大多是「一把辛酸淚」。

地雷一:合股+供股=剪羊毛

熟悉港股市場的投資者一定知道,市場上的「合股」、「供股」多如牛毛。這是一種再融資行為,但與A股市場區別很大。

與A股市場的增發需要通過層層審批,往往持續幾個月不同,港股市場上增發新股,幾乎是大股東分分鐘的決定。也與A股市場更常見的是定向增發不同,港股市場上的公開增發比比皆是。

港股有一個慣例,就是在每年年報後,董事會都會提請股東大會審議批准董事會在來年適時增發不超過20%的新股,而不需要再開股東大會。這樣,大股東完全可以在股價低迷時打8折配售20%的新股給所謂的獨立第三方。

也有臨時公告向全體股東增發或向特定投資人增發的案例。向全體股東增發時,經常會大幅折價,相當於強制小股東購買,因為不買的話,除權損失很大,而在此時,股價往往會暴跌。比如在2010年底,志高控股(00449,HK)曾巨幅折讓82%,增發50%的新股,當時股價就跌去一半,到今天股價仍不到當初兩成。

又如,中國農產品(00149,HK)在去年12月份建議合股後大折讓供股,首先將股份40合1,再以每股0.465港元
(較停牌前理論收市價折讓近90%)進行1供15,涉及發行11.06億股。而每供1股可獲發1股紅股,集資總額5.15億港元,大部分用作開發現有及未來農產品交易市場項目。消息發出後,中國農產品急挫42.48%。

其實,中國農產品已經是合股供股的「老手」了,其曾於2003年10月、2010年9月及2011年6月先後三次進行股份10合1,而2011年那次在合股後進行了1供30。也就是說,如果投資者在2003年10月前持股4萬股,又沒有參與供股,那麼現在的持股數僅剩餘1股!

最近的例子也不少,8月17日晚,中國仁濟醫療(00648,HK)公告稱,擬以0.27港元的價格(8月14日收盤價0.57港元,折讓約52.6%)進行2供1,涉及3.39億至4.25億股,集資9140萬至1.15億港元,計劃將所得淨額80%用於撥付未來投資及餘額用作一般營運資金。供股消息一出,公司股價應聲下跌超過20%。

港股上市公司大股東為何可以如此「翻手為云覆手為雨」?對此,一位港股資深投資者對《每日經濟新聞(微博)》記者表示,依據「法不禁止即可為」原則,香港法律對於這樣的行為並未明文禁止,監管機構主要起備案作用,保證信息披露的充分。因此,投資者就要擦亮雙眼研究投資標的,在港股市場上,「股市有風險,投資需謹慎」絕非套話,投資者必須要為自己的選擇負責。

不過,也有業內人士對此表示不滿,比如香港保障投資者協會主席呂志華曾呼籲,建議合股及供股不可同時進行,而是要在合股十二個月後才進行供股,避免市場人士利用合股製造向下炒作的局面。此外建議供股和市值掛鉤,每次集資不可超過市值10%;建議供股價較市價折讓限制在某個比例,如20%~30%,避免出現高出90%的折讓。

地雷二:私有化「玩你沒商量」

如果一家公司的股價長期 「一路向下」,作為大股東會不會痛心疾首呢?如果在A股市場上,這也許是個問題;在港股市場上,答案則很可能是「不會」。原因很簡單,如果公司質地夠好卻被低估,大股東完全可以在股價低迷時將其私有化。

港股市場大股東經常會玩這種遊戲,市道好時高價再融資,市道差時低價私有化。所以,如果秉承價值投資的理念,在公司股價節節下跌、但經營數據良好的情況下堅定持股,可能也無法等到價值兌現的那一天——大股東會「先下手為強」,將公司私有化。這樣的例子非常多,近的如美即控股,遠的如阿里巴巴——2007年以13.5港元的發行價、超過100倍的PE上市,5年後股價卻一路下滑到接近6港元,投資者損失慘重,之後大股東提出全盤私有化並退市。

那麼,如果私有化失敗,對於小股東是好事嗎?恐怕也不盡然。一旦私有化失敗,特別是意外失敗,公司股價往往會殺跌,小股東一樣會遭到損失。

近期的新世界中國(00917,HK)就是個例子。今年6月,其母公司新世界發展擬以186億港元私有化新世界中國的方案雖獲得了佔總股數99.84%的贊同票,但卻以告吹收場。

這筆交易主要敗在 「人頭數」規則上。對於此類私有化特別提案,首先大股東和其一致行動人都須迴避投票,即整個股東會的投票結果只能由獨立的小股東們說了算。其次,根據香港證監會發佈的《收購守則》,私有化提案不僅需要75%以上參與投票的股份數同意,而且反對票不能超過小股東持有全部股份數量的10%。此外,大部分香港上市的公司都註冊在開曼群島等地,當地《公司法》還有一條嚴格規定,即要求超過半數參與投票的小股東
「人頭數」通過。只有同時滿足這三個條件,私有化方案才能實施。

於是,戲劇性的一幕出現了:在新世界中國的私有化進程中,持有不足1%股權、市值總額僅2000萬港元,但以「人頭」計算卻佔大多數的小股東成為否決議案的關鍵。

私有化遭否決之後,公司股價在6月17日大跌17%,收報5.3港元,價格已接近3月公佈私有化停牌前的5.14港元。而截至前一日收盤,公司股價已跌至4.79港元。

私有化失敗的案例,最為著名的恐怕要算2009年的電訊盈科(00008,HK)、香港人稱8號仔的「種票」(指在股東集體投票前,知情人提前佈局入股,以影響該公司最終決策的行為)事件。

據當時《香港文匯報》報導,在電訊盈科的股價9年跌97%的情況下,大股東李澤楷與二股東網通集團以每股4.5港元(提價後)提出私有化公司的計劃。在法院會議及特別股東大會,私有化方案均獲得大比例贊成票,在特別股東大會上贊成票數更是高達94%,反對票不足6%。一旦私有化完成,李澤楷與中國網通
(被中國聯通合併)將分別持有66.67%及33.33%的電訊盈科股份。

要知道,兩大股東在支付約159.34億港元的代價私有化電訊盈科後,可獲得電訊盈科派發的約181.34億港元特別股息,即兩大股東在不花費一分錢將電訊盈科納入囊中之後,還將得到22億港元的淨現金股息!

但這一如意算盤最終被「種票」事件打破。香港證監會懷疑有人「種票」併入稟法院,最終上訴法院認為電訊盈科有明顯操縱投票的情況,而駁回了私有化議案。這一裁決的直接結果是公司股價單日下跌13%。

地雷三:打新有風險 炒新恐破產

A股市場打新股基本是不敗的神話,但港股並非如此。由於市場化程度較高,港股市場上,新股上市後便破發是常有的事情。

以今年6月25日、26日兩日掛牌的6只新股來說,其中5只都在上市首日遭到破發命運,其中長港敦信(02229,HK)的收盤價甚至較發行價低22%。

即使上市當日未破發,幾個月後股價跌得面目全非的也比比皆是。遊戲股云游控股(00484,HK)上市時以「超購300餘倍、凍資王、首日上漲32%」賺盡眼球,但幾個月後,公司不僅未推出新遊戲,還發出盈利預警,並在上週宣佈終止收購 「神魔之塔」開發公司……至此,公司股價已經從51港元的發行價跌至上週五收盤的18.16港元。

有分析人士稱,港交所要求上市企業過往有三年盈利紀錄,但上市後則沒有要求,因此,總有一些企業趕在運營情況開始走下坡路時才急忙上市籌資。

此外,在港股市場上,新上市企業大多會找朋友「撐場面」認購,但對方並非真的有意投資,因此禁售期後會悉數售出股票,這也是香港投行界心照不宣的「潛規則」之一。

更有分析認為,有公司上市的目的就是為了「賣殼」,這也是上市公司大股東的「玩法」之一。(每經)
推薦閱讀:
PermaLink: https://articles.zkiz.com/?id=109776

財說個股深度剖析——阿里2014年二季度財報360度全解析 財說

來源: http://xueqiu.com/9041141730/31154569

今日,最大的新聞莫過於$阿里巴巴(BABA)$ 2014年第二季度財報全面披露,靚麗的財報業績可謂亮瞎無數投資者的雙眼。不過任何事情都要透過現象看本質,財說為您做360度全解讀,分析數據背後的投資邏輯,還有不得不看的風險提示哦!($京東(JD)$$當當網(DANG)$$唯品會(VIPS)$$聚美優品(JMEI)$$汽車之家(ATHM)$ )

首先我們來看兩組 阿里巴巴靚麗的核心財報數據吧!

核心數據1:2014年Q2營業收入157.1億元人民幣,同比增長46.3%,環比增長31.1%



核心數據2:2014年Q2歸屬普通股股東的凈利潤為123.44億元,同比增長181.6%,環比增長122.7%。



  也許看到這里您還是暈暈的,對各種財務數據不夠敏感。沒關系,在看財報之前了解公司商業模式是必做功課,因此先來看下阿里帝國構造的龐大的阿里生態系統吧!


相信你看了上圖一定興奮不已,傳說中那個很掙錢的支付寶也要上市了,還有聽說阿里金融很牛X,這麽多資產要去美國上市一定很值錢。且慢,可別有此誤區,阿里上市的資產並不包括支付寶、余額寶等阿里金融旗下業務,就連同銀泰、複星、富春、順豐等集團成立的“菜鳥網絡”物流公司也不包括在列,上市資產的核心業務如下圖:



對阿里上市資產有了概念後我們就可以去看阿里的營收構成圖了



營收構成圖里各項名稱所對應的資產分別為:



  從以上兩個季度的營收構成圖可以看到中國電商零售業務占比最大,超八成。也就是阿里上市的核心資產是淘寶+天貓。不過我們也應看到今年二季度國際電商零售業(也就是AliExpress)占比大幅提升,從1.39%提升至2.27%。其他業務收入占比也在不斷擴大中。

  對主要財報數據有了解後,財說就帶您細細梳理下財報數據背後的投資邏輯。

亮點1:活躍買家達2.79億,占網購總人數九成以上

  對互聯網企業用戶數永遠是發展之根本,所以首先來看看阿里的活躍買家數。2014年第二季度,阿里巴巴集團的總活躍買家數達到了2.79億,同比增加50.8%,環比增長9.4%,用戶數同比增長達到了2012年以來的歷史最高水平。而中國網購總人數也才3.02億(CNNIC去年年底數據),也就是說,阿里巴巴“中國零售平臺(淘寶、天貓和聚劃算)”的用戶數就站到了整個中國網購人群的九成以上。



未來用戶數仍能快速增長的原因:

1.淘寶近年來一直實行用戶和渠道下沈戰略。2014年7月10日,阿里巴巴集團已宣布全面啟動渠道下沈戰略,集團旗下淘寶、天貓電器城、聚劃算借助菜鳥物流標準化服務、手機淘寶二維碼掃碼購等,將大家電送貨入戶服務率先在全國2600多個縣市展開。

2.UC瀏覽器的數億用戶將成為阿里用戶。使用UC手機瀏覽器的用戶有兩大目的:閱讀信息和購物,這使得較其他收購而言,UC的用戶能更直接的轉化為阿里用戶。

亮點2:總交易額同比增長45.1%,預計今年將超2萬億元


  

  阿里作為一家平臺型的電商,交易額的增長數直接影響著阿里未來的業績增長。2014年Q2阿里的交易額數據同樣亮眼,總交易額(GMV)同比增加45.1%,達到了5010億人民幣,加上一季度交易數據,阿里今年上半年的總交易額已經達到 9310億人民幣,距離 10000億僅有一步之遙。而2012年全年,阿里巴巴集團平臺總交易額剛剛突破萬億,從上圖可以看到阿里所處的電商行業明顯有淡季旺季之分,通常Q3與Q4的業績會大幅度超過上半年。所以,預計今年阿里電商這塊交易額超過2萬億幾無懸念。

亮點3:B2C增速遠超C2C,天貓將逐步成未來增長驅動力

  2014年Q2天貓平臺收入增長80.7%達1590億元,淘寶平臺增長33.1%達3420億元。不止在營收方面,交易額方面,天貓增速也遠超淘寶,天貓在總交易額中的占比不斷增長,截止2014年Q2已達31.7% 。總之,天貓增速迅猛,在未來具有更大發展潛力。這一判斷也得到了艾瑞第三方數據的支持。



  B2C交易規模占比不斷擴大:2014Q2 B2C市場交易規模為2845.0億元,占比為45.2%,較2013年同期提高了6.7個百分點,C2C的占比逐漸縮小;從增速來看,2014Q2期間B2C網絡購物市場同比增長73.1%,遠超C2C市場30.9%的增速。



  而在B2C市場中,2014年Q2天貓繼續保持近六成的市場份額占比,京東占比達21.2%。



亮點4:移動端業務增長迅猛,或成IPO主要賣點

  2014年二季度阿里移動端的月活躍用戶數上升至1.88億,在三個月內就增加了2500萬月活躍用戶。用戶的增長使得阿里的移動端數據異常亮眼,二季度移動端交易額1643億元,同比增長296.9%,環比增長39.5%。移動電商交易額所占比重達32.8%,較去年同期提高了20.8個百分點,比上季度提高了5.4個百分點,移動端交易額占比將不斷提升。



  移動端收入及變現能力大幅提升:2014年Q2阿里巴巴移動端收入達2454億元,同比增長922.5%,環比增長111.2%。其增長勢頭猛烈,雖然目前變現能力(移動端收入/移動端交易額)仍較低,不到1.5%,但已較前幾季度大幅提升。



  在交易額市場競爭格局方面,2014Q2淘寶無線繼續盤踞第一,占比達84.2%,領先優勢明顯,手機京東位列第二,占比為5.3%,手機唯品會排名第三,占比2.0%



風險提示:

1.移動端變現能力仍有待考察

  2014年Q2阿里收入153.71億元,總交易額約5010億元,考慮到C2C和B2C業務已經是阿里的主要收入,可以簡單的理解為阿里PC端的變現率(收入/總交易額)為3.15%,當然實際比率應高於此,而2014年Q2移動端的變現率(移動端收入/移動端交易額)僅為1.49%,上季度甚至僅為0.99%。之所以會出現如此差距是因為阿里更多依賴廣告流量模式,而移動端,屏幕小,不可能掛廣告位,不允許那麽多競價排名,會顯著影響用戶體驗,所以移動端阿里的變現能力仍有待提高。

2.各細分領域的垂直電商正在蠶食淘寶天貓份額

  兩三年前,淘寶天貓幾乎看不到競爭對手,無論是從整體上,還是垂直品類,真的是打著望遠鏡都看不到對手。而2014年Q2的市場競爭格局可以看到,就是淘寶天貓60%,唯品會、京東、當當40%。服飾品類曾是阿里最強勢的品類,現在已經被洞穿。圖書早已是當當的天下,3C通訊被京東的拿下,家電被京東蘇寧國美瓜分,汽車市場被汽車之家“掌控”。商超里面有1號店;化妝品,聚美優品異軍突起;酒仙網在酒類里面一枝獨秀。

3.電商2.0“去中心化”模式下阿里能否突破現有收入模式?

  阿里旗下的淘寶、天貓是典型的電商1.0版本,采取的是聚合模式,其核心是聚合海量用戶,再賣流量用戶給商戶的廣告模式。流量用戶越來越稀缺,自然價格越來越貴,所以收入盆滿缽滿的快速增長。不過隨著微信的發展,電商2.0版本“去中心化”模式(把用戶交給賣家商戶自己管理,只收取傭金、支付費率以及其它服務費)正在迅猛發展,大量的淘寶天貓商戶開始湧向微信建立自己的公眾賬號,有更多的個人通過自己的微信賬號銷售商品,微信公眾賬號平臺上今後可能出現單一商戶突破過億的商戶。

  但是去中心化模式阿里卻屢屢失敗——從2012年12月的微淘到來往,現在正重點推O2O,並把去中心化平臺的重點放在了支付寶上面。阿里現有的收入模式能否維持下去還存在疑問。

(原創不易,好文難求,若需轉載,盡請註明出處,歡迎轉發!)

財說往期個股深度剖析文章:
財說個股深度剖析——汽車之家月漲幅超60%的背後邏輯
http://xueqiu.com/9041141730/31101547
財說君個股深度剖析——聚美優品
http://xueqiu.com/9041141730/30675091
財說君個股深度剖析——美國版的“大眾點評”Yelp
http://xueqiu.com/9041141730/30674917
財說君個股深度剖析——搜房網,Sou Fun So Good
http://xueqiu.com/9041141730/30792627
財說君個股深度剖析——單月暴漲63%的康迪車業
http://xueqiu.com/9041141730/30672931
財說君個股深度剖析——天鴿互動(既從優又從良的言情勵誌劇)
http://xueqiu.com/9041141730/30672764
財說君個股深度剖析——博納的春天不是胡生一夢
http://xueqiu.com/9041141730/30630671


PermaLink: https://articles.zkiz.com/?id=110001

【深度】習近平智囊——劉鶴改革藍圖全解析

來源: http://www.gelonghui.com/forum.php?mod=viewthread&tid=2260

本帖最後由 晗晨 於 2014-9-10 17:41 編輯

【深度】習近平智囊——劉鶴改革藍圖全解析

作者:孫海琳 朱曉明(宏源證券)



2013年,習近平主席接見外賓時這樣介紹身邊一位助手:這是劉鶴,他對我非常重要。


劉鶴何許人也?


劉鶴,1952年出生。60年代就讀於北京101中學,期間結識習近平。1969-1970年在吉林插隊。1970-1973年參加了中國王牌38軍。1978年考入中國人民大學工業經濟系,先後獲得獲學士、管理碩士學位。1978-1987年,在中國人民大學學習、任教。1987-1988年,在國務院發展研究中心做研究工作;1992-1993年,在美國Seton Hall大學工商管理學院畢業;1994-1995年,在美國哈佛大學肯尼迪學院獲MPA學位。2001年開始先後擔任國務院信息化工作辦公室副主任和國家信息中心常務副主任。2003年起先後擔任中財辦副主任和國務院發展研究中心黨組書記。2012年起擔任十八屆中央委員,2013年3月起,任中財辦主任、國家發改委副主任。


習主席喜歡講“創新”,這是劉鶴所推崇的熊彼特理論最重要觀點;“頂層設計”這個名詞最早來自信息產業,是時任國務院信息化工作辦公室副主任的劉鶴將其引入了“十二五”規劃綱要,“頂層設計”代表著改革已開始突破“摸著石頭過河”的舊模式……


在國家計委工作期間,劉鶴主持制定了11個國家產業政策,其中5個由國務院正式對外頒布。他參與了“八五”、“九五”和“十五”計劃,還參與“十二五”規劃編制,同時還是十六屆三中、五中、六中全會和十七大、十七屆四中、五中全會文件重要執筆人,當然,還是十八屆三中全會決定的重要執筆人。


隨著“黨對經濟的領導”逐漸加強,我們更需關註黨口智囊團對經濟政策的影響。作為中財辦主任、發改委副主任,劉鶴曾參與多項國家改革方略設計,被外界認為是中國經濟政策的核心智囊。鑒於其身份的敏感性,近年來劉鶴在各個場合很少表態發言,多是仔細傾聽不同的觀點,但一個人的理念或許不會輕易改變,我們整理了劉鶴自上世紀90年代開始的論文、演講和訪談,摘錄其思想要點,提醒投資者高度關註。


每個人的性格都可能是多面的,在講究中庸和辯證法的中國尤其如此,但為了讀者有個較清晰的認知,我們將劉鶴的理念做如下概括:


劉鶴是一個改革派,自90年代以來一直敦促執行市場化改革,在經濟理念上更偏向熊彼特,強調創新和企業家精神,強調對產權和投資的保護,關註新經濟、信息產業和現代服務業;


但同時,劉鶴也是一個實用主義者,近年來其思想越來越開放包容,他認為市場是使經濟有效運轉的重要機制,但他並不是這種機制的盲目信奉者,他深諳中國國情,懂得改革需要內外合力倒逼,高度重視轉型過程中可能引發的就業和社會問題,註重制度設計和安排,務實推動漸進式改革。


他是典型的市場派,重視企業家精神,註重價格機制在資源配置中的基礎作用;他也是堅定的改革者,認為中國的改革模式是利益倒逼的漸進式改革;對於城市化,他認為是產業結構調整和經濟增長的驅動力量,強調城市化、國際化和產業結構的高度化是經濟發展的趨勢選擇,強調推動信息化發展,註重人力資本積累,提倡通過提高增長質量和擴大就業增加中等收入者比重。


應對金融危機:應該樹立底線思維,做好長期準備,強調外部危機通過出口和資訊渠道對中國經濟兩大循環的沖擊。反對拉美式的民粹主義做法,重視財政紀律,註重將短期的政策和長期轉變發展方式的目標怎樣通過改革的舉措和制度性的安排更緊密地結合起來。


對轉變經濟發展方式的認識:由重視經濟增長轉向重視經濟發展,由更多強調改進供給效率轉向轉變總需求結構、轉變供給結構和轉變要素投入。劉鶴註意區分過去強調的轉變經濟增長方式和十七大後提出的轉變經濟發展方式。劉鶴指出轉變增長方式就是提高效率,這涉及羅默(Paul Romer)的新增長理論,轉變經濟增長方式就是要提高全要素生產率和增長的知識含量,轉變經濟增長方式更多是改進供給效率。而十七大提出轉變經濟發展方式,主要包括三個內涵,第一要轉變總需求結構,要從出口、投資拉動經濟增長,轉向消費、出口、投資協調拉動增長。第二是轉變供給結構,從依靠第二產業拉動增長,轉向第一、第二、第三產業協同帶動,特別是服務業要發揮更大的作用。第三,就是轉變要素投入,從數量擴張轉向依靠知識、科技、管理等全面提升。加快轉變經濟發展方式,不僅是經濟層面,如果消費不擴大,民生不改善,社會建設不跟進,整個轉變經濟發展方式也不能落實。同時,想轉變經濟發展方式,不改革是不可能的。


對改革的認識:從90年代起就敦促執行市場化改革,但也認識到改革的客觀困難,認為外部壓力和內部動力相統一是事物成功的關鍵,如果沒有壓力,中國的事情認識再好也做不成,內部本身的動力常常需要外部壓力來激活。因此,對改革既認識到需要倒逼,同時又認識到只能務實的漸進式改革,強調改革的頂層設計,強調經濟、社會、政治體制改革穩步協調推進。


支持發展的方向?創新(熊彼特式創新),新經濟,信息產業,現代服務業(與現代技術相結合的服務業,可能就包括B2B,也包括B2C,既包括生產型的服務業,也包括消費型的服務業。)


有兩點需要提請讀者註意:其一,我們相信劉鶴會繼續對中國經濟政策的制定、經濟改革的推進發揮重要作用,但黨終究是走集體決策程序,不應過分誇大單個人的作用,並且,劉鶴的影響可能僅限於財經層面,一些涉及到政治、法制、國家治理等其它層面的制度改革如國企改革等可能已超出劉鶴的影響範圍;其二,盡管我們力求原汁原味的總結展示劉鶴的觀點,受時間精力和能力所限,我們對劉鶴的解讀可能會不夠深入、客觀和全面,我們在每節前面均註明了所參考的資料,方便讀者按圖索驥直接品讀原文。


正文:


一、應對金融危機:倒逼改革,擴內需調結構,保持貿易開放和匯率穩定。


首先我們關註的是經濟遭遇危機時劉鶴的態度是什麽:


金融危機爆發後,劉鶴曾在多個場合就此表態,指出要重視外部經濟變化對國內的影響,但同時認為外部經濟環境的影響不至於讓中國內部經濟政策做出巨大調整。


劉鶴2008年在《中國金融》發文指出,當前中國需要高度關註四個問題:第一個問題,由於美國經濟發生了很大的變化,其他的經濟體,包括亞洲的經濟體真正可以做到獨善其身嗎?第二個需要註意的問題就是我們該怎樣定義目前全球出現的通脹,如何認識中國通脹的問題,一個國家能夠單獨應對全球性的通脹嗎?第三個問題,我們總是說結構調整,希望中國降低儲蓄率,提高消費率,但在結構轉換的過程中,有可能出現新的失業的問題。我們的金融制度以及其他的制度究竟該怎樣安排?第四個問題,目前雖然全球金融市場面對暫時的流動性不足的問題,但是終究我們將面臨一次全球流動性的大量過剩,各個國家究竟該怎樣應對。


在財經2008年年會上劉鶴表示,由於中國市場和國際的同步性在逐步提高,中國的宏觀經濟政策應該對國際經濟的變化做出反應,但他也認為,從總的格局來說,外部經濟環境的影響不至於讓中國內部經濟政策做出巨大調整。


(一)國際金融危機影響的傳導渠道


劉鶴在談及國際金融危機沖擊時講到,國際金融危機是通過股市的本能、中國經濟敏感部位的收縮傳導到整體經濟的。造成沿海經濟減速更直接的原因似乎有兩個,一是中國經濟增長方式一直存在不可持續性的長期結構性原因,特別是原油價格沖頂使高度依賴進口石油的沿海經濟體的承受力到了極限。二是中國宏觀調控政策(勞動合同法實施,人民幣升值,貨幣政策收緊)碰頭減速了經濟增長步伐。


國際金融危機對中國的影響主要是通過兩個渠道傳導的。一是國際貿易渠道,近20 年中國經濟的繁榮和衰退都是從海運港口開始的;第二個渠道是資訊渠道,然後是信心崩潰,國際虛擬經濟危機很快傳導到實體經濟,美國的金融危機也很快席卷發達國家,並向全球擴散。出口和資訊兩個渠道擴散著國際金融危機對中國實體經濟和虛擬經濟的影響,使經濟長期賴以增長的兩個循環都受到很大阻礙。第一個循環是高儲蓄—高投資—高出口順差到收益分配和國內就業及消費之間形成的循環,另一個循環是住房需求拉動的房地產開發產業鏈條和以地租分配為主要內容的地方政府財政收入及地方政府公共支出的循環。在兩個循環中,前者影響後者,因為住房終端需求受前者影響更大。兩個循環受阻,使經濟增長下滑、國內財政收入和企業利潤下降、失業率上升,這反過來又使高度依賴股市的中等收入者們的財富性收入受到影響,從而引起消費增長速度趨平。中國經濟兩個基本循環圈受阻的情況表明,這場國際金融危機對中國的沖擊,本質上是對中國過度外向的經濟增長方式的全面沖擊,最嚴重的問題是失業,特別是近2000 萬在勞動密集型出口產業就業的農民工的失業。(資料:《國際金融危機與中國政策應對》,2009年)


(二)應對金融危機的政策:倒逼改革,擴內需調結構,保持貿易開放和匯率穩定。


1.中國:“三大政策思考”,長期判斷十分重要,重視需求與儲蓄的調整,按照價值導向和問題導向深化改革


1)“三大政策思考”:


首先,樹立底線思維方法,對危機可能出現的最壞場景做出預案。


目前有兩個場景必須預防:一是危機升溫而產生的巨大外部震蕩;二是危機迫使一些國家轉嫁災難而走向變換形態的戰爭。雖然這兩個場景在近期出現都是小概率事件,但必須防患於未然。


其次,把握我國戰略機遇期內涵的重大變化,謀求中國利益和全球利益的最大交集。


最後,集中力量辦好自己的事,抓好重大課題的務實超前研究。


2)利用外部危機倒逼改革,擴內需,調結構,保持開放貿易環境和穩定匯率。


對於金融危機的對策和態度,劉鶴認為,這場金融危機積累的破壞性能量很大,其發展態勢仍未見底,因此要做好最壞和延續時間較長的思想準備,力爭最好的結果。與此同時,認為短期亂局中的長期判斷十分重要。市場在資源配置中的基礎性作用沒有變化;金融在現代經濟中的核心地位沒有變化,美元在國際貨幣體系中的重要地位沒有變化;中國作為一個發展中國家處於社會主義初級階段的基本國情沒有變化;全球化進程雖然曲折,但其深入發展的趨勢不可逆。要充分利用危機形成的倒逼機制,在擴大內需的同時,加快結構性調整和改革。維持開放的貿易環境和相對穩定的大國匯率,繼續擴大進出口,提高制造業國際競爭力。著手制定和實施鋼鐵、汽車、紡織和裝備制造產業的調整振興規劃,既著眼於解決企業當前存在的困難,又致力於產業的長遠發展,通過提高產業集中度和資源配置效率,推進企業兼並重組,淘汰落後產能,發展具有國際競爭力的生產力。擴大內需是應對國際金融危機的根本舉措,增加投資和刺激消費結合起來,把克服當前困難和促進長遠發展結合起來,把拉動經濟增長和改善民生結合起來,對於應對危機將逐步起到關鍵性作用。


3)重視需求與儲蓄的調整,按照價值導向和問題導向深化改革


《沒有畫上句號的增長奇跡》(2011)中,國際市場狹小、初級產品價格上升、國內成本優勢變化、資源環境壓力加大,這些新的長期趨勢說明,傳統的粗放增長方式已經難以為繼,要求中國在全球經濟中準確界定未來的動態比較優勢,更重視熊彼特增長模式和羅默增長模式的研究,充分發揮知識和人力資本作用,創造條件在國際分工體系中扮演新的合適角色。我的基本看法是,在未來我們要做好兩件大事:(1)中國要加快調整儲蓄和消費的關系,逐步成為內生性的需求大國,為全球提供巨大市場。(2)要促進產業結構升級,加快技術進步和提高投資效率,提升服務業的比重,使產業結構和資源可獲得能力相匹配。在新的環境下,中國要反思趕超型的工業化路徑,努力走出一條主要依靠國內市場需求拉動、積累人力資本和形成創新能力的路徑,同時用和平方式與資源供給國家形成互惠互利的戰略分工。


2012年《中國發展成功的原因及未來發展的趨勢》中提到,在工業化、城市化和國際化繼續發展的過程中,市場化進程將繼續加快。未來的改革應當按照價值導向和問題導向相結合的原則進行深化。所謂價值導向,就是堅持社會主義市場經濟的基本價值觀念,堅持產權保護,堅持鼓勵競爭,堅持公平和效率的統一,堅持全體人民共同富裕。所謂問題導向,就是要有針對性地和有先後順序地解決一些突出的體制矛盾和問題,特別是財稅、價格、金融體制中存在的突出問題。在改革經濟體制的同時,也必須加快社會管理體制的改革,努力創新社會治理方式;穩步推進政治體制改革,有序擴大公民政治參與,加快轉變政府職能,從而使經濟轉型順利推進。


2.拉美教訓:克服危機應避免民粹主義;阿根廷、智利的模式可以學習


在對兩次全球大危機的比較研究中,劉鶴指出,危機爆發後,決策者總是面臨民粹主義、民族主義和經濟問題政治意識形態化的三大挑戰,市場力量不斷挑戰令人難以信服的政府政策,這使得危機形勢更為糟糕。


同時,劉鶴認為阿根廷和智利經濟發展出現好轉的原因主要在於:


第一,放棄貨幣局制度,建立和完善有管理的浮動匯率形成機制,使匯率反映市場供求的實際變化;


第二,嚴肅財政紀律,力爭使財政經常項目的盈余占國內生產總值的比重達到1.3%的水平,政府擴大財政赤字的要求將受到各方面制度的有力制約;


第三,進一步強化對產權和投資的保護,鼓勵企業家的投資和創新。


(三)需要重視的問題


在《國際金融危機與中國政策應對》(2009)中,劉鶴認為,金融危機有兩個問題需要引起重視。第一,雖然政府出臺了一系列政策,但是恢複市場的信心尚需時間;第二,短期的政策和長期轉變發展方式的目標怎樣通過改革的舉措和制度性的安排更緊密地結合起來,國民收入分配格局怎樣調整,國家福利制度怎樣安排,城市化進程怎樣推進,中等收入者階層怎樣擴大,產權和勞動者的權益怎樣得到保護,金融制度怎樣進行創新等一系列重大制度性設計。需要註意的三個同時存在的現象:一是銀行從惜貸到超量放貸現象,擴張的信貸註入大企業和政府性大項目,中小企業融資難的局面尚未緩解;二是財政惜稅現象。由於稅收急劇減少,支出的壓力全面加大,政府赤字的規模占GDP 的比重也有所提高。面對各方面要求減稅的壓力,財政和稅務部門出現了明顯的惜稅心態。在房地產界,普遍的呼籲是售房抵扣個人所得稅將有可能挽救房地產市場。在汽車和股市上,也有抵扣的強烈要求,對這些財稅部門采取了比較慎重的態度。三是消費者的“惜現”現象有一定顯現,特別是對耐用消費品的消費支出明顯減少。在出現這三種行為的同時,社會各界特別是投資界還出現了“持幣待政”現象。由於諸多政策快速出臺,人們都在等待下一個政策,因此推遲了投資決策的時間。


劉鶴還提示宏觀經濟可能出現的波動,滯脹並存的局面很可能出現在經濟剛出現複蘇的拐點,在全球網絡交易和大宗商品金融化的時代,從初級產品通縮到價格飛漲可能僅在瞬間。這場金融危機存在出現一波三折的潛在風險,一旦如此,金融危機經歷的時間會比想象的還要長久,對此亦高度警覺和防範。


二、市場派:重視價格機制的資源配置作用、重視創新和企業家精神


劉鶴是個典型的市場派的學者,在其早期的觀點中,已經表露的非常明顯,例如,1998年《中國經濟持續快速增長的動力源何在》一文中指出,價格機制對資源配置已經起到了基礎性作用。在強調市場經濟的同時,他還多次提及企業家精神,重視熊彼特意義上的創新。


(一)推進市場經濟改革


劉鶴認為中國經濟崛起應歸功於充分汲取“文革”教訓,堅持推進市場經濟的改革,堅持推行對外開放,正確發揮政府應有作用、堅持中國特色的改革路徑。“有些學者根據中國應對金融危機的做法,把中國經濟成功歸納為國家壟斷資本主義模式的成功,我個人認為,這種看法可能不太符合實際,也容易產生誤導。”


在談到網絡經濟、信息產業發展時,劉鶴提到,“真正的驅動力量是私人企業家和市場機制”。“雖然我們在改革初期對計劃和市場的關系進行了廣泛的辯論,但實際上改革的成功試點恰恰遵循了市場經濟最基本的規律。這在中國農村家庭聯產承包責任制和國有企業改革中得到了充分的體現。這主要包括界定和保護相對的產權、承認和激勵人的物質利益動機、由市場主體根據價格信號決定生產什麽和生產多少。在越來越多的產業推動公平競爭,實現所有制結構的多元化。”


(二)創新和企業家精神


在強調市場經濟的同時,他還多次提及企業家精神,曾在2000年的在中國資本市場發育十周年上海會議的講演中提到,風險投資家具有識別功能、融資功能,同時能夠構造股權結構和進行好的制度安排,把關聯的戰略合作者有機地組織起來,以實現利益共享、共做貢獻、規避風險,防止出現公司治理結構經常出現的CEO道德風險和CEO的認知風險。“從某種意義上來說,他們就是大經濟學家熊彼特含義上的企業家”。劉鶴在《關於改革頂層設計總體規劃和重點內容》中指出,“中國正發生著巨大的結構性市場需求變化,只有企業家才能發現和捕捉真正的市場機會,通過產學研一體化的創新機制使技術成果產業化”(註:科研體制改革的方向)。


劉鶴在2006年時曾指出,隨著中國經濟增長,經濟規模擴大,人們明顯感覺到來自資源、環境、人口、生態等各個方面的壓力,特別是土地、淡水、石油資源的緊缺越來越成為發展的制約。在這個背景下,要求全面提高企業的自主創新能力,特別是技術創新和制度創新,通過這些創新使生產活動和資源條件更好地適應。


劉鶴認為,目前中國需要完善的是鼓勵企業家進行生產型創新,而不是尋租型創新的制度環境。國家需要通過制定有效的公共政策以保護知識產權,這樣才能使研發的活動得到激勵。在研發初期,國家公共政策要發揮應有的作用,以降低企業的研發成本和風險。


(三)政府與市場的關系


在看待政府與市場的關系上,劉鶴認為“政府和市場的關系是互補的。在經濟發展的不同水平和商業周期的不同階段,兩者的互補形勢有很大的區別。”“至於應該由市場機制來調節的事情,就不應該再由政府下硬性的指標。”“我個人認為不應該把計劃與市場對立起來,不應該把政府行為和市場機制對立起來,兩者在現代經濟中都是必不可少的。”“市場主體的自發性沖動和政府對改革自覺性引導相結合,是以往改革成功的關鍵因素。”


第一,識別功能。他們能夠敏感地發現新技術的潛在價值,準確嗅覺市場機會所在,把技術信號轉化為經濟信號。


第二,融資功能。對於風險投資人來說,重要性並不在於提供資金,而在於進行風險融資。


第三,構造股權結構和進行好的制度安排,把關聯的戰略合作者有機地組織起來,以實現利益共享、共做貢獻、規避風險,防止出現公司治理結構經常出現的CEO道德風險和CEO的認知風險。


對於風險投資,劉鶴有自己獨特的見解:首先,風險投資無風險。因為風險投資家在投資以前,已經對市場風險、技術的實現以及股東的合作進行了充分論證,在他真正進行投資時,風險已經很小,這個領域需要知曉市場;其次,具有組織能力和專業人才的人,這些人就是風險投資家,從某種意義上來說,他們就是大經濟學家熊彼特含義上的企業家;第三,重要的問題不在於機構是誰、有多大名聲,而在於誰在做。因此,在這個領域,好的名聲是永遠找不開的鈔票,壞的信用是永遠掙不脫的枷鎖。


三、改革:利益倒逼的漸進式改革


劉鶴是個堅定務實的改革者,兼具改革派的突破思維和實用主義者的務實圓融。


關於改革問題,劉鶴曾直言“中國的改革從來都是由現實發展問題提出的,歷次改革都有非常鮮明的問題導向性質。”對中國歷年改革的認知上,相比原來的“摸著石頭過河”的模式,劉鶴主張統籌協調多方面改革,實行“改革總體規劃”和“頂層設計”,進行“漸進式改革”。


劉鶴強調,經濟體制改革推動著社會管理體制改革,經濟社會結構所發生的深刻變化又對上層建築特別是政府職能轉變和政治參與方式的變革提出迫切要求。國際社會稱之為“中國的漸進改革模式”實際上是一個“從局部到全局、從微觀到宏觀、從農村到城市、從經濟到政治”的“利益倒逼改革路徑”。市場主體的自發性沖動和政府對改革自覺性引導相結合,是以往改革成功的關鍵因素。


劉鶴所主筆的中國“十二五”規劃《建議》指出,中國改革處於攻堅階段,不加快改革就無法實現可持續發展,在改革內容上則突出強調了兩點:第一,改革的路徑要進行總體規劃和頂層設計;第二,要圍繞轉變發展方式的難題在重點領域和關鍵環節取得突破性進展。


劉鶴認為,從經濟總需求結構調整的角度看,轉變經濟發展方式就是要增強消費需求對經濟增長的拉動作用,提高投資效率,減少凈出口;從社會結構轉型的角度看,轉變經濟發展方式就是要提高城市人口比重,提高中等收入者比例和人力資本質量,使中國經濟社會發展轉向更多依靠內需驅動、創新驅動軌道。《建議》從完善基本經濟制度(特別是改革壟斷行業和發展非公經濟)、轉變政府職能(特別是建立法治政府和服務型政府)、深化財稅改革(特別是建立事權與財權相統一的財政體制和推進資源稅、增值稅擴大範圍,所得稅等改革)、深化金融改革(特別是發展中小金融、資本市場深化、逆周期的宏觀審慎監管框架、匯率改革)、健全市場體系、加快要素價格改革(特別是保護知識產權、建立信用體制和煤、電、油、氣、水等價格改革)以及加快社會領域改革(社保、教育、醫療、住房等)等幾方面提出了明確的改革任務,同時提出穩步推進政治體制改革(特別是增加透明度、擴大公共參與和維護法治權威等)的要求。


對於中國“十二五”《建議》中提出的頂層設計和轉變經濟發展方式,他圍繞轉變經濟發展方式提出了的幾個重點任務:


(1)圍繞擴大就業和完善創業環境所要推動的改革(民營經濟、產業結構調整相關)。以立法形式放寬市場準入,完善發展環境,使其與國有經濟享受同等的公平待遇。要建立正式的融資渠道,加快中小商業銀行的發展,特別是采用股份制方式對農村信用社進行全面改造,使之成為縣域商業貸款的主體,發揮其配置儲蓄資源的重要作用。要繼續深化資本市場特別是創業板風險投資市場的改革,使小型企業的創新行為獲得金融資源支持。要加大政府在財政、稅收方面的支持力度,完善市場競爭環境,加強權益保護,加快信用評價機構的發展和社會誠信體系建設,創造有利於小企業發展的政策環境。與此相對應,要清醒認識到深化國企改革的重要性,準確界定國有企業在整個國民經濟中應當發揮的作用,進一步鼓勵競爭,反對壟斷,使不同規模企業和不同所有制企業平等獲得發展機會。


(2)圍繞城市化和人口轉移所推進的改革(基建、保障房、社會保障體系)。明確政府與市場及不同層級政府之間的分工。中央政府將更註重基本政策和制度建設,地方政府更多承擔廉租房建設和公租房建設的責任。要努力滿足轉移的農村富余勞動力和中低收入者的居住需求,但不盲目追求提高產權房比重。第二,規範土地使用、住房消費信貸條件,引導形成滿足多元化需求的商品房供給體系。第三,開展試點,在建立個人住房信息系統、征收對象和標準、稅收歸屬和使用等方面積累經驗,研究開征房地產稅,以此減少地方政府對“土地財政”的依賴並獲得擴大公共服務的稅源。第四,控制貨幣供應總量,引導社會預期,嚴格管理投機需求,避免資產價格大幅波動。


(3)圍繞加快服務業發展、提升制造業水平和發展戰略性新興產業而推進的改革(產業結構調整)。對發展戰略性新興產業強調了兩點:第一,堅持市場需求的導向作用,強化企業技術創新的主體地位。第二,保護知識產權。(附錄二:《關於改革的總體規劃、頂層設計和重點內容》,2011年)


在看待中國經濟發展的動力上,1998年其提出“三個趨勢即城市化、市場化和國際化所創造的客觀需求和供給潛力,無疑是中國經濟長期高速增長的基本動力源。”劉鶴認為,城市化、市場化和國際化這三大趨勢,為中國經濟實現高速增長提供機會,積聚著潛能。城市化提供著高速增長的空間,市場化使填補這一空間的效率更高,而國際化則使上述兩個過程按現代標準運作。機會和潛能主要在於:第一,需求體系的結構性變動,包括基礎結構充實的巨大需求,新支柱產業特別是住宅業發展帶動的需求;專業化操作和國際化分工而引起的結構調整需求;新興產業崛起特別是金融、保險及其它市場服務業發展引起的需求及隨人均收入正常提高而產生的其它結構性需求變化;第二,供給體系的新組合,由於產權受到保護,個人財產要保值增值,億萬人將成為直接投資者。市場取向的改革,則使居民進一步提高儲蓄傾向,使投資獲得充實的供給來源;第三,新的激勵機制的形成,促成了資源要素的更有效率的配置,從而為經濟增長註入了活力和提供了強有力的支持。(《中國經濟持續快速增長的動力源何在》,1998年)


2008年經濟危機發生後,世界經濟格局發生巨大變化。2010年劉鶴在中國經濟年會上指出,擴大內需是中國經濟發展長期的支點,應穩步推進城市化。


四、城市化:產業結構調整、經濟增長的驅動力量


在關於城市化問題上,劉鶴在早期的產業結構調整中就提及了城市化: 1993年,在《城市化、國際化與產業結構的高度化--未來20年中國經濟發展基調的判斷》一文中指出,“中國經濟發展和產業結構演變將沿著城市化、國際化和產業結構高度化三個主流趨勢前進。”中國經濟當時要求的城市化是,從成本費用及其社會兩個分析角度出發,有計劃地塑造大中小並舉,以中小為主的城市群體網絡,引導形成專業化分工的城市功能系統,使大量農業剩余勞動力及其派生的非農業產業群,由農村逐步轉移到城市。


在後來的公開言論中也不斷提及城市化的重要性:1998年他在關於中國經濟持續發展的動力源中指出,城市化趨勢是中國社會經濟結構變化最主要的物理特征,是解決中國農民、農業和農村問題的根本出路,這是由比較利益驅動的大趨勢,是不可逆轉的。


同時他也認為,今後20年城市化的一個重要特點,很可能是小城市為吸納更多的人口進城而實現城市規模經濟的調整和競爭過程,10萬-20萬人口的上千個小城市會逐步形成氣候,與大中城市形成互補的城市網絡,這必然將派生出來巨額的投資需求並相應對三次產業構成發生影響。關於城市化發展出路這一觀點,今天仍然是這樣的思路。


2000年在《中國經濟增長和結構調整》中曾指出,經濟結構的第二個明顯的矛盾,是城鄉人口的比例失調和極低的城市化率。今後世界經濟的希望在於美國的高技術和中國的城市化。


一直到現在,劉鶴仍在強調城市化的重要性。“中國宏觀經濟政策面臨的現實課題,是穩定擴大內需、防止資產泡沫和抑制產能過剩。穩步推進城市化則可能獲得解決這三個難題的更大回旋余地。”


“(1)從需求角度,城市化的推進將創造巨大的投資和消費需求。(住房、基建投資;消費品、耐用消費品和教育、醫療等方面的需求)

(2)從供給角度看,城市化所帶來的投資需求將有利於消化過剩的產能(將對產業結構的調整起到重要導向作用,基礎設施、制造業、營銷網及其他服務業的發展將獲得更加明確的生產方向。)

(3)從金融體系的資金狀況來看,為了應對金融危機,2009年投放的大量流動性需要有效消化。”(附錄一:《增長點與關註點》,2010年)


在2012年中國發展高層論壇上指出,城市化趨勢仍將是未來中國經濟發展的主要特征。


而城市化應該選擇什麽樣的模式呢?劉鶴認為,從最宏觀的意義上說,中國只有兩類城市。一類是有能力創造凈需求的城市,一類是增加凈供給的城市。“十二五”時期中國城市化的一個重要政策導向,就是要更多培育有能力創造最終凈需求從而接納農業轉移勞動人口的城市。


長期以來,中國的城市化模式有大城市為主和小城鎮為主的兩派之爭,雙方理由都很充分,爭執不下,在實際政策執行中導致不少困惑,後來幹脆出現了“宜大則大、宜小則小”的折中說法。劉鶴則主張綜合“大城市派”和“小城市派”兩者的長處,把大中小城市網絡化,通過基礎設施一體化實現大中小城市的同城化,為大城市、中等城市、小城市合理分工,避免城市過大或過小的弊端。


發展城市群的政策導向和建設網絡化城市(City Networking)的發展模式可能最適合當前中國的國情。“網絡城市”是通過輕軌、地鐵、其他公共交通和通訊系統,把不同區域內的大城市和中小城鎮整合起來,在合理的運輸半徑內(如中西部地區在“十一五”規劃期間所創造的“一小時經濟圈”和OECD國家提出的網絡城市構想)實現大中小城市的“同城化”,以此實現特大城市的規模效益。在這個模式下,大城市將更多提供市場和就業機會,而周邊處於合理運輸半徑並被納入城市網絡的中小城鎮側重提高產業專業化分工職能,並為農村轉移人口提供住房和教育、醫療等公共產品。(《擴大中等收入者比重不采用殺富濟貧再分配》,2012年)


五、產業結構調整:城市化、國際化和產業結構的高度化


劉鶴認為,城市化、國際化和產業結構的高度化是我國經濟發展進一步實現小康水平並向中等收入國家邁進的內生性需要,也是國家產業政策和長期規劃的聚合點。劉鶴思想中關於產業結構調整主要來源於三個方面:


早期研究方向為產業結構和產業政策的調整,主要集中在三大產業之間的關系。這一觀點主要是其擔任國家計委領導期間形成的。


新經濟的發展,主要是信息產業、知識經濟的興起,對經濟發展的作用日益重大。這一觀點主要是其工作於國家信息化辦公室期間形成的。


借鑒國際經驗調整產業結構,這一觀點主要是其工作於中央財經領導小組期間形成。


(一)國家計委期間:三大產業之間的關系


劉鶴早期的研究主要集中在產業結構調整、產業機構產業政策的制定中。在產業結構調整方式方面其認為“總的方向上,市場機制應在結構調整中發揮主導作用;同時,要加強產業政策及其配套的投融資機制建設”。對於90年代產業機構應該調整的領域,他提到應該擴大出口,逐步放開進口,抑制投機性產業的盲目擴張,對資本密集的幾個支柱產業實行鼓勵發展的政策,繼續充實社會資本,加快基礎產業的發展。


對於未來產業結構調整的大方向,其在《城市化、國際化和產業結構的高度化—未來中國20年經濟基調的判斷》一文中指出應該發展產業結構的高度化。我國產業結構高度化指,利用開放貿易和投資帶來的新技術,盡可能利用國際合作的形式在關鍵幾個產業特別是設備制造業加以吸納轉換,盡早形成開發和生產實力,全面提高我國產業結構的素質。


與上述含義相呼應,我國產業結構的高度化還包括這樣一些宏觀側面:初級產業占國民經濟總份額的進一步下降,制造業中支柱產業的擴張及服務業的快速發展。同時應該看到,高度化現象與城市化現象存有沖突。在我國, 兩個不同歷史階段的任務被推入同一日程之內。在較高收入和成本水平上推進城市化(特別是土地成本和基礎設施費用) 需要巨額投入, 而支柱產業高度化的,初期同樣投資巨大。兩者相互競爭資源現象必將加重, 這最終會反映在國際收支的壓力和我國經濟國際化的要求上。以城市化為主要線索和依據, 在逐步推進城市化的過程中, 引導經濟結構和產業結構的國際化, 是比較正確的選擇。(《城市化、國際化和產業結構的高度化—未來中國20年經濟基調的判斷》)


對於新趨勢下未來二十年產業政策的主要類型和形式應有如下幾個方面:


(1)指導性的產業政策綱領。主要內容是在準確分析和把握經濟發展、體制等環境、背景的基礎上, 勾畫需求結構、產業結構、產業組織、產業技術、產業布局變動的長期性大趨勢: 展示主要產業的市場、技術、產業規模的發展前景; 政府對各個產業發展規模、速度的基本態度; 產業政策的基礎框架和政策方向。


(2)特定產業和領域的基本法,而產業基本法主要適用於具有這樣幾個特點的產業: 公共性較強、具有自然壟斷性質、屬於國民經濟命脈的產業以及國民經濟的基礎性產業。


(3)特定產業振興條例。主要是針對在一定時期, 從國民經濟發展的整體需要, 或從對外貿易以及從社會目標考慮需要對特定產業進行幹預和扶植的產業。此類產業政策的表現形式似應以國務院法規的形式公布, 其範圍要盡可能縮小, 期限也要明確。


(4)產業優先序列。這是指在一定期限內, 政府對各個產業、產品發展優先順序的一種意圖。


(5)規模經濟和技術標準。這是指政府按照各個產業的經濟技術規律, 在規模經濟顯著的產業和產品領域, 制定最低規模經濟標準, 規定企業進入的起點規模, 從而跨過小規模—競爭—兼並和合並——大規模的漫長過程, 促進規模經濟的實現, 降低成本。


(6)特定地域的產業政策。這是對特定地域的產業發展和經濟發展進行統籌考慮, 並由中央政府采取措施進行扶植、鼓勵以及限制的產業布局政策, 是根據綱領性產業政策中產業布局政策的原則, 把產業發展和地域經濟發展結合起來的具體政策。(《體制轉變中的中國經濟發展及其政策變化走向》、《城市化、國際化和產業結構的高度化—未來中國20年經濟基調的判斷》)


這一時期主要觀點是,產業結構調整的方向和趨勢必然是第三產業比重上升,第一、二產業比重下降,產業結構的調整應發揮市場機制。


(二)國家信息化辦公室期間:關註新產業發展


產業結構調整的趨勢是提高第三產業的比重,逐步降低一、二產業的比重,而在新經濟時代,信息產業歸屬於第三產業,是知識經濟的主體,其發展將直接驅動經濟增長,同時實現產業結構的調整。


劉鶴曾指出,“中國信息產業的發展可能要走出第三條道路來,即通過啟動信息服務業來拉動國內的信息產業結構調整,並不斷提高供給體系的技術水平。”


如何實現這一點?


(1)在各地建立的信息港和政府網絡平臺上,加強信息資源的開展和公開化,使其滿足信息社會需求;

(2)擴大的信息用戶與網絡範圍相結合,推進電子商務,從而建立信息資源開發走上良性循環的商業模式;

(3)拉動國內以漢化為基礎的軟件業的發展,達到規模後形成自主的標準;

(4)以標準為啟動器,重組國內硬件產業。(《正面迎接知識經濟的挑戰》,2000年)


這個時期的關註點主要在信息產業上,認為信息產業是經濟增長的新出路。並且,信息產業的發展能夠繼續帶動產業結構的調整,同時也能夠為城市化的進一步發展打下基礎。


(三)中央財經領導小組期間:國際視野


這個時期的觀點更多的受到了西方國家的經驗影響,在2006年的《拉美經濟的主要挑戰和經驗教訓》其指出,拉美經濟發展的經驗之一是努力改善產業結構,克服“荷蘭病”。由於拉美國家產業構成比較單一,初級產品出口是其經濟增長的主要支柱。初級產品出口的盈利取決於國際貿易條件,一旦國際貿易條件改善,國內經濟會出現短暫繁榮,而貿易條件一旦惡化,經濟立即進入衰退。無論是經濟的繁榮與衰退,所能吸納和排斥的都是一部分勞動力,而大量勞動力被排斥在產業結構之外。為了克服這種產業結構單一的“荷蘭病”現象,這些國家開始重視加快服務業的發展,促進技術含量高、又具有勞動密集型性質的中小企業發展,這項政策成為拉美國家解決貧困問題的另一個關鍵。


拉美國家這種經驗實際上是其早期的產業結構調整政策的主張,再加之全球視野,將國際貿易也容納到產業結構調整中。中國的產業調整不僅僅要關註國內三大產業的結構調整,而且要從全球市場、國際貿易的角度看待產業結構調整。


六、信息產業:經濟增長點所在


關於信息產業發展方面,其主要觀點集中在擔任國家信息工作辦公室主任期間,多次強調信息產業發展的重要性,服務業重點發展的是新經濟(信息產業)。


劉鶴認為信息產業可能是未來中國經濟增長點所在,針對新經濟的環境特征,劉鶴對比美國發現,中國的情況與美國不同,在市場制度、風險投資機制、知識產權保護、國家創新體制等方面都有極大的差距,中國的企業在國際市場的地位和角色上與美國相比也有較大的落差。因此,這些條件決定了中國不可能完全效仿美國的道路發展新經濟。


中國發展新經濟時,要註意關註幾個點:

(1)中國正在逐步形成一個人口規模將近達到兩億的龐大的中產階級消費者。

(2)龐大的傳統產業的生產能力和地理優勢正逐步地與新技術相結合,外國投資者也向這個領域不斷的流動,這使中國有可能成為亞太地區或者整個世界經濟的新的制造業生產基地。

(3)人才資本技術儲備相對於其它發展中國家來說更為雄厚,人力資本的積累和技術儲備正在與國際化的慣例對接,同時,海外的留學人員也開始回流。

(4)經濟體制轉制的速度開始加快,有利於新經濟發展的體制正逐步形成。


初始條件決定著不同國家的路徑選擇,或者說路徑依賴,中國在接受和發展新經濟的過程中(此處特指互聯網經濟),與發達國家特別是美國存在極不相同的初始條件,決定中國的中國發展新經濟的主要路徑或者特征:一是建立標準方面中國很可能走出新的道路;二是在面向市場方面,中國新經濟發展將不再主要是出口導向,而是與國內經濟結構的調整高度對接,在第十個五年計劃期間,中國經濟增長的主調是結構調整;三是在新經濟與傳統經濟相結合、相互滲透的方面,政府和民間將有廣泛的合作與互動,政府的作用並不僅是計劃經濟的影響,而是長期的文化。(附錄三:《把發展新經濟與改革的目標統一起來----中國發展新經濟的路徑依賴和現實挑戰》,2001年)


實際上將其總結發現其認為推動信息化發展的動力在於:城市化、市場取向的改革、國際化、產業結構加快調整。


在2012年中國發展高層論壇中提到,中國的市場化過程將繼續,未來的改革也將加快,在工業化、城市化、市場化過程當中,我們認為信息滲透、擴散和應用將對中國發展起到十分重要的作用,推動中國加快轉型。劉鶴表示,由於互聯網技術的發展,智能技術的發展,海量數據信息處理能力的提高,很多用傳統手段難以解決的矛盾和問題有可能通過技術壟斷尋找到新的解決方案,但是與此同時我們也必須承認信息化也提出了很多需要認真研究的新課題。(中國發展高層論壇2012年講話)


七、現代服務業:分清政府和市場關系


確實需要真正按照十二五規劃的要求,努力開拓服務業發展,特別是現代服務業發展的新局面。要創造環境自主發展,創新模式引領發展,激勵人才優質發展。


劉鶴在2012年3月的中國經濟50人論壇研討會上發表演講,認為“要深刻認識加快服務業,特別是現代服務業發展的重大戰略意義”。首先,現代服務業是指服務業與現代技術相結合,既包括生產型的服務業,也包括消費型的服務業。第二,社會結構,特別是人口結構正在發生的深刻的變化引起的需要。中等收入者比重不斷提高,是未來我國服務業發展最主要的動力。第三是我們制造業分工深化所創造的巨大的需求。目前我國制造業的規模已經很大,大而全的現象比較嚴重,產業集中度低,專業化分工水平沒有到位。隨著勞動力成本的上升,制造業的集中分工深化成為不可避免的一個大趨勢。


劉鶴指出,在服務業當中又提出傳統服務業和現代服務業的區別。究竟怎麽認識呢?我個人的理解是,服務業如果和現代技術相結合都可以稱之為現代服務業。在現代服務業中,可能就包括B2B,也包括B2C,既包括生產型的服務業,也包括消費型的服務業。總的來看,我們也認為服務業它的範疇屬於實體經濟的範疇。


劉鶴也指出了當前要把握的現代服務業的關鍵問題:


第一,要創造環境,自主發展。要分清政府和市場的關系,政府應該創造比較好的法制環境、競爭環境和市場環境,健全服務業發展要素保障條件,探索有利於服務業發展的金融、稅收、價格制度和統計體系;與此同時,市場應根據需求變化,按照法制要求,遵循市場規律,積極理性的參與競爭。


第二,創新模式引領發展。註重創造性的行為和盈利模式,理解和發展企業和群眾的需要,有針對性的負責任的做好群體化、個性化、階層化的服務,使得滿足需求、提供服務和創造利潤統一起來。


第三,激勵人才優質發展。劉鶴指出,要註重創造一種利益兼容的新機制,激發認得創造力,吸引優秀企業家;同時也要註重提高服務質量,增強誠信意識和精品意識,切實滿足產業結構升級的需要。


八、教育與人力資本:重視人力資本積累和知識經濟


無論是推動信息化產業的發展,還是推動城市化的進程,這兩個議題都離不開同一個要素:人力資本。


劉鶴在2001年的深圳“全球腦庫新經濟研討會”上提到了我國人力資本的局限性:在新經濟發展的過程中,最為重要的生產要素是人力資本。通過人力資本實現創新,是新經濟發展的關鍵因素。中國的人力資本盡管相對豐富,有一個致命的弊端就是由於傳統的教育體制,專業分割得非常厲害。工程師的知識集中在非常狹窄的科技領域,由於這種職業的偏好,使得他們更有興趣做一些體現技術水平高的工程項目,而對主流經濟存在的特點以及對主流經濟進行體制改革的要求似乎不重視,也不理解,這就導致了技術與市場需要兩層皮的現象。在這種特殊的背景下,非常需要產生一批具有親和特征的企業家。這些企業家對市場理解,對技術也理解,把兩者的行為可以對接起來,而企業家必須產生於好的公司治理結構的基礎之上,目前我們的治理結構無論從理論、政策和實踐來說,都處於初級的發展階段。因此,人力資本的局限性和治理結構的不完善,是新經濟發展的另外的一個重要制約。另一方面,中國正發生著巨大的結構性市場需求變化,只有企業家才能發現和捕捉真正的市場機會,通過產學研一體化的創新機制使技術成果產業化。


從國外的經驗看,2006年《拉美經濟的主要挑戰和經驗教訓》中,其提及:貧困人口有增無減,貧困現象被不斷再生產出來是經濟發展的挑戰之一,解決方法之一是狠抓人力資本形成,切實提高公共教育的質量。而在《對歐盟區域發展政策的幾點印象》中,看中歐盟“投資於人,認為人力資本和勞動力市場的完善起決定作用,同期有23%的資金投資於教育、培訓和發揚企業家精神”。


因此,劉鶴指出,在新經濟發展的過程中,最為重要的生產要素是人力資本。通過人力資本實現創新,是新經濟發展的關鍵因素。在城市化進程中,也要註重教育資源的平等,主意農村勞動資源的人力資本的積累。


九、收入分配:非“殺富濟貧”式


對於收入分配問題,劉鶴認為,“在提高增長質量和擴大就業中增加居民收入和擴大中等收入者比重,而不采用極端的再分配方式‘殺富濟貧’,是十二五規劃《建議》在分配問題上重要的政策導向。提高政府用於改善民生的公共服務支出比重,既有利於增長,也有利於公平分配。”劉鶴進一步解釋,經濟增長和收入分配是經濟發展的基本內涵。如果沒有經濟增長,就沒有就業機會,也就沒有收入分配的物質條件,因此談不上發展;反過來說,如果缺乏公平的收入分配制度,出現兩極分化加速現象,將會使經濟增長失去動力,使社會大局失去穩定,因此不可能發展。怎樣處理好這對關系,使中國避免陷入中等國家收入陷阱,是《建議》需要格外審慎處理的問題。


同時,拉美國家以及國際金融危機後的美國、意大利等國的經驗表明,分配政策和社會福利制度設計都必須有經濟可持續的增長來支撐,都不能僅為短期的選舉政治目標服務。(《擴大中等收入者比重不采用殺富濟貧再分配》)。


在這,要做到以下三點:


第一,強調就業。特別強調發展小企業和微型企業來創造就業,創造各種制度環境改善就業條件;

第二,強調政府提供基本公共服務;

第三,強調教育。勞動者能不能增加收入,最終取決於是否具備市場適應能力。(2010,改革必須有頂層設計不能走民粹主義道路,《財經》)


在收入分配改善結果上他認為,在“十二五”時期實現提高“兩個比重”的目標是可能的,沿海和內地、城市和農村存在收入分配差距收縮的客觀條件。海和內地的分配差距在於沿海地區率先納入全球經濟分工體系帶來的紅利,在全球化形勢逆轉後,生產要素已加快向中西部地區轉移,這可能逐步縮小兩者收入差別。


十、思想理論:熊彼特、Romer


在公開的場合發表觀點時,劉鶴很少提到經濟學家,但有兩位例外,那就是熊彼特和Romer,此外,劉鶴也曾咨詢過諾貝爾獎得主斯賓塞(Spence),也提到過馬克思。在談及創新和企業家精神時,劉鶴多次提到熊彼特;在談及經濟發展的動力時,曾經多次引用Romer的關於新經濟增長理論。


金融危機後,全球需求市場相對低迷,去杠桿化的過程還在深化,消費者的支出行為更為審慎,資源環境的約束強化,傳統的商業擴張模式已經難以具有生命力。劉鶴認為現在特別需要提倡創新商業模式,而創新商業模式的關鍵是在理解消費者潛在的需求,理解生產要素和供給條件變化,理解全球經濟支撐新環境的基礎之上,通過創新新的供給方式啟動需求。劉鶴認為,從理論上來看,重視熊彼特理論和薩伊定律,對企業走出低迷的商業環境具有重要的現實意義。中國目前還處於重要戰略機遇期,巨大的國內市場潛能還沒有充分釋放,工業化、城市化、市場化的步伐還在繼續加快,因此,只要真正重視滿足人民群眾的需要,新的商業模式就能獲得巨大的發展動力。另外,也要重視商業界提出的“長尾”理論。過去人們比較重視20%的人的消費,當經濟周期處於不同階段的時候,將“長尾巴”80%的人的潛在需求轉變為現實需求,對於做好企業來說是非常重要的。總之,要符合以人為本,科學發展觀的要求,薄利多銷,探索新的商業模式。在2012年中國經濟年會上,劉鶴再次強調:在這個時刻,可能我們有必要再了解和學習一下熊彼特的創新理論,也具有重要的現實意義。

對轉變經濟發展方式的認識:由重視經濟增長轉向重視經濟發展,由更多強調改進供給效率轉向轉變總需求結構、轉變供給結構和轉變要素投入。劉鶴註意區分過去強調的轉變經濟增長方式和十七大後提出的轉變經濟發展方式。劉鶴指出轉變增長方式就是提高效率,這涉及羅默(Paul Romer)的新增長理論,轉變經濟增長方式就是要提高全要素生產率和增長的知識含量,轉變經濟增長方式更多是改進供給效率。而十七大提出轉變經濟發展方式,主要包括三個內涵,第一要轉變總需求結構,要從出口、投資拉動經濟增長,轉向消費、出口、投資協調拉動增長。第二是轉變供給結構,從依靠第二產業拉動增長,轉向第一、第二、第三產業協同帶動,特別是服務業要發揮更大的作用。第三,就是轉變要素投入,從數量擴張轉向依靠知識、科技、管理等全面提升。加快轉變經濟發展方式,不僅是經濟層面,如果消費不擴大,民生不改善,社會建設不跟進,整個轉變經濟發展方式也不能落實。同時,想轉變經濟發展方式,不改革是不可能的。(本文來自:宏源證券)


PermaLink: https://articles.zkiz.com/?id=111326

今年大戶最關注的賺錢機會 滬港通全解析

2014-09-15  TWM
 
 

 

10月即將上路的滬港通,吸引全球資金前進香港、帶動A股從谷底反彈兩成。

中國政府終於敞開A股大門,朝國際化邁開大步,對個別投資人而言,滬港通可能帶來千載難逢的賺錢機會,然而在中、港兩地強力吸金下,台股是否邊緣化,令人憂心,要讓財富持盈保泰,搞懂滬港通成為一門重要功課。

製作人.謝富旭 撰文.周岐原

研究員.蔡曜蓮

這是你今年一定要認識的三個字!因為這三個字不僅牽動國際上數以兆元計的資金流動,而且不管你願不願意,因為這三個字,你我將被捲入一場澎湃洶湧的全球財富重新分配浪潮。

這三個字叫作「滬港通」。今年四月,中國政府正式批准這個聽起來彷彿某條高速公路即將動工的金融開放政策。然而,如果滬、港兩地真的「通」起來,它的影響,遠勝過在上海(滬)與香港(港)兩地之間真的興建一條十線道的實體高速公路!

你認為太誇張?那麼我們先來看看,到底是什麼原因,能讓港股半年內大漲二○%,登上六年多來最高點?到底是什麼原因,讓走了長達五年大空頭,幾乎水波不興的上海股市,近半年來突然大漲一成,漲幅甚至超越台股,露出由熊轉牛的契機?又到底是什麼原因,讓受到經濟成長放緩影響的人民幣由貶轉升,兌美元匯價創下六個月來新高?

所有問題的共同答案都指向這三個字:滬港通。滬港通從四月迄今,只是被中國官方「批准」的政策,還沒正式實施。預定過完十一長假後,簡單地說,「中國投資人可在自家下單買港股,香港投資人可在自家下單買陸股」的政策,才會正式上線實施。

滬港通造成的效應,會不會成為今年另一個最強的賺錢機會?回答這個問題之前,我們先來看一個故事。一九九○年,正是「台灣錢淹腳目」,加權指數飆上萬點的流金歲月。當時已名列台股「四大天王」的「榮安邱」(本名邱明宏)決定急流勇退,撤出台股,將資金轉往當時指數僅三千多點的香港股市(目前為兩萬五千多點),並重押匯豐銀行。這個決定,不僅讓「榮安邱」躲過了之後的台股大崩盤,更讓自己的財富再上層樓,增長數十倍。

翻版「榮安邱」滬港通再度上演人人都想成為「榮安邱」,但當機會真的降臨,卻鮮少人能像他一樣,具備慧眼及勇氣,緊緊掌握!

事實上,滬港通帶來的致富機會,已經有嗅覺靈敏的投資達人默默布局,在即將到來的這場財富重新分配浪潮中卡好位置。《今周刊》曾經以封面故事報導的「司機大戶」|| 關大戶,就是其中之一。

三年前,關大戶布局在中國生產馬口鐵罐的統一實,後來漲到三十元以上,今年他陸續出清,轉戰中國股市。關大戶認為,上海A股將結束五年空頭邁入多頭,於是買進中國寶安、撫順特鋼及同仁堂。三檔個股中,中國寶安宣布從房地產跨足鋰電池業務,股價自人民幣八.五二元漲到人民幣十三.四六元,漲幅近一倍;撫順特鋼則受惠中國製造航空母艦將使用公司產品消息激勵,今年來股價上漲逾二五○%。

事實上,如同「榮安邱」一樣,在九○年代初期、台股萬點行情正熱時,關大戶曾經賣掉股價三位數的三商銀,轉買每股只有五港幣的匯豐銀行。當時,他退出牛氣沖天,每天都在大漲的台股,轉入冷冷清清,看不出未來在哪裡的港股,此舉曾引來周遭許多訕笑,卻也成功締造倍數獲利。如今,他認為中國股市具有同樣的吸引力。「接下來,真正的機會在A股!」近來忙著廟務的關大戶笑說。

投資經歷長達三十多年的資深投資人劉俊杰則說:「全球主要股市中,就屬中國股市基期最低、最便宜,就長線投資的角度而言,也是最有可能創造數以倍計報酬的市場。但前提是,習李的政經改革能有一定程度的成效!」滬港通不僅是關先生或劉俊杰這種大戶級投資人目前最關注的趨勢,芸芸小資族或許對滬港通一知半解,然而,滬港通帶來的不僅是投資中國股市的方便性,更為廣大中國基金的投資人帶來了解套、甚至是為過去半年來急漲一成的中國基金帶來大賺一倍以上的希望曙光。

其實,搭上滬港通列車,未必得要遠赴香港或上海開設股票帳戶才能辦得到。目前,在台灣總計有四檔中國ETF以及兩檔中國股票型基金可供投資,它們所連結標的均是上海、深圳以及香港三地股市主要指數的成分股。除此之外,經金管會核備公開販售的中國股票型基金則有超過三十幾檔可供選擇。換言之,台灣現有投資滬、港兩地股市已經有相當方便的管道,投資人未必非得長途跋涉赴海外開戶,才能參與滬港通帶來的投資機會。

開放雙向買賣 新金流即將誕生到底滬港通是什麼?一言以蔽之,滬港通就是二○○七年「港股直通車」的「二.○」版本。

當年,港股直通車僅放寬中國投資人買賣H股(中國成立公司、香港掛牌個股)。七年後的滬港通,則進一步准許雙向交易,也就是在香港開戶的投資人,未來可買進上海交易所指定的五六八檔個股,中國的投資機構法人及帳戶餘額超過人民幣五十萬元的散戶,則可買進香港交易所指定的二六六檔股票。

換句話說,滬港通上路之後,騰訊、長江實業、高鑫控股等,在香港上市的知名企業,中國散戶終於有機會「一親芳澤」、成為股東;在上海A股掛牌上市,如貴州茅台、上海汽車等在香港相當罕見的產業,也將是國際投資人經由香港布局的重點標的。

從滬港通的實施規模,也凸顯中國政府的自信心。深入觀察兩岸股、房市的達一廣告董事長徐一鳴說:「這次光開放買進上海證券的總額人民幣三千億元,規模就是QFII(合格境外機構投資者)開放十二年來累積總額的一半。」可見開放力道之大。

交易帳戶數量和成交量的變化,往往是衡量股市人氣最有效指標。今年八月底,A股的交易戶數增加至一三一四萬戶,為一○年來同期最高水準;不僅如此,上海證交所(簡稱上交所)的月成交金額也從今年元月的人民幣一.三六兆元增加至八月的人民幣二.七九兆元,數據雙雙價漲量增,意味著A股離最壞局面正在遠颺之中。

「中國絕大部分資金都被房地產吸進去,因為房市太好,大家都忘記股市往往是第二大的資金倉庫。現在第一大倉庫(房市)遭殃,資金往外跑,第二大倉庫的價值就出現了。」前長城基金總經理張涵分析。

張涵指出,滬港通固然是A股利多因素之一,但市場信心改善,才是推動行情的主要引擎。他分析,投資人原來對中國總體經濟與中國政經改革太過悲觀與疑慮,想不到習李體制反貪力度如此之大,所以一旦情勢比預期來得好,股市自然走強。

政策推動 A股接軌國際市場「對滬港通的預期,是今年以來A股漲勢一個比較小的原因,頂多可視為一個催化劑,A股大漲主要還是中國國內資金流入所致。」瑞銀財富管理亞太區首席投資總監浦永灝表示。他指出,A股上漲另一個重要因素,是亞洲政經局勢相對平靜,尤其對俄羅斯方面的資金沒有限制。由於東歐局勢緊張,部分俄羅斯資金轉進香港,今年第二季,香港金管局統計淨流入資金就有三百億美元之多。

浦永灝對滬港通上路帶來的實際效應,依舊抱持信心。他表示:「滬港通是一項影響深遠的措施,因為它是漸進式,每日有限額,不會一下子暴衝,所以會形成長期影響。」目前市場看滬港通還停留在討論滬港兩地同時掛牌的股票套利空間的多寡,浦永灝預期接下來滬港通之後,A股投資人形同打開新的大門,因為香港不只有H股,還有許多知名外國企業在此掛牌,例如新秀麗(Samsonite)、俄國鋁業(RUSAL)、普拉達(PRADA)等,買進外國股票,是滬港通實現中國資金買賣國外證券的重要意義。

如將眼光放得更長遠,浦永灝反問:「現在滬港已經通了,以後會不會與新加坡股市、甚至美國股市連通呢?這是第三層的想像空間。」換句話說,當中國政府用明確的開放進程表,宣示資本市場與國際接軌的目標,將讓這一輪行情,走得更久更遠。

中國散戶找到資金「出海口」滬港通「未演先轟動」,有其歷史因素。回顧○七年時,當中國官方宣布港股直通車,雖然配套措施全無,但市場情緒已然沸騰,短短四個月之間,恆生指數就暴漲一萬點、以六成漲幅創下三一九五八點的歷史新高。但是幾個月之後,溫家寶親口喊停港股直通車,恆生指數又隨之暴跌。

正因為港股直通車告吹,讓投資人情緒從激昂降至冰點,這次在博鰲論壇上,中國國務院總理李克強再次提出滬港通,市場高度關注,能否如官方預期進度實施,將是大中華股市一大變數。幸好目前看來,上海、香港交易所在八月底的連線測試,至少已完成模擬交易,距離實際開通雙向買賣,又邁進一步。

滬港通備受矚目,另一重意義是,海外投資人只要在香港開戶,就能買進上交所的部分股票,打開外資投資A股大門;相對地,中國散戶也找到資金投資海外市場的「出海口」。

高盛亞洲區執行董事劉勁津指出,目前中國民眾持有的資產當中,A股比重遠遠不如房地產及現金,約只有五%;在上海A股少見的企業,未來將特別受到中國投資人歡迎,滬港通於是將成為投資人分散風險的重要管道。

而且與其他國際股市對比,中國股市價位也顯著偏低。當世界主要股市紛紛創歷史新高,美國、德國股市站上歷史新高,連台股也長期在高檔區間整理,唯獨中國,儘管身為世界第二大經濟體,上證指數卻只有歷史高點的四成不到。

在市場信心最低迷時,中國證監會主席郭樹清也試圖力捧股市,他曾在活動中公開直言:「藍籌股已具備罕見的投資價值!」然而政府首長力挺,救市效果仍不彰,自一○年反彈至三四七八點後,A股一路下滑,跌破一九四九點「建國底」、一九一一點「民國底」,直到去年出現一八四九點「道光底」,今年才正式展開反彈。

從上述種種跡象看來,就價位而言,中國顯然是全球主要國家中,相對低價的股票市場。股市有一句俗諺說,「高價就是最大的利空」,滬港通尚未放行,中國股市的氣氛已明顯改善,這種預期心理若能延續至方案實際開通,勢必成為中國股市築底、展開另一輪多頭行情的新動力。

每次股市多頭,都是在一片死寂中出現,並在半信半疑中成長。中國股市如今從低點起步,在滬港通加持之下,哪些標的最有上漲機會?「稀少性」,將是主導因素。

浦永灝認為,想買進港股的中資,應不會只滿意於買進恆生指數大型權值股,而是布局A股少見的股票。其次,市值規模屬中小型在港上市的中資股,也將是中國散戶青睞標的。高盛也發布報告指出,以貴州茅台為代表的白酒產業,以及文化媒體產業、醫藥產業,都是市場需求較熱切,且貼近GDP(國內生產毛額)實質成長的族群,這些擁有長線成長空間的族群,將是資金追逐的焦點。

需觀察台股是否出現「排擠效應」然而,滬港通啟動之後,在外資眼中,兩岸三地股市的比重,是否因此隨之受到調整,令台股出現「排擠效應」?浦永灝認為,兩岸三地股市並不是此消彼長的零和遊戲,還得考量日本、印度和印尼等其他市場的投資價值,未必影響台灣原本的資金分配。

惠理康和投信兩岸價值基金經理人蔡俊宸也認為,台股基期較高,將是資金短期轉戰滬股原因之一;若台股回檔,資金還是會優先考量有上漲機會的市場,資金未必長久分流。

相較之下,徐一鳴顯得對台灣股市前景較為悲觀。他表示,「由於距離紐約交易所太近,人才、資金不斷外流,所以加拿大股市不管成交量或漲跌動能均較以往大幅減弱。台灣一定要精準定位自己、避免成為加拿大股市。政府強化台灣股市的作法,應該是加強吸引電子、生技和大型台商掛牌,將這三種類型企業為主的台股,設計成『亞洲的那斯達克』,這樣無論企業上市或購併,都會想到台灣。」箭在弦上的滬港通,終於打開買進A股的大門,這是全球資本市場今年的大事。它可能是一個賺錢機會,也可能對台股造成深遠衝擊,不管願不願意,都是我們必須面對的課題。

滬港通2大方便門

1.中國投資人可直接下單港股只要資格符合,中國投資人可以在總額人民幣2500億元、每日限額人民幣105億元總量下,買進266檔香港上市股票;但在港交所休市期間不開放交易,也不開放更改訂單、賣空及融資券。

2.開啟外資投資A股大門香港投資人可投資上證180指數、上證380指數成分股,及同時在港交所掛牌的滬股,共計568檔;但在上交所休市期間停止交易,亦不得進行融資券。

3大養分 滋養滬港通

政策出台後,散戶信心改善、成交金額放大,A股築底漸漸成形散戶進場買A 股 8月底,參與A股交易的帳戶達1314萬戶,創5年來同期最高數字,顯示散戶正重新開始買賣A股。

成交金額放大 上海交易所A股成交金額逐月放大,從今年1月1.36兆元、增長至8月2.79兆元,增加超過一倍,顯示買盤已逐漸回籠。

政策明確指示 5月中國國務院發表「新國九條」,明確提出資本市場開放時間表,市場解讀此為中國官方有意逐步提振資本市場的重要訊號。

滬港通實施後最值得關注的受惠股

滬 今年以來漲跌幅

貴州茅台 6.9% 市值:7163億元上海汽車 10.7% 市值:3638億元中國國旅 11.0% 市值:1799億元寶鋼 26.5% 市值:9544億元中信證券 32.3% 市值:9051億元

港 今年以來漲跌幅

康哲藥業 48.3% 市值:1123億元港交所 39.8 % 市值:8256億元聯想 31.0% 市值:5027億元友邦人壽 14.6% 市值:20791億元光大國際 3.3% 市值:1841億元套利空間大! —— A 股與 H 股折價前五大個股較有反彈空間

A 股折價幅度

中國銀行 8.7% A股代號 : 601988 建設銀行13.9% A股代號 : 601939 寧滬高速 14.3% A股代號 : 600377 工商銀行 17.3% A股代號 : 601398 中國平安 18.8% A股代號 : 601318

H股折價幅度

山東墨龍 60.5% H股代號 : 568 東北電 52.4% H股代號 : 42 經緯 50.3% H股代號 : 350 北人 50% H股代號 : 187 第一拖拉機 47.9% H股代號 : 38 註:漲跌幅統計截至9月4日在台灣,散戶可參與

「滬港通」的3種管道:

1、透過四檔在證交所掛牌的A股相關ETF 寶滬深(0061)、FB上證(006205)、元上證(006206)、FH滬深(006207)交易方式:與股票下單一樣2、透過國內核備的境內外中國相關基金,

約30多檔

例如:「聯博中國時機基金」、「歐義銳榮中國股票基金」交易方式:可單筆買進或定期定額

3、透過指數股票型基金

例如:「永豐滬深300紅利指數基金」、「恒生H股指數股票型基金」交易方式:與買基金一樣,可單筆買進或定期定額

 
PermaLink: https://articles.zkiz.com/?id=112074

P2P汽車共享到底是什麽?全面解析國內汽車共享市場

來源: http://news.iheima.com/html/2014/0924/146053.html

如果你會在看新聞時點開科技版,那麽從年初開始你一定不止一次看到過Uber。這個創立於2009年的共享汽車鼻祖在去年進入上海試運營,今年拓展到廣深和杭州成都,並在7.14號正式進入其全球擴張的第100座城市——北京。6月份新一輪融資後估值達到182億美元,成為矽谷最炙手可熱的創業公司,同時讓「汽車共享」的概念進入大眾的視野。

那麽汽車共享到底是什麽、國內有哪些落地模式、面臨哪些安全以及法規問題、輕資產重運營的模式如何實現、汽車共享是怎麽玩得轉的,本文就以上問題逐一解讀。
 

\Next Page


ZKIZ Archives @ 2019