暗池閃靈 2分之1自旋
來源: http://xueqiu.com/9132408460/33211877
前幾周讀的另一本書，叫<Flashboys>,說的是一幫高頻交易者的事。因為該書太過故事性，偶有誇張捏造的嫌疑。故此在這里得脫開本書找個個人的角度。
我之所以想起去看這本書，是有一點點故事的。
金融危機時，我用的是巴克萊銀行的certificatedealing買股票。（這種買股方式比較“原始”，但更能體現股票的本來意味。你先通過電話買了某股，和經紀人敲定最終成交價格，寫一張支票給經紀人，大約一周後會收到來自上市公司的函件，里面是上市公司CFO的署名信，說你的信息已經錄入股東名單，並附上股權證明。賣的過程則相反，將股權證明寄回，一周後收到支票。它的缺點是慢，優點是在華爾街即使被轟炸你也能睡的很香），我撥電話過去時，巴克萊銀行的股價是150便士，大約是前一年的3倍市盈率（三月前低點是50便士）。等經紀人問完安全問題，我說要買巴克萊銀行的股票時，對方說股價已經是180便士。而幾分鐘後，交易完成時我的成本確是200便士。
之後我改用德國商行的系統，但每當購買流動性少、或波動較大的股票時， 就避免不了在spread（即市場最佳買賣價格之差。如果同時買賣1股，損失即為此差）上被作市者宰一筆。起初我還和銀行家投訴，他回答說那你別用市價單啊、掛限價單啊。但掛限價單後，會發現成交總是以一百股甚至幾十股為單位。甚至有一次單獨成交了五股，為此我給銀行交的手續費都不止此數。於是我和哈姆雷特的問題變成了在給銀行交手續費和給做市者交spread買路錢之間做選擇。不管怎樣，我的交易隱形成本都有些高。<Flashboys>里反複出現的話真是一語中的： ”either way, you are fucked”（“不管怎樣, 你都被幹的那個”）。
這個問題背後有程序交易者的影子，我自然知道，但沒有深究。我比較在意的是，很多市值幾十億美金的股票，按理說會有足夠大的流動性，但實際交易時仍然會被切成很多100-200股的小份。若線性的去想，散戶較多可以解釋該現象。但是多數用著如史考特、Firsttrade的散戶每筆的交易費用也有7-9美金，他們若真把單子拆成這麽100股的份，來回交易的手續費就有1-2%了，這不太合乎邏輯。更不用說如花旗、Schawb這樣的較權威機構收的手續費都是在50-100美元的。總之，因為問題並沒有嚴重到令我去花幾周找對策，我直到後來誤打誤撞才了解些許。
=======
前面描述了問題、或矛盾，這里我們跳過搜尋答案的過程，直達主題吧。
今日股票交易實際發生的地點，已經和80，90年代相差甚遠了。之前，我的理解停留在紐交所服務器位於華爾街遊人如織的那棟大樓里的印象。而實際上，那只是一個精神的象征，文員辦公的場所。今日的證券交易，已經被各地數百個（乃至更多）的交易服務器中心分割。其中，由紐約證交所、美國證交所、納斯達克、和芝加哥商交所等掌握的服務器中心有近十個。此外，還有如花旗集團、或是私人老板掌握的證交所IEX。僅是被美國監管部門定為ATS交易所（ECN電子溝通網絡支撐起的交易所，紐約交易所的黃馬褂已是歷史）的數目大約是14個（13個如果IEX不算）。此外，幾乎所有大型的銀行、經紀商，都有自己的暗池（darkpools，除不公開時時交易價格和成交量，其他和交易所一樣）數目大約在80個以上。而中小經紀商公司還有內部消化交易的機制（稱為internalization）,單美國就有約200個這類迷你暗池。根據SEC的報告，沒有任何一家交易所占領了絕對的的市場份額，連紐交所也只有不到15%的市場占有率。所以，當你限定自己只能在某個市場買某股票時，你所看到的流動性只有綜合數據顯示的百分之幾。舉個例子，德國商行的交易平臺可以選擇在紐交所購買某股票。假設我通過它下個市價單買某公司500股。這時候紐約證交所上，可能有人掛價10塊願意賣給我100股，10.1還有人賣200股，10.3還有200股，平均價格是10.15多。但實際上，在其他的交易所，還有很多人願意以10塊賣給我，足以累計出500股的量。但因為德國商行沒有智能路由（smartrouting）服務，其客戶就無法把交易分割成N份發給不同的交易所、以“追求”達到市場好似未曾被分割的效果（即在10塊錢買入500股的效果）。
上一句中，我用了“追求”一詞，是因為即使經紀商使用了智能路由，也不一定會對結果有多大影響。這是因為高頻交易者，會如幽靈、似閃電般的將你眼前的‘活’單吃掉，並取而代之。要搞明白他們何以做到這閃電截單，需要提到一些現實性的問題：/1/股價最小的單位是分，所以市場上剛好有500股掛價在10.00美元的概率並不高，而是有一些在10.01美元，還有一些在10.02。這種分布，在股價波動大和流動性小的時候會變的很松散，這就給閃靈可乘之機；/2/證監會要求使用智能路由的經紀商必須確保成交價格是全國最優價，比如EDGE交易所里有人掛價10.01,CHi-X交易所有10.02，那麽經紀商必須確保先在EDGE成交後再去CHi-X，不管這會不會造成數據流在全國來回跑。畢竟在2007訂立該規定時SEC並不認為額外的幾百毫秒會造成什麽大不了的區別。這一規定，卻給閃靈帶來確定性，他能以此判斷出你的交易單到達的下一個交易所是哪家；/3/絕對的距離產生絕對的速度差距--閃靈們通過各種手段，可以從同一交易所起跑，比你的經紀商更早到達下一個交易所。這些手段包括與交易所共用機房（co-location）；購買源數據流並比交易所更早一點（以微秒差距。順便說下，微秒是一百萬分之一秒）計算出交易流向；鑿山跨河自建光纖網絡或直接使用微波傳訊、保持兩點最短距離等等。總的說來，閃靈能比一般經紀商快幾十毫秒。而因為交易所的計算機處理掛單和交割只需要幾微秒，閃靈有足夠的時間預設戰場、坐等獵物上門。
他們跑這個快，有啥意義呢？那例子解釋吧。比如說，我掛了一個市價單500股。經紀商在10塊錢幫我交易了100股，並且發現EDGE還有200股在10.01，以及CHI-X的200股掛在10.02。其他交易所都是掛在了更高的價格，不予考慮。這時候，因為閃靈也看到了某人掛了市價單500股卻只成交了100股，它就可以先我一步來到EDGE交易所，把10.01的200股吃了。數個毫秒後再以10.02的價格賣給我。再趕到Chi-X買走10.02的200股，以10.03或10.04的價格賣給我。於是，因為忽略這不足1秒的時間里發生的事，我就得多掏1分錢的潛在交易費用。而在流動性更小的股票上，這個買路錢就可能會達到50分甚至更多。
原則上說，閃靈只需要確保自己在那一毫秒里給出的是全國最低價，它就有那一毫秒內的絕對定價權。這里舉個極端點的例子。如果你掛了1萬股的市價單買某個股票。市場上當時剛好只有1萬股的賣單。且不論在什麽價格，閃靈可以把這1萬股的賣單全部買去，並在其他交易者還來不及反應前、把價格掛在任何高價與你成交，於是股價瞬間拔高。完成交易後，閃靈再在低價上掛上幾個賣單，等若放個魚餌。於是交易完成後股價瞬間跌回來。這個過程發生之快，甚至肉眼根本看不見。這種事，我也碰過幾次。
對於以上說的閃電行動，我沒有太多一手的證據。不過大家可以看看以下的三張截圖。
圖1:截屏第47秒 
圖2：截屏第47-48秒
圖3：截屏第48秒以上三張，是我隨機的在一分鐘內給IB交易平臺做的錄像之截圖。左邊股票名稱一覽IDCC，是一家市值接近20億的上市公司。”@”符號後是交易所的名稱，也就是說IDCC
@LAVA是在LAVA交易所IDCC的數據。我擺在第一行，LAVA交易所、是我們關註的重點。（其他的如BATS，EDGEA，DRCTEDGE都是隸屬於紐交所和納斯達克的交易中心。而IEX是<flashboys>中的主角創辦的交易所，這里不談。）第二行沒有符號的IDCC代表的全國最優價，是智能路由能幫你完成的成交價格。
我們關註第一行LAVA。在圖1中可以看到，有人願意以50.48的價格購買1手該股票。再看圖2，雖然播放器顯示的秒數仍然是47秒，實際大約過了半秒。這時候價格從剛才的50.48跌到了49.48，瞬間跌幅約2%，而掛單數量從1手變成了4手。接著圖3，也就是半秒後，價格回彈到50.45。之後，一切歸於平靜，好似什麽都沒發生過。
這1.5秒究竟發生了什麽，我們不能完全確定。如果是傳統的作市者，在50.48掛一手再在49.48掛四手，卻留下中間2%的真空地帶是不常見的。這看上去很像是某人使用了限定在LAVA交易所的市價賣單，賣出500股。50.48的一手只是閃靈放的魚餌，一旦成交，它就把其下的400股全部掃進囊中，再一次性把價格壓低到49.48的極限（即49.47還有其他人掛的單），賺取差價。
以上說法雖然能說通，但是有兩個疑點:/1/這個過程為什麽肉眼可見？/2/為什麽有人會對LAVA使用單一交易所市價單？
對於第一個問題，我偏向於認為這是人擇性偏差，即是說因為我肉眼能看到，所以拿出來說，於是才有了這個問題。待會兒我會展示官方的統計數據，證明在每一秒中這樣的閃靈都在行動，只不過他們快的根本看不見，而偶然有一只害群之馬，慢的被我們看見了。或許這只是一個剛學會用電腦的老派作市者交易員的行為，還稱不上閃靈吧。這說法有個明顯的漏洞，既然這家夥這麽慢，在閃靈出沒的地方還能輪到他捕到獵物？若說毫秒級閃靈還沒有擴張到LAVA市場，可能性應該不大。所以以上描述的500股掃單的理論很可能是不成立的。更靠譜的理論是，47秒上和47秒下完全是不同人的兩次交易，只是在毫秒的時間尺度人的直覺成了累贅，讓我們以為是同一個人同一個交易。不變的是，不管此是一人交易還是多人交易，肯定有一個人被坑了，但具體手法我們無法通過這個視屏悉知。終歸，1.5秒內股價的巨幅震蕩只能證明有高頻電腦交易的存在（否則巨幅震蕩和迅速修正是不可能同時存在的），但不能證明他們的操作手法如前面描述閃靈一般。肉眼看不到的東西，我怎麽可能用視頻證明給你看呢？
對於第二個問題，我無從知道具體的原因。但是登陸LAVA的官方網頁，我們看到它宣傳用的統計數據給出了提示：LAVA幫助完成的7200萬（筆/天）的成交中，有6900萬都是在內部消化，只有289萬是通過智能路由傳到其他交易所的。再往下看，LAVA赫然是花旗銀行的下屬公司。由此，我臆測多數花旗銀行的客戶對此情況並不了然。換句話說，我們可以懷疑，除非花旗客戶購買Colorbook(LAVA下屬公司)的智能路由賬戶，他們都是在不知情的狀況下將所有證券交易限制在了花旗的池子里。而因為這個池子只有美國市場10%左右的成交量，且基本孤立，所以同樣的股票卻只有智能路由客戶看到的1/10的流動性。這便解釋了為什麽我在這一分鐘的錄像里看到LAVA的spread買賣價差總是最大。同時也說明客戶損失而不自知，一如我在德國商行和巴克萊的經歷。
2012,2014年，LAVA兩次被證監會罰款，但罰款數額很小，且罰款理由不是差異化對待客戶。這很可以理解，因為客戶是“自願”不用智能路由的呀。細讀2012年花旗被罰的新聞，我們發現還有一家叫LAVATrading的自主交易公司被定義為高頻交易公司。新聞報道了 LAVA交易所把其暗池中的客戶交易信息與這家高頻交易公司分享的事件。換個說法，LAVA是花旗的後花園，而投資者就是自己會刨土把自己埋了的菜。
暗池，且先不細講。在90年代它主要以blocktrading的形式出現，到09年也只占全美約7%的交易量。但4年後卻躍升至32%，這是因為越來越多的機構感受到高頻交易者的威脅，意識到在微秒級的戰場上作爭鬥是毫無意義的，於是幹脆轉戰暗處。在暗處，沒有公開的交易信息，我看不見你，你也看不見我，這樣大約可以避免被宰。但是，這里LAVA、以及最近報出的巴克萊暗池案，都指出暗池里也有微光。一些有門路的高頻交易者還是弄到了暗池的數據源。而看不到數據的投資者，被宰卻是不自知的。
SEC報告市場微結構：
因為暗池和閃靈的存在，市場交易行為的特征已經和十年前乃至幾年前很不一樣。用一句話概括的說，即交易頻率變高、持股時間縮短、每筆交割數額變小。以下是在證監會看到的一些資料截圖。
圖4：紐交所上市股票交易筆數對比，2005和2009。
圖5：紐交所上市股票每筆交易大小對比，2005和2009。圖4和圖5是SEC在2010年征詢公眾關於立法的意見時公布的信息。其中紐交所上市股票剛剛經歷了從黃馬褂轉電子交易系統的巨變。同期，電子交易的興盛使得紐交所的市場占有率從30%多跌了一半。回到圖上，通過對比轉變前後的成交筆數和每筆成交金額，我們可了解一下電子化的直接結果。首先，成交總量從21億股漲到了59億股每天。成交量的上升，按照一般規律，應當會降低買賣價差，減少隱形交易成本。（實際此現象隨股票不同出現兩極分布，下篇再談）不過，另一方面每筆成交股數卻變小了，且我認為在2009年後的5年里還在持續變小。這造成按筆計價的經紀商的客戶在交易傭金上開支增加。
圖6：交易壽命的累計頻率分布。黃藍紫綠的條紋分別為全撤單、部分撤單、全額交易完成、和部分交易完成。圖6中有很多信息，其中最引人註目的是橫坐標軸的事件單位。他們分別為50微秒、100微秒、500微秒、50毫秒等等。從掛單到主動撤單所需的時間，人一般需要至少1秒來反應、敲擊鍵盤或鼠標。所以我們很可以把在一秒鐘之內就完成從掛單到撤單全過程的交易者歸為高頻程序交易者，即閃靈。圖中顯示，1秒內完成撤單的百分比是45.9%，即是說市場上的撤單里有45.9%的是在1秒鐘完成了。而其中更有一半（即總撤單的23%）都是在1/20秒內完成的。這個時間尺度大約是大腦成像的極限，這些單子最多在人眼里出現殘像。
圖7：成交占掛單總數的比例，股票平均為3.5%，即96.5%的掛單最終被撤單。值得一提的，電子交易平臺帶來的另一大市場特征是，絕大多數的掛單最終都是被撤單的。撤單的時間分布我們剛才已經看到，其中45%肯定是高頻交易者幹的。<flashboys>書中說到90%以上的掛單都是出自高頻交易者之手，但我不能從SEC的數據中找到此說法的絕對證據。
圖8：撤單頻率分布（毫秒單位，微秒次級單位），縱坐標頻率單位為0.002%，舉例說介於1毫秒和2毫秒內撤單的總數大約是總撤單的6%。
圖9：撤單頻率分布（秒單位，毫秒次級單位）圖8中的撤單可以肯定全部出自於閃靈之手，沒有人可以在毫秒內掛單再撤單。圖中細節可以看到撤單在整毫秒（即，1、2、3毫秒等）時紮堆。這是部分閃靈為了節省IT資源將程序設定在毫秒刷新的緣故。這個現象，在圖9更是明顯。撤單在整數秒紮堆說明了程序交易在10秒內也是很常見，雖然我們似乎只能把他們看作20世紀的高頻交易了。我們甚至有理由認為圖9中顯示的撤單主要都是程序交易完成的。這是因為交易頻率分布從1秒到9秒有明顯的下降，而人為撤單不太可能在這個時間尺度出現下滑的分布。
時至今日，許多的散戶和機構都擁有一定程度的程序交易能力。比如IB提供的程序交易可以把大單切成無數小單，每隔一段時間（一般是數秒）再根據市場條件自動掛單或撤單，以期達到神不知鬼不覺的出入市場的目的。這類的特種掛單方式還有很多，之後會提到。當然，道高一尺魔高一丈，閃靈的第二大業務就是解析數據流，分析出大單的走向。這或許是為什麽如今32%的市場交易都跑去暗池了--閃靈實在另機構無處可走了。
---
今天說的夠多了，但還有很多有趣的問題沒談。如高頻交易者的四大盈利策略，每種策略對市場流動性、市場深度和買賣價差的影響，或說對哪類投資者/交易者有嚴重影響。以及我能想到的避免被閃靈壓榨的應對方法。暗池也是值得一說的話題，尤其是它對市場定價機制、或說對於市場效率的影響，這是以前未曾料及的。下回再說。
哦，這里說的主要是美國，但高頻交易在發達國家、包括香港都不罕見。在中國普及也是遲早的事。