最有價值的算法!
http://www.iheima.com/archives/35761.html 聽算法
我創辦CDBaby公司一年後,某天,一個硅谷在線音樂公司的CEO和副總裁聯繫我,他們希望飛到紐約和我見面談談,我答應了,一週後的某天,我們約定見面吃飯。
晚餐很豐盛,我有些困惑,不知道他們聯繫我到底想要什麼,很快,他們終於告訴我了目的。是一個很大的等等等等等等Smalltalk的,我不知道他們真正想要的。然後,他們終於得到了真正的目的:
「我們特意來到這裡見您的原因,其實是想因為我們一直在關注各種音樂推薦引擎,我們認為您的cdbaby.com是我們發現的最好的。您能告訴我們一些關於你們使用的算法和數據麼?」
呃…… 我很困惑,並詢問他們的意思。
他們說,「如果你喜歡這個,你可能也會喜歡那個」,關於推薦搜索的建議。我們在您的網站測試過,上,但它們似乎並沒有像亞馬遜那樣的銷售驅動。音樂匹配算法,感覺很令人難以置信。您使用的是什麼樣的軟件是什麼?「
啊!我明白了。我笑著指了指我的耳朵。
「沒有軟件,我只是聽來的一切,並建議其他好東西喜歡它。 」
這下輪到他們困惑了。「但是,怎麼確定那個範圍呢?您不能只聽每一張專輯!當你拿到00張專輯時你會做什麼呢?」
我說,「其實,也許僱傭員工也就是在聽啊。我不知道。我現在還沒有。我也會擔心。」
(這是我曾做過的。當我們一天之內得到很多音樂專輯,我們會找來員工讓他們一張一張聽,然後內部交流給出建議。)
最小化或最大化?
當每個人都在試圖通過什麼機器,軟件進行自動化操作。時,稍微用一下人們之間的交流,會成為很有力的競爭優勢。
問題是,企業主一般會認為這會是一種不值得的投入,並不是很好的機會。試圖使投入最小化,而不是最大限度提高收入,品質,忠誠度,愉悅感,關係,和所有其他美好的事物, 試圖最大限度地降低成本,而不是最大限度地提高收入,品質,忠誠,幸福,連接,和所有其他美好的事物,都會隨著人與人之間的交流和關注慢慢產生。
你可以買一個奇特的電話系統給用戶們打電話,所有人們不得不聽9個選項,選擇5個選項,然後再聽另外的6個選項。。。
… 你可以僱傭一個有魅力的人負責接聽電話,這樣容易會給人建立很好的印象。
你認為什麼會為你獲得新的粉絲?
你可以制定在線問卷的規則和內容,如果有人在上面填寫自己的電話號碼,或則填寫「很快會來」作為他們的網址,這樣工作人員只能要重新再做一遍。
… 或…
… 你可以有新的提交進行檢查很快就結束了一個真實的人。這是值得的10秒人的努力,使最終用戶體驗輕鬆,但內部的數據是正確的。
作為技術人員,試圖尋找技術解決方案是對的,但不要忘了,即使是和一個人說幾句話,短暫的相處,可能都會是最好的alogrithm的,和一個巨大的商業最大化。
誰應該做的工作?
我認為,我們的軟件能夠對用戶有價值,這樣我們可以保持我們的發展和規模。」
但是,如果你希望他們給你錢,如果你希望自己的產品更有價值,你必須花精力和時間多投入一些。
我見到許多很自信企業家,他們相信他們的東西會像Facebook一樣大,所以最後他們無法承受。
但是,如果不多和人交流的話,他們所作的APP應用程序其實會不如之前有價值。所以他們永遠不會得到想要的東西。
淘寶搜索算法現狀
來源: http://newshtml.iheima.com/2015/0318/149361.html
淘寶搜索排序的目的是幫助用戶快速的找到需要的商品。從技術上來說,就是在用戶輸入關鍵詞匹配到的商品中,把最符合用戶需求的商品排到第一位,其它的依次排在後續相應的位置。為了更好的實現這個目標,算法排序系統基本按三個方面來推進:
一.算法模型
當用戶輸入關鍵詞進行搜索的時候,系統依據算法模型來給匹配到的每個商品進行實時的計算,並按照分數的大小對商品進行排序。
對於好的算法模型,首先需要考慮我們能夠有哪些特征因子可以應用。比如在網頁搜索中,算法模型基本就是按網頁的重要性和相關性給網頁計算一個分數,然後進行排序。這里的相關性,和重要性就是網頁排序模型中兩個重要的因子。具體來說相關性因子是指搜索關鍵字在文檔中出現的度數,當這個度數越高時,則認為該文檔的相關程度越高。重要度因子比如Google的Pagerank,可以理解為一個網頁入口超級鏈接的數目:一個網頁被其他網頁引用得越多,則該網頁就越有價值。特別地,一個網頁被越重要的網頁所引用,則該網頁的重要程度也就越高。
考慮淘寶搜索的時候,有些特征因子是很容易能想到的,比如:
A.文本的相關性: 關鍵詞和商品的匹配,匹配的程度,是否重要詞的匹配,匹配詞之間的距離等,都可能影響相關性。比如搜索“小鴨子洗衣機”的時候,一個商品的中心詞是洗衣機的要比賣洗衣機配件商品的相關性高,小鴨子連在一起的相關性要比“小”和“鴨子”分開時候的相關性高等。文本相關性最基本的計算方式可以參考BM25等。
B.類目熱點: 淘寶數據的一個重要特質是每個商品都掛靠在類目屬性體系下面,每個商品都做了一個很好的分類。在搜索過程中,同一搜索詞的大量用戶行為數據很容易聚焦到相應的熱點類目,比如“手機”的搜索行為會集中到手機類目,而不是配件類目。
C.圖片質量: 圖片是電子商務網站非常重要的一個數據,圖片是否精美吸引人,圖片上是否有各種各樣的“牛皮癬”,和商品匹配度等都很大程度上影響著用戶的點擊和購買決策。
D.商品質量: 每個商品都有不同的質量,商品的描述真實性,是否物美價廉,受人歡迎的程度等。
E.作弊因子: 類似於全網搜索有關鍵詞堆砌,link spam,網頁重複等等作弊的問題,電子商務搜索也面臨同樣的問題,比如商品關鍵詞堆砌,重複鋪貨,重複開店,廣告商品引流等等,也有商品特有的問題如價格作弊,交易作弊等,需要利用統計分析或者機器學習來做異常行為,異常規律的發現和識別並運用到排序中。
F.公平因子: 淘寶的商品很豐富,每個搜索詞下都有足夠多的商品在競爭,需要在相似質量的情況下讓更多的商品和賣家有展示的機會,而不是像網頁搜索一樣是一個基本靜態的排序,照成商品點擊和展示的馬太效應。
類似的商品,賣家,買家,搜索詞等方面的特征因子有很多,一個排序模型就是把各種各樣不同的特征因子組合起來,給出一個最終的關鍵詞到商品的相關性分數。只用其中的一到兩個特征因子,已經可以對商品做一些最基本的排序。如果有更多的特征參與到排序,我們就可能得到一個更好的排序算法。組合的方法可以有簡單的人工配置到複雜的類似Learning to Rank等的學習模型。
那麽如何衡量不同算法之間的優劣呢?
二.線下評估
算法模型的評估一般分為線下的評估和線上的評估,線下的評估很多都體現在搜索中常用的相關性(Relevance)指標。相關性的定義可以分為狹義相關性和廣義相關性兩方面,狹義相關性一般指檢索結果和用戶查詢的相關程度。而從廣義的層面,相關性可以理解為用戶查詢的綜合滿意度。當用戶在搜索框輸入關鍵詞,到需求獲得滿足,這之間經歷的過程越順暢,越便捷,搜索相關性就越好。
在淘寶搜索衡量狹義相關性的時候,一般是使用PI(Per Item)測試的方法:
A.抽取具有代表性的查詢關鍵詞,組成一個規模適當的關鍵詞集合
B.針對這個關鍵詞集合,從模型的產出結果中查詢對應的結果,進行人工標註(人工判斷為相關性好、中、差等), 對人工評測的結果數據,使用預定義好的評價計算公式比如DCG等,用數值化的方法來評價算法模型的結果和標註的理想結果的接近程度。
利用人工標註數據來計算相關性的分數,來判斷模型的好壞;在這個過程中人工不可避免的會有主觀的判斷,但綜合了多人的判斷結果還是可以獲得一個有統計意義的結果,另一方面標註數據也可以幫助我們找到一個算法表現不理想的地方,有針對性的提升。
廣義的相關性線下評測比較困難,受人工主觀因素的影響更大,一般使用SBS(Side by Side)的評測方法,針對一個關鍵詞,把兩個不同算法模型產出的結果同時展示在屏幕上,每次新模型和對比模型展示的位置關系都是隨即的,人工判斷的時候不知道哪一邊的數據是新模型的結果,人工判斷那一邊的搜索結果好,以最終的統計結果綜合來衡量新模型和老模型的搜索表現。
線下評測的方法和指標有很多,不同的搜索引擎會關註不同的指標,比如以前Yahoo的全網搜索引擎比較關註RCFP(Relevance,Coverage,Freshness,Perspective)等,淘寶搜索線下評測時候一般統計DCG和SBS的指標。
線下的評測方法從統計上有一定的指導意義,能從一定程度上區分模型的好壞,但要真正驗證算法模型的好壞,還需要接受真實的流量來驗證。
三.線上測試
為了真實驗證一個算法模型的好壞,需要有一個系統能提供真實的流量來檢驗。淘寶搜索實現的BTS(Bucket Testing System)系統就是這樣的一個環境,在用戶搜索時,由搜索系統根據一定的策略來自動決定用戶的分組號(Bucket id),保證自動抽取導入不同分組的流量具有可對比性,然後讓不同分組的用戶看到的不同算法模型提供的結果。用戶在不同模型下的行為將被記錄下來,這些行為數據通過數據分析形成一系列指標,而通過這些指標的比較,最後就形成了不同模型之間孰優孰劣的結論。只要分組的流量達到一定的程度,數據指標從統計意義上就具有可比性。
不同的BTS系統會關註不同的數據指標,在淘寶搜索,有一些重要的指標是很多算法模型測試的時候關註的:
訪問UV成交轉化率 :來淘寶搜索的UV,最終通過搜索結果成交的用戶占比。
IPV-UV轉化率 :來淘寶搜索的UV,有多少比例的用戶點擊了搜索結果
CTR :搜索產生的點擊占搜索產生的PV的比例
客單價 :每個成交用戶在淘寶搜索上產生成交的平均價格
基尼系數 :基尼系數是一個經濟學名詞,考量社會財富的集中度;如果社會財富集中到很少一部分富人手中的時候,基尼系數就會增大,社會的穩定性和可持續發展性就會出現問題;淘寶搜索借用了這個概念來衡量搜索帶給賣家的PV展示,和點擊的集中度,在保證用戶體驗的前提下,給更多的優質或小小而美的賣家展示的機會。
大部分時候我們都有好幾個模型和功能在線上測試,我們用BTS的方式來觀察測試的情況,如果提升穩定就逐漸開放給所有用戶,如果沒有提升,我們也能從中獲得經驗幫助我們更好的理解用戶。
作者介紹:青峰,淘寶搜索算法總監。
為了激勵作者們寫出更多、更好的文章,您可以掃下面二維碼給黑馬哥適度打賞,金額有8.8和88元!
版權聲明:本文全部為原創,i黑馬版權所有,未經授權嚴禁轉載,如有疑問請聯系微信heimage0001。
如果你對更多創業幹貨 感興趣,請加微信heimage0001 ,註明“姓名+公司名+職位 ”,否則黑馬哥不會把你拉入創始人雲集的微信群。
【記者觀察】城鎮化生意的新算法
來源: http://www.infzm.com/content/108909
城鎮化生意,在此時的中國並非是一門好生意,已被看作危險重重:因為過去十余年地方政府從銀行貸出太多的資金,導致各界對謎一樣的地方政府債務一片擔憂,銀監會全線管控商業銀行平臺貸。
但對國開行來說,逆勢擴張城鎮化生意的底氣,來自對平臺風險的樂觀評估。多位國開行內部人士告訴南方周末記者,“在我們眼里,目前地方政府的風險並不大。”
在國開行內部,一種普遍的觀點是,除了稅收,中國政府持有土地以及大量的國有資產。比如,地方國有企業股權,包括不少已經上市的股權。而後兩者正是美國等西方國家政府所難以比擬的。
“很多人認為中國債務問題很重,是沒有把這兩塊資產放進去。”一位接近國開行決策層的人士告訴南方周末記者,“我們認為應該用資產負債表衡量地方政府的負債程度。應該計算地方政府的凈資產,而不能簡單用債務規模除以財政收入,這不科學。”
上述接近決策層的國開行人士還分析稱,中國政府的債務用途,“不是用作彌補赤字,而是搞建設,為未來發展”。他認為,一個高速增長的經濟體,和低速或者不增長的經濟體,債務的性質是完全不一樣的。
“機場也好,鐵路也好,不能只計算票價收入。建設所帶來的人流、物流,這些正外部性必須納入考慮。”他說,“關鍵是投資效率要高。”
不過,國開行也正在發生變化,過去“打捆貸款”的平臺模式似乎正出現專業化分解的趨向。
比如,據南方周末記者了解,蚌埠市城投與下轄三個縣的城投公司,合資成立了一家新的融資平臺公司——蚌埠市城鎮發展投資有限公司。公司註冊資本金10億,城投公司占股70%,三個縣城投各占股10%,此外三個縣城投各註入一塊土地。新的平臺公司對接所有“新型城鎮化”項目的融資,其中包括國開行先期提供的50億授信。
此舉的原因之一是,國開行為了控制風險,不希望與縣級城投公司“直接打交道”。一位蚌埠城投人士告訴南方周末記者,這些項目都有每個縣參與,但國開行覺得“縣里面財政不太行”,希望由蚌埠城投“帶著縣做”,但是蚌埠城投跟縣級城投並無直接業務往來,於是雙方商議成立子公司,“這樣帶他們做項目”。
隨後,蚌埠市政府下文成立城開公司,主要負責全市的保障房項目融資,保障房資產以及上級撥付資金全部歸到城開公司。
這亦被政府內部人士視為一種“策略”。上述蚌埠市政府內部人士向南方周末記者坦承,舊的平臺公司還貸遇到一個高峰期,“沒有能力再去融資”。事實上,蚌埠市城投仍在銀監會控制貸款的平臺名單上,“除了保障房項目,其他項目貸款都比較困難”。
“城投公司繼續還貸的同時,成立一個新的公司繼續融資,保證建設的連續性。”上述人士說,“不能因為還債拖延城市建設的發展速度。”
此外,為應對2009年後商業銀行及其他金融機構蜂擁而至造成的平臺風險,國開行內部正在討論的另一個解決方案是:每家平臺公司設立一家牽頭機構,由牽頭機構設計一攬子的金融解決方案,包括發市政債、信托融資,等等,管住平臺公司“多頭融資”。
據國開行內部人士透露,原來在國開行內部,省級分行是開行系融資方案的一個“窗口”——客戶都在省級分行,國開系旗下的國開金融、國開租賃、國開證券等,都是通過這個“窗口”對接融資平臺的客戶。開行的構想是:將原來自己體系內的一個窗口,轉變成一個“總的窗口”。
IBM是好好股- 揭開超越 PB/PE 的股神價值計算法 巴黎的價值投資
來源: http://parisvalueinvesting.blogspot.hk/2015/09/ibm-pbpe.html
筆者一直對IBM難捨難離,雖然它的股價近年不強勁,但相對它的財務,就完全兩回事,為了準備"內在價值計算器",我從新看它過去十年數字,希望能找出股神為何仍不斷增持它的線索。我的發現,希望朋友明白, 若巴菲特使用我的內在價值計算機,會非常得心應手,但如果不了解數字的意思,這堆數學方程式的計算器只會平平無奇甚至會誤導閣下.
如果按上面過去的股息和每股資產淨值直接輸入黃色部分數字,求出IBM的增長率並以折現方法求它的合理價值, 會因為IBM每股資產淨值從十年前19.29美元不斷下跌至本年的14.39再計算未來10年後只得10元,其末權益完全不能回補高達11倍的市帳率,產生最終即使計入大量澎漲的股息後,複利回報率仍只有0.03%,合理內在值只值120.34,較現價還有兩成的跌幅
投資是一門藝術,而不是那些方程式,要有好的投資,我們還要具備綜觀全局、See the whole picture的能力,這方面就要靠激活個人的想像力。
首先我們要決定IBM業務是否具有穩定的競爭優勢和貨品是大機構的必須品,對於其商業客戶和對手來説,這是毫無異意,有了這最重要一項,才可以繼續下去分析。
IBM 因為有每年非常穩定和高達12.7B美元強勁的自由現金流,足夠他在市場不斷回購股票,股數從十年前的1628M股大副減少至本年的1010M股,假如10年前有人持有162M股或總發行量的10%,今天便因發行股數減少而自動上升至16%,只要再持有它多34年共44年,除了它每年高達15-20%增長的股息己獲得外,整個IBM就會是他的了,還有它每年12B美元的現金流,。
由擁有10%變成100%,這不就是十倍股嗎?
今天IBM的市值是143B,持有10%就是14.3B,對股神來説應該是可以負擔,但再多44年命就難矣。雖然會計角度看IBM近年的盈利不甚增長,對常強調每股自由現金流的股神lBM卻不斷上升,亦可能因為人生苦短,所以他仍不斷增持,加快以低成本擁有大份額的時間過程。
單以簡單幾個數字,從這長期持有角度大圖看,己經非常清楚,股神是無得輸。
深入 數字看
若再看數字深入一點, 假設IBM每股股息增長保守減至最近5年的15%增長率(因為它不斷回購,又有大筆自由現金流,應該是可以輕易做到),2026年IBM的股息會從本年的4.25增長至16.61,但它每股淨值卻是下降至10元。計算器是死而我們是生的,無人會認為一支能穩收16.61美元股息兼年年增派的股票,未期賣出價只得10元。
所以我保守地當它是6%的優先股息貼現16.61股息計算,2026年尾期股價便要改成是276元(16.61/ 6% = 276) IBM今天的股價只是3.6%Yield,即筆者尾期以6%反推尾期巿價是276元是非常過份保守., 求得未期的合理值, 我們便能用像計算債券的"內在價值計算器"計算, 最後我們得IBM的內在價值是285元,現價購入的複利回報率有11%
因為IBM不斷回購, 做成一個現象是他的自由現金流的總金額近年下跌,但每股可控制的FCF卻上升,如果股價保持在低價,管理層用同一筆錢便能回購更多, 即股價下跌,不單不是壞事(但業務要沒有受傷害),反而加快總股數下跌, 增加每股的內在價值..
筆者於是在今天晚上於紐約開市時差不多一年低位買入IBM,並打算放埋一二角落等它自動成為年年生錢的搖錢樹。
如果想了解更多的價值計算法和理論, 現正有一個"全港第一個價值投資班"的第四班正接受報名
科技無孔不入!時尚圈掀起算法新革命
來源: http://www.iheima.com/space/2015/1027/152532.shtml
導讀 : 愛美是人類的天性,而科技正在用它理性的方式,改變我們感性的體驗。
i黑馬 特約作者 陳一佳 10月27日洛杉磯報道
在科技無孔不入的時代,時尚圈也在科技的入侵下改變著生態。《天橋驕子(Project Runway)》的當家超模主播Heidi Klum曾說過“在時尚圈里,一天你是圈內的,再過一天可能就落伍了”。科技已經將這個淘汰周期從一天縮短到一個小時,甚至幾分鐘。算法不再只是高頻交易、電商優化銷售才使用的科技手段,時尚圈也開始用它武裝自己。
玩股票,有道瓊斯工業指數、滬深指數等數據。說娛樂,也有電影票房、收視率等量化工具。而變化莫測的時尚界現在也有了自己的數據平臺——Lipstick Index。這個由著名時尚平臺Glamour推出的Lipstick Index,就是由算法(algorithm)支持的數據平臺。通過隨時搜索超過300萬的時尚博客、臉書、推特、Instagram等活躍的社交媒體平臺,即時統計並推算出25種最流行的發型、化妝技巧、明星妝容及護膚咨詢建議等。
目前已經推出18個月的Lipstick Index,截至今年7月的訪問人次已經達到510萬,也引起了業界的關註。要知道,這個指數服務的可不是消費者,而是品牌廣告商們,讓他們隨時知道如何進行時尚營銷,並獲取新品的靈感。
紐約、倫敦、巴黎、米蘭,每年四大時尚秀場如戰場般競爭激烈,每年每場都有新鮮面孔出現和消失。到底誰能成為下一個超模,行業未來可能也要讓科技來做主。
由印第安納州立大學研究並推出的時尚模特算法,可以計算出模特走紅與自身外形條件、經紀公司,以及社交媒體影響之間的關系。他們發現,模特要想走紅,除了自身條件符合當下審美趨勢外,被更加著名的模特經紀公司代理,同時在社交媒體平臺,尤其是Instagram具有越高影響力的個人,成功的機會要大很多。
研究人員將432個模特通過算法分析,僅以數字編號,混入其中的名模均脫穎而出,準確率甚至高過人工。為了近一步測試該算法的準確性,他們在今年的時裝周來臨前,下載了各個經紀公司的模特信息和數據。通過算法推出的8個模特中,有6人都獲得了在天橋上走秀的機會。
女人總是抱怨“沒衣服穿”,而多倫多大學發起的一項研究可能將解決這個問題。他們要通過算法,學習並預測一個時尚得體的人,應該如何穿著,進而為民眾提出建議。
研究團隊收集了14萬名隨機用戶日常穿著的網絡照片,並放在網站上,只針對穿著是否適合本人、是否時尚,由大眾來點評投票。通過瀏覽量、點評、投票等數據,加入過去6年的世界著裝趨勢數據,分析驗算後,對每個人的穿著提出建議。
“雲想衣裳,花想容。”愛美是人類的天性,而科技正在用它更為理性的方式,改變我們感性的體驗。
作者簡介
陳一佳,80後著名雙語主持人和財經評論員、路透社北美地區唯一華人女主播,紐約三橙傳媒創始人兼 CEO,《創業美國》制片人和主持人。
人工智能黑暗面 深度學習和無監督算法是關鍵
人工智能話題愈演愈熱,互聯網、硬件領域巨頭紛紛布局,成立專門的研究院攻克這一技術。
不少科幻影片中已經多次描繪出人工智能最終極的形態:像人一樣思考,擁有人的情感。而要達到這樣的強人工智能,目前的技術還處於初級階段,從技術來說,自主學習的算法還有待突破。而一旦擁有人類的感情,如何能夠阻止人工智能顛覆人類世界也需要技術保證安全性能。
深度學習與無監督學習
成熟的人工智能研究涉及到好幾百種算法。
“之前大部分的AI運用監督式學習算法,未來我們要發展出更多非監督式學習,讓人工智能自主學習,目前朝著良性的趨勢發展,但還未達到我們希望的階段。”微軟亞洲研究院院長芮勇在全球人工智能與機器人峰會上對包括《第一財經日報》在內的媒體表示。
監督學習以及無監督學習分別是人工智能兩種算法。在監督式學習下,輸入數據被稱為“訓練數據”,每組訓練數據有一個明確的標識或結果。在建立預測模型的時候,監督式學習建立一個學習過程,將預測結果與“訓練數據”的實際結果進行比較,不斷調整預測模型,直到模型的預測結果達到一個預期的準確率。
而無監督學習中數據並不被特殊標識,也就是在之前,計算機並不被告知怎麽做,通過自主學習做法。其中一種無監督學習的思路是在成功時采用一定的激勵制度來訓練機器人培養出正確的分類。無監督學習方式是機器人工智能發展的關鍵技能之一。
除此之外,深度學習也被認為是能夠成就未來超級人工智能的重要研究方向。深度學習試圖建立大得多也複雜得多的神經網絡,百度也開始發力深度學習後,在國內引起了很多關註。而很多深度學習的算法是半監督式學習算法,用來處理存在少量未標識數據的大數據集。
去年,百度在github上開源了其深度機器學習平臺。同時發布的深度機器學習開源平臺屬於“深盟”的開源組織,其核心開發者來自百度深度學習研究院(IDL),微軟亞洲研究院、華盛頓大學、紐約大學、香港科技大學,卡耐基·梅隴大學等知名公司和高校。
作為在人工智能布局較早的玩家,百度擁有領先業界的實力。從2013年百度深度學習研究院(IDL)的創建及2014年Andrew Ng的加盟至今,百度DMLC分布式深度機器學習開源項目已在深度學習的多個應用領域做過探索,上線了多個成熟產品。
阻止AI顛覆人類
機器無監督式學習讓人工智能離人類智能更近一步,而一旦機器人產生自主學習意識但卻不能像人類一樣分辨信息好壞,則有可能出現如不少電影中所描述的,機器人顛覆人類的場景。
今年3月,微軟在社交軟件Twitter上線了一款名叫Tay Tweets的人工智能機器人,在介紹扉頁,微軟邀請更多網友與Tay交談,並稱Tay會從這些談話內容中自主學習與人對話交流。
“在開發Tay的過程中,我們計劃並配置了許多過濾系統,並在多樣化的用戶群體中進行了廣泛的用戶調研。我們在多種不同環境中對Tay進行了壓力測試,尤其是確保與Tay的互動能帶來積極體驗。”微軟研究院副總裁Peter Lee表示。
然而,上線不足24小時,Tay受到攻擊,不但頻頻發出帶有色情挑逗的話語,並且成為了納粹擁護者。微軟不得不關停Tay並對其進行改進,如今要想看Tay的推文並交流,只能先通過其後臺驗證成為粉絲。
Tay所遭遇的這些漏洞同時也揭示了目前人工智能在自主學習上所面臨的困境:如何讓機器在這個過程中有效過濾出不好的信息。
加利福尼亞大學伯克利分校計算機科學系教授、人工智能專家Stuart Russell認為要造出符合人類預期的超級智能機器人,必須符合以下原則:機器人通過觀察人類作出的選擇學習人類價值觀,但其不能清晰認識人類價值觀。在執行任務中機器人還應該保證最大化實現人類價值。
在這種原則下,機器人不能擁有自己的意誌,也不能產生保護自我的內在意圖。機器只知道要讓人類的價值最大化,而不知道這種價值具體指的是什麽,所以當人準備關掉機器的開關時,它就會認為這是一件好事,因為它能明白人類按下關機按鈕是為了讓機器人不做違背人類價值的事。
“盡管存在各種困難,我還是相信,機器可以充分學習人類的價值觀,在幫助我們的同時不對我們構成威脅。”Stuart Russell表示。
“即便人工智能做到感情層面,但是人除了這些東西,還有更複雜的——用大腦構建世界,這個人工智能難以模仿。如果有一天人培養的人工智能真正征服了人類,人要麽必須超越他創造的奇怪的物種,否則的話他就會被取代。”真格基金創始人王強表示。
對推薦不滿意?電商的算法本可以更好!
當早年的爆款電商逐漸被這兩年的個性化網購趨勢掩蓋時,千人千面的商品推薦成為平臺標配,但眼下它只做出了一個雛形。
8月25日下午,亞馬遜前首席科學家、大數據與機器學習研究學者韋思岸(Andreas Weigend)在IEBE(上海)國際電子商務博覽會上接受第一財經記者專訪時稱,系統推薦本身不難,但如何評估推薦是一個難題,“當年我還在亞馬遜時,《哈利波特》出了新書,如果把這本暢銷書推薦給所有亞馬遜讀者,可能很多人都會買,但顯然這不叫推薦。”
這兩年,經常網購的用戶感受到個性化推薦的一個變化是,以前電商平臺總是推薦給我剛剛買過的同類商品,比如剛買了一個足球,再瀏覽頁面時廣告位上出現的還是足球;現在推薦系統變得聰明一些了,它會主動顯示球襪、運動背包、水壺等關聯產品。後臺算法對大數據的關聯分析發揮了一定作用,這其中要將某件商品的易耗程度與複購率特征數據考慮進去。
但和今日頭條的新聞推薦、Netflix電影推薦等模式不同,電商平臺上的商品數以億計,相比之下,作為個體消費者瀏覽和購買的商品很有限。這樣稀松的數據很難讓平臺十分精準地猜到你喜歡什麽,預測你可能要買的商品就更難。況且,電商平臺社區化戲份的不斷增加,很多用戶在手機上打開淘寶等可能只是漫無目的的閑逛,和線下逛商場走馬觀花並沒有太大差別,這更增添了後臺數據分析的難題。
據韋思岸介紹,亞馬遜的商品推薦包括5個數據維度,除了用戶點擊和搜索數據、用戶評價、基於LBS的環境數據(比如你在搜索某個商品時是在用餐還是在乘坐高鐵)之外,還包括朋友間的社交數據,以及後臺專家的人工調研與幹預。“過去我們更多的是關註某一個結點它本身的一些特性。現在我們更多的是關註結點之間互相的連接。每個人都是互相聯結在一起的。”
很明顯,社交數據對於平臺推薦算法的權重正在增加。以大眾點評、Yelp等餐飲類舉例,如果用戶在經過某地或主動搜索某區域的餐館時,系統顯示出其好友在某家餐館留下的到訪與評價數據,這對他的決策會產生很大影響。平時在線下選餐館時咨詢身邊朋友的意見,本身就是一個高頻而順暢的場景。社交數據用到電商中,系統會將你朋友買過的商品與你本人之間建立關聯。
對此,韋思岸打開自己手機上的Facebook,看到一串好友添加和推薦信息。“我可以看到某個推薦好友與我現有好友的關系,幫助我做出是否添加好友的決定,但在WeChat(微信)上是看不到其他人的好友關系的。”實際上,在中國最大的電商與社交數據分別被阿里和騰訊掌握,數據之間的開放打通並不容易。
眼下,不同用戶看到的手機淘寶首頁是不同的,用戶在手淘搜索時產生的頁面排序也因人而異。這其中既有後臺算法的大數據分析,也有對平臺流量去中心化的考量。2015年雙11,淘寶後臺頂住海量並發的大數據分析壓力,在手淘App用戶端實現千人千面顯示。某服裝品牌旗艦店店主陳迪稱,2014年和2015年的雙11都開設了千人千面會場,但他所經歷的2014年千人千面會場轉化率較低,到2015年轉化率明顯提升,背後的推薦邏輯得到優化。
除了搜索,店鋪內顯示也在向著個性化試水,以男裝品牌JACK & JONES為例,不同用戶進入旗艦店看到的頁面展示和商品推薦不同。不久前,天貓電器城負責人印井對第一財經記者透露,全網目前有超過200家店鋪嘗試店鋪內千人千面。用戶的搜索關鍵詞成為重要的分析數據,比如用戶在購買熱水器時搜索去噪音,表明其使用環境對安靜需求度高。
但總體上看,電商的個性化推薦現在仍處於起步階段,算法還遠未稱得上聰明。目前,谷歌會對某個用戶在某頁面上的停留時間進行分析,以猜測其偏好,大數據的獲取維度正在以幾何量級上升,但韋思岸認為,數據收集得越多,產生錯誤的可能性也會越大,也越考驗算法。這中間存在一個數據篩選清洗的博弈問題。
蘋果公布首份人工智能報告:用合成圖像訓練算法的識圖能力
據福布斯報道,蘋果本月初曾表示將發布自己的人工智能研究報告。不到一個月的時間,蘋果就兌現了承諾。
近日,蘋果公司發布了其首份人工智能研究報告。這篇報告闡述了如何通過計算機生成圖像而非真實圖像來訓練一種算法的圖像識別能力的這項新技術。
報告稱,在機器學習研究中,使用合成圖像(例如,來自一款視頻遊戲)來訓練神經網絡要比使用真實圖像更有效。這是因為合成圖像數據已經被標記和註釋,而真實的圖像數據需要有人耗費大量的精力去標記計算機看到的每件事物,如一棵樹、一條狗或一輛自行車。
當然,使用合成圖像也有一定的問題存在。因為一種算法所了解的內容與真實世界中的場景會有所不同。“有時,合成圖像數據不夠真實,導致神經網絡只能了解到合成圖像中所呈現的細節,而對真實圖像的認識有所不足。”蘋果在報告中稱。
為解決該問題,提高合成圖像數據的訓練效果,蘋果研究人員推出了“模擬+無監督”的學習方法,以提高模擬圖像的真實感。蘋果研究人員使用一種經過修改的新型機器學習技術,被稱為“生成對抗網絡”(GAN),讓兩個神經網絡彼此對抗,從而生成更逼真的圖像。
【百佳講壇】將匠心註入機器算法
在新聞資訊領域,人工編輯和機器算法究竟誰更重要?
對於這個問題,今日頭條創始人張一鳴毫不猶豫地選擇了後者。他在最近接受采訪時再次強調了今日頭條不設總編輯以及算法沒有價值觀。在他看來,今日頭條不是一家媒體公司,而是一家科技公司,如果頭條有主編,他不可避免會按照自己的喜好去選擇內容,而頭條做的就是不選擇。。
豌豆莢聯合創始人、輕芒聯合創始人王俊煜卻在知乎上嗆聲:“技術是有價值觀的,取決於你想用來做什麽;面對現實不意味著沈淪於現實之中; 普通人今天也不僅僅需要娛樂,他們除了娛樂以外,也還需要更多。
今日頭條的競爭對手一點資訊,則是挖來了互聯網新聞的教父陳彤。用陳彤自己的話說,未來要在算法的基礎上加入新聞理念和情懷。
而總編輯陳朝華剛剛離職的搜狐,以及騰訊、網易都想要“人工+機器”兩者兼得。按照搜狐的說法,搜狐對新聞內容展示方式進行了調整,采用“編輯流+推薦流”的模式。但兩者究竟怎麽結合,目前外界還沒看到一條清晰的路徑。
事實上,如果把這幾件事聯系起來看,背後其實是同一個問題:在新聞資訊領域,如何處理人工編輯和機器算法之間的微妙關系?
十幾年前門戶崛起時,有匠心的編輯和有經驗的內容團隊無疑最重要。陳彤曾用一本《新浪之道》解構網絡新聞運作,其中舉例道,在“9.11”恐怖襲擊發生時,新浪網編輯在事件發生之際捕捉到最早的信息,事件發生9分鐘後發布了第一條新聞,並且將這條快訊放置在新浪首頁和新聞中心首頁重要位置,。這是中國大眾傳媒對“9.11事件”發出的第一條報道。
而現在的信息碎片化時代下,連門戶自己都已經被稱作“傳統媒體”,甚至連接 wifi 的 app、手機垃圾清理工具都塞滿"新聞"。伴隨著新聞熱點的多元化,海量的新聞內容來滿足讀者對資訊的閱讀需求,如果繼續單純依賴人工編輯,受到內容數目的限制,內容分發效率確實不高,而且,人工編輯往往集中於最熱門的頭部內容,往往“千人一面”,更長尾的內容則很難再有精力覆蓋。
機器算法正好擅長這些難題,一方面,它通過采集海量的信息,然後通過數據挖掘,智能分析出每時每刻最熱門最值得用戶關註的資訊;另一方面,推薦引擎會根據用戶對用戶瀏覽、收藏、轉發、評論新聞資訊的行為不斷進行分析,再結合其閱讀喜好、習慣、閱讀時間、閱讀位置等多個維度,建立起個人用戶模型,兩者結合後,智能地為用戶推薦越來越精準的個性化信息。當你使用次數越多,針對你的個性化資訊推薦就變得越準確。
簡單來說,就是把搜索與推薦的技術優勢最大化地嫁接在新聞客戶端上,通過上億級別的因素組合來挖掘、分析數據,尋找各種規律間的聯系,分析用戶興趣並推送其所需信息。
因此,在張一鳴眼里,今日頭條不是做新聞,而是做信息的獲取,做法思路和過去完全不一樣,現在完全是從滿足用戶需求的角度,而不是取決於主編的才華。
可以看到的是,基於海量數據的機器學習算法無疑令分發效率顯著提高。但與此同時,算法提供的內容對用戶的價值是否也有相應的提升?
特別是,如果一味依賴話題數據指標和話題相關性的算法分發,由於讀者獵奇心或是出於心理最微妙的興趣使然,追求槽點和趣點的聲音占據了大多數,這就讓信息趨於片面。輿論“狂歡”的背後,隨之而來的可能就是標題黨、涉黃新聞、無營養的雞湯文大、聳人聽聞的低劣內容等大行其道。
舉個簡單的例子,出於當你在頭條點擊一條“原配暴打小三”或是某類犯罪新聞,系統根據你的瀏覽記錄,每天自動為你源源不斷地推送相似單一的內容。而這正是因為“聰明的算法”。
這也是外界對於頭條類個性化推薦新聞App的批評之一:你不能用算法一味迎合讀者的低級趣味。
正如鳳凰網CEO劉爽所言,“海量讀者因為非常聳動的標題被吸引過去,看了以後立刻走人,雖然他個人的體驗很不愉快,但他點擊這個行為留下來了,被算法捕捉到,所以形成了惡性循環,越多的人被吸引,它也會給這個新聞更多的權重,所以會推薦開去,這嚴重影響了閱讀的體驗。”
除了可能把大眾閱讀的口味引向低俗化,另一個可能隨之而來的問題還有,如果一味迎合用戶興趣,“千人千面”的個性化浪潮是否會形成信息孤島,從而擠壓掉他們真正感興趣或者培養新興趣話題的生存空間,他們感知新事物的機會越來越少。?
美國芝加哥大學教授凱斯•桑斯坦曾在《網絡共和國》討論過類似的情形:為每個讀者量身定制的“個人日報”式的信息選擇行為,會導致網絡繭房的形成。當個人長期禁錮在自己所建構的信息繭房中,久而久之,個人生活呈現出一種定式化、程序化。長期處於過度的自主選擇,沈浸在個人日報的滿足中,失去了解不同事物的能力和接觸機會,不知不覺間為自己制造了一個“信息繭房”。
而且,至少目前來看,機器的算法還不是萬能的。
此前,Facebook曾把其推薦最熱內容的“趨勢話題(Trending Topic)”撤掉人工編輯,改為全部機器算法執行, 希望由此降低主觀因素對推薦內容的影響,結果不過還不到 3 天,完全依靠演算法篩選熱門新聞的趨勢話題,讓一則關於美國大眾新聞主播梅根•凱利(Megyn Kelly)的假新聞登上版面,更導致一張普利策獲獎照片被算法認定是情色圖片直接刪除而成功激起民憤。
對於人工編輯而言,要想避免這些錯誤非常容易,但 Facebook 篩選趨勢話題的演算法依賴於這一話題相關文章和貼文數量,相對來說較容易讓假消息、騙點擊標題的新聞登上版面。
從趨勢來看,未來算法技術必定走向人工智能化,依靠它們能夠解決的事情包括對用戶畫像、洞察的判斷……但在技術背後,如何註入人文情懷?至少優秀內容人的直覺、經驗和匠心仍然不能被替代。
Next Page