📖 ZKIZ Archives


回憶Netflix百萬美金大獎激烈之過程

http://slamnow.blog.163.com/blog/static/19931823620111021101316947/

2006年10月DVD零售公司Netflix宣佈了一項競賽,任何人只要發明了好過它現有電影推薦算法Cinematch 10%的新方法就能獲得7位數的獎金。短短2周它就收到169個遞交,一個月後就超過了一千。

    但當得分最高者離目標只剩一半的時候, 之前看起來簡單的事情變得越來難,進展越來越慢。目前排在Netflix Prize得分榜前列的參與 者都很接近,僅有小數點的差距。第一名是來自AT&T的研究小組BellKor,它的算法 比Cinematch好8.43%(最新統計:第一名是3月1日遞交的When Gravity and Dinosaurs Unite,高8.82%)。這場比賽已經演變成一場學術研究事件,像BellKor根本就不是為 了金錢,一些參與者甚至還將自己的算法完整公佈出來供同行參考,而多數參與者都是搞數學研究的。

    當人們認為10%的目標有點遙不可及的時候,2007年 10月一個名字叫「Just a guy in a garage」的競爭者突然冒了出來,並迅速擠進前10。他遞交的第一個就達到了7.15%,12月20日他超過多倫多大學團隊,今年1月8 日,他達到了8%,現在是8.14%。一開始沒人知道這位匿名參與者究竟是何方神聖,因為他連鏈接都沒留下。《連 線》雜誌最終找到了他:

Gavin Potter,48歲,英國人,心理學肄業生,管理顧問,2006年離開IBM去研究不熟悉的機器學習。他把參與Netflix Prize當作是事業,他說「我想在沒有取得一些進展之前提供一個link是任何意義的」,「決定參加Netflix Prize是嚴肅的,看起來有幾分玩笑意味。但並沒有多少把握,因為我不是搞研究的,也不是數學家。優勢是作為一位沒有工作的心理學者,我的時間很充 裕」。Gavin Potter在他的算法裡應用了心理學方法,女兒Emily是他的數學參謀。或許讓心理學家和計算機科學家聯合起來才能取得最後的成功。

    2009年6月26日,新算法BellKor's Pragmatic Chaos,首 次突破了10%門檻,達到了10.05%。如果在接下來的30天內無人能遞交高於BellKor的新算法,那麼它將贏得這場比賽。

7月26日,比賽結束的最後一天風 云突變,本來以為勝券在握的BellKor於18:18遞交了他們的新算法——超過10.09%,20分鐘之後的18:38,The Ensemble團隊也遞交了他們的最新算法,超過 BellKor's Pragmatic Chaos僅0.01%,達到10.10%,成為最新的領跑者。無疑這是對BellKor團隊的一次無情痛擊。

    Netflix的電影推薦算法競賽結束前20分鐘,發生了一件戲 劇性的事件,包括國內開發者xlvector在 內的The Ensemble團隊遞交了一個新算法,比長期領跑的BellKor's Pragmatic Chaos的算法只高出0.01%,從而有資格問鼎百萬美元獎金。

然而不幸的是,根據Netflix剛剛發表的獲 獎結果,The Ensemble團隊因為比BellKor晚 提交了20分鐘而與冠軍失之交臂。測試結果顯示,The Ensemble的算法和BellKor's Pragmatic Chaos都為10.06%,但時間差使前者屈居第二。Netflix同時還宣佈Netflix Prize 2,但相關細節和規則透露的不多。《紐約時報》博客採訪了Ensemble團隊的領導者Greg McAlpin,他表示合作有利於創新,但合作也需要克服困難,他認為多數的合作沒有什麼用。

    DVD租賃商Netflix發表聲明,正式宣佈了Netflix Prize 2。

聲 明稱Netflix Prize 1算法競賽獲得了廣泛的關注,取得了非凡的成績,他們預期將在9月底宣佈100萬美元的獲勝者。但就像每一部優秀的電影都有續集,Netflix Prize也有續集Prize 2。Netflix Prize 1競賽用了3年,Prize 2將不會用這麼長的時間,它將是一個更富有挑戰性的短期限時競賽,預計時間6到18個月。關於Netflix Prize 2的細節將在宣佈Prize 1獲勝者時公佈。


PermaLink: https://articles.zkiz.com/?id=29517

Next Page

ZKIZ Archives @ 2019