久久综合色8888_91麻豆6部合集magnet_中文字幕日韩欧美在线_欧美激情高清视频

 

穀歌創始人布林:當年發完Transformer論文,我們太不當回事了

作者:探索 來源:熱點 瀏覽: 【 】 發布時間:2025-12-20 09:45:51 評論數:



機器之心報道

機器之心編輯部

現在的大學生該選什麼專業?未來一百年的大學會是什麼樣子?業界 AI 如此強勢,學界還能做什麼?創始穀歌在過去二十多年裏做對了什麼,又有哪些遺憾?人布

在斯坦福大學工程學院百年慶典的收官活動上,穀歌聯合創始人謝爾蓋?布林重返母校,林當論文與校長 Jonathan Levin 以及工程學院院長 Jennifer Widom 展開了一場對談。不當



視頻鏈接:https://mp.weixin.qq.com/s/ULgd7QcHLXfX8VGil6ATtQ

布林於 1993 年進入斯坦福工程學院,攻讀計算機科學研究生。谷歌讀研期間,創始他結識了拉裏?佩奇。人布兩人共同開發了一種搜索算法,林當論文並於 1998 年創辦了穀歌。不當

回顧穀歌的回事來時路,布林坦言 8 年前提出 Transformer 時,谷歌他們沒有予以足夠的創始重視,而且因為擔心聊天機器人說蠢話而害怕將其展示給世人。人布但他同時認為,他們這些年也做了很多正確的事情,比如投資研發 TPU 並建立規模龐大的數據中心。

對於未來,布林也表達了一些自己的看法,比如認為大學未來可能不應該再限製於某個地理位置,學界未來應該投身更具探索性質的研究,材料等科研方向可能被低估了……

以下是這場對話內容的摘錄。

Google 早期做對了什麼?

學術基因、敢碰難題

校長:Google 已經是一家市值 4 萬億美元的公司,業務範圍極其廣泛。你們這些年肯定做了很多正確的決定。有沒有什麼是你們在創建 Google 初期就做對的事情?

布林:我覺得早期的話,Larry 一直非常有雄心。他現在也是。對你提出的每個計劃,他幾乎都會說「這不夠有野心」。我們確實很早就有了非常宏大的使命宣言 —— 整合全球信息。我認為這是創辦公司的一個很好的理念基礎。

另外,我們創建了一家相當學術化的公司。我和 Larry 都是從博士項目出來的,當時很多創業公司是大學生創辦的。我確實認為這會稍微改變你思考問題的方式。我們從早期就非常重視基礎研發投入。

校長:我覺得有充分的理由說 Google 是過去 25 年全球最具創新力的公司。無論是產品創新,還是很多重大決策,比如收購 YouTube 發展視頻業務、收購 DoubleClick 做廣告、還有 Waymo。技術創新從一開始就很突出,現在做芯片也是。大公司保持高度創新是很難的,每個人都在這方麵掙紮,但你們做到了。很多人認為你個人在這方麵有很大影響。你是怎麼思考培育創新文化的?

布林:部分原因就是敢於嚐試。因為我們有學術根基,可能更傾向於嚐試困難的事情。

進入過去十年左右,困難的事情變得越來越有價值。以 AI 為例,它所需的計算量、所需的高深數學,這些都是技術上深奧且具有挑戰性的問題。命運的安排使得這些在當今世界變得重要。

曾經有一段時間,你可以做 pets.com,任何東西都可以加個.com。技術深度要求不高,懂點網絡就行?,F在我們招的人比我當時要合格得多。我當時算是偏數學的計算機專業,因為本科同時學了數學和計算機,這在我那屆比較少見。但現在我們從斯坦福和其他頂級項目招的人,數學和計算機都很強,還有很多物理學家,因為物理學家必須做高深數學,而且他們的很多工作受限於計算能力,所以他們也需要計算技能。我覺得我們隻是運氣好,在那個方向上稍微早一點就確定了方向。

Transformer 論文發了

我們卻沒當回事

校長: 談談 AI 吧。每個人都在關注它。你回到 Google 從事這方麵的工作。你們在很多方麵都處於前沿,競爭非常激烈。投入 AI 基礎設施的資本達到數千億美元,單個公司層麵都是這樣。你怎麼看當前 AI 領域的格局?

布林:我們確實在某些方麵搞砸了 —— 我們投資不足,大約八年前發布 Transformer 論文時沒有足夠重視。我們沒有太當回事,沒有投資擴展計算規模。而且我們太害怕把它展示給用戶,因為聊天機器人會說蠢話。OpenAI 抓住了機會,他們做得很好。這是非常聰明的洞察,而且是我們的人比如 Ilya 去那裏做的這些事。

但我確實認為我們仍然受益於那段漫長的曆史。我們在神經網絡的研發上有很長的積累,可以追溯到 Google Brain。這也有點運氣成分。雇到 Jeff Dean 不是運氣 —— 能得到他我們很幸運 —— 但我們當時就有「深度技術很重要」的心態,所以我們雇了他。我們從 DEC(迪吉多)挖了很多人,因為他們當時有頂級研究實驗室。Jeff 對神經網絡很有熱情,源於他大學時的實驗。他 16 歲時就在做治療第三世界疾病和研究神經網絡之類的瘋狂事情。他建立了整個團隊。

當時在我負責的 Google X 部門,我讓他做他想做的。他說「我們能區分貓和狗了」,我說「好吧,酷」。但你要信任你的技術人員。很快他們就開發出各種算法和神經網絡,用於我們的一些搜索功能。然後有人提出了 Transformer,我們能做的事情越來越多。

所以我們有基礎,有研發積累。確實有幾年投資不足,沒有足夠重視。但我們當時也開發了芯片,TPU 大概有 12 年曆史了。最初我們用 GPU,可能是最早使用 GPU 的公司之一,然後用 FPGA,然後開發自己的芯片,現在已經迭代了無數代。對深度技術的信任、獲取更多計算能力、開發算法 —— 同時我們長期以來一直是計算的大投資者,數據中心規模很大。除了亞馬遜 AWS,很少有公司有那種規模的數據中心、自己的半導體、深度學習算法等所有這些堆棧組件,能夠在現代 AI 前沿競爭。

AI 會寫代碼了

還要學計算機嗎?

校長:我們這裏大約有 250 名學生,很多是本科生,相當多的人還沒選專業,因為斯坦福給本科生很大的靈活性。幾年前我們可以預測大量學生會選計算機科學作為專業。你是否建議他們繼續選計算機科學?

布林:我選計算機科學是因為我對它有熱情,所以對我來說是很自然的選擇。你可以說我也很幸運,因為我正好在一個如此具有變革性的領域。我不會因為 AI 現在編程能力還不錯就不選計算機科學。AI 在很多事情上都相當不錯。編程之所以受關注是因為它有很大的市場價值,所以很多人追求它。而且更好的編程能帶來更好的 AI,所以像我們這樣的公司非常重視它。我們大量使用它來編程,甚至用於算法創意。

所以我不會因為 AI 擅長編程就轉去學比較文學。說實話,AI 在比較文學方麵可能更強。我無意冒犯比較文學專業的學生,但當 AI 寫代碼時,有時候會犯相當嚴重的錯誤。而在比較文學論文裏寫錯一句話不會有那麼嚴重的後果。所以 AI 做一些創意性的事情其實更容易。

未來一百年

大學還會是現在這個樣子嗎?

校長:今年是工程學院的百年紀念。如果你是院長,要啟動學院的第二個百年,你會怎麼思考?

布林:我想我會重新思考大學意味著什麼。我知道這聽起來有點煩人 —— 這是 Larry 會說的那種話,我會對他很惱火。但我們有這個地理上集中的東西,有建築,有豪華的報告廳。但現實是,現在信息傳播非??臁:芏啻髮W已經上線了開放課程,任何人都可以上網學習,可以和 AI 聊天。

那麼擁有一所大學意味著什麼?如果你想最大化影響力,限製在地理位置可能不會那麼有效。當然,灣區是個特殊的地方。但我不知道在未來一個世紀,工程學院和大學的概念是否還會和以前一樣。人們到處移動,遠程工作,跨地域協作。這有點矛盾,因為我們正試圖讓人們回到辦公室,我確實認為他們在一起工作效果更好,但那是在特定規模下。如果你有一百人在那邊,他們不一定要和另外一百人在同一個地方。

我越來越看到一些個人創造新事物,不管有沒有學位。雖然我們雇了很多學術明星,但我們也雇了大量沒有學士學位的人,他們就是在某個奇怪的角落自己摸索出來的。我不認為我能神奇地給你新配方,但我覺得這種形式不太可能是未來一百年的模式。

大公司基礎研究這麼強

學術界還能做什麼?

學生提問 1:Google 很大程度上源自您在學術界完成的 PageRank 研究。而在今天,越來越多的創新由工業界主導,您是否仍然認為「從學術到產業」的這條路徑依然重要?如果重要,又該如何去強化它?

布林:說實話,我可能隻能回答一句:我也不太確定。

我讀研究生的時候,一個新想法從被提出,到真正具有商業價值,往往要經曆幾十年的時間。在這樣的時間尺度下,學術研究是非常合理的:你有足夠的自由,可以慢慢思考、申請經費、反複試驗,一個問題可以研究二三十年,最後才慢慢「滲透」到產業裏,可能是被大公司吸收,也可能變成一家創業公司。

但如果這個時間被大幅壓縮呢?如果一個想法從出現到落地隻需要幾年,甚至更短,那這條路徑是否還同樣成立?我覺得這是一個值得重新思考的問題。

當然,有些事情仍然是有意義的。即便是在 AI 領域,我們也會持續關注斯坦福等高校的研究,偶爾招聘一些研究人員,或者展開合作。但很多情況下,你很難說這些工作一定 “必須” 在學術界先醞釀很長時間 —— 比如某種新的 attention 機製,可能在大學裏實驗兩年,隨後就被帶進了工業界。但問題是,工業界本身也在做同樣的事情。所以在這些方麵,學術界的 “先行期” 未必有特別不可替代的優勢。

也許在更激進、更底層的創新上,情況會不一樣。比如全新的模型架構、全新的計算範式。這類方向,工業界雖然一旦決定投入就能擴展得非常快,但最初的探索,可能仍然更適合在學術環境中進行。

量子計算就是一個例子。這個想法在上世紀八十年代左右被提出,之後很長時間都停留在理論和實驗室階段。現在,一方麵有很多公司在推進量子計算的工程化,另一方麵,大學實驗室仍在嚐試各種完全不同的實現路徑。這類方向正好處在學術和產業的邊界上。

如果你提出了一種完全不同於主流路線的新方法 —— 比如既不是我們在做的超導量子比特,也不是很多初創公司在嚐試的離子阱方案 —— 那它可能確實需要在大學裏慢慢發酵幾年。這類問題非常困難,也很冒險,放在學術環境中是合理的。但一旦你真的確信它是可行且有前景的,最終你大概率還是會把它推進到商業化階段,以某種形式進入產業。所以,我很難給你一個明確、非黑即白的答案。

因為現在的頭部科技公司,確實也在做大量基礎研究,而且在 AI 領域,我們已經開始看到這些長期投入的回報。這意味著,學術與產業之間的分工比例正在發生變化。

但我仍然相信,有些研究 —— 那種需要十年甚至更久、以純探索為主的研究 —— 產業界往往是不願意承擔的,因為它們的時間跨度實在太長,不符合「上市時間」的邏輯。而這些,可能仍然是學術界不可替代的價值所在。

Google Glass 的教訓

別以為自己是下一個喬布斯

學生提問 2: 隨著 AI 以前所未有的速度加速,像我這樣年輕有抱負的創業者應該采取什麼心態來避免重蹈覆轍?

布林:避免重蹈覆轍的心態?當你有很酷的新穿戴設備想法時,在做涉及跳傘和飛艇的炫酷特技之前,一定要把它完全打磨好。這是一個建議。

其實我喜歡我們當年在 Google Glass 上做的事情,但那是一個以前犯錯的例子。我試圖在它足夠成熟之前過快商業化,在成本效益和消費者體驗方麵都沒準備好。我有點操之過急,以為自己是下一個喬布斯,可以搞定這個東西。

我想說的是,每個人都以為自己是下一個喬布斯,我肯定犯過這個錯誤。但他是一個非常獨特的人。所以我建議確保你的想法在足夠長的時間裏得到充分發展,然後才進入那個必須不斷奔跑的階段 —— 外部期望增加,開支增加,你必須在某個時間交付。你可能沒有足夠的時間做完所有需要做的事情。你會陷入一種期望滾雪球的狀態,沒有給自己足夠的時間來處理。這是我會盡量避免的錯誤。

AI 的下一個前沿方向是什麼?

學生提問 3:我們看到很多 AI 公司通過擴展數據和計算來改進大語言模型。一旦數據和計算都用盡了,你認為下一個方向是什麼?會是新的架構,transformer 的替代品?還是更好的學習方法,比監督學習或強化學習更好的東西?

布林:你提到的這些方向 —— 新架構、新訓練方法 —— 在我看來,其實早就已經比單純擴算力、擴數據更重要了。

隻是因為擴算力太顯眼了:建數據中心、買芯片,再加上 OpenAI、Anthropic 關於 scaling law 的那些論文,很容易讓人覺得一切進步都來自 scaling。但如果你仔細對比,會發現過去十年裏,算法層麵的進步,其實跑得比算力提升還快。

我讀研時見過一張關於 N-body 問題的圖 —— 就是引力係統裏大量粒子相互作用的計算。從上世紀五十年代到九十年代,算力遵循摩爾定律暴漲,但真正讓問題可解的,是算法改進,而且算法的進步幅度遠遠超過了算力增長。所以我認為,像我們這樣的公司當然不會放棄站在算力前沿,但那更像是甜點。真正的主菜,還是算法上的突破。

院長:我也補充一句。對算力不夠這件事,我們在大學裏其實早就非常熟悉了。高校根本不可能擁有和工業界同量級的算力,差距非常明顯。但這反而逼著我們去做另一類創新:在算力受限的情況下,如何把事情做好,如何用更少的資源做更多的事。這些研究我們已經做了很久,而且會持續做下去。

什麼技術被嚴重低估了?

學生提問 4:你們認為哪種新興技術的長期影響被嚴重低估了?

布林:顯然我不能回答 AI—— 很難說它被低估,即便從某種意義上講它可能仍然被低估,但它已經不算是「新興」了。

很多人會提到量子計算,討論它最終能帶來什麼。我個人也很支持量子計算相關的研究,但要說這是我最有把握的答案,其實也不是。這裏麵的不確定性太多了。

從計算理論上說,我們甚至都還不知道 P 是否不等於 NP。整個計算領域裏,還有大量最基礎的問題沒有答案。而且量子算法通常隻對非常特定、結構性很強的問題有效。所以這一方向我很看好,但要精準回答被低估,其實不太容易。

如果一定要說的話,我可能會把目光投向材料科學 —— 無論是 AI 還是量子計算,在材料領域的應用潛力都巨大。

如果我們能創造出性能全麵提升的新材料,可能帶來的變化幾乎是無限的。

校長:我其實也在想材料科學這個方向,而且正因為你提到了被低估這個詞?,F在關於技術創新機會的討論非常熱烈,像聚變能源、量子計算這些方向,其實已經得到了相當多的關注,很難說它們被忽視了。AI 更不用說。但材料科學在我看來,確實是一個被低估的方向。此外,還有生物與健康領域 —— 尤其是分子科學層麵的機會非常多,正在發生一場不小的革命,隻是它們目前得到的關注度,明顯不如 AI。

院長:我正好想說同樣的事情。我能明顯感覺到「聚光燈」在不同領域之間移動,而現在,聚光燈幾乎全部打在了 AI 上。但在此之前,它曾經照在生物領域,而這束光不應該熄滅。合成生物學裏正在發生很多非常令人興奮的事情。所以我覺得,我們需要把這束聚光燈稍微拉寬一點。

最近更新

久久综合色8888_91麻豆6部合集magnet_中文字幕日韩欧美在线_欧美激情高清视频
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | |