再過幾年,每一台電腦、每一台機器人,都可能是一座微型 Data Center。
傳聞 Apple 正在開發的 M7 Ultra,最高可支援 1.5TB 統一記憶體。雖然規格與上市時間尚未確認,但趨勢已經很明顯:
本地端機器只會越來越強,模型則會透過量化、蒸餾與稀疏化,變得越來越小、越來越有效率。
今天需要 Data Center 才能運行的模型,幾年後可能一台 Mac Studio、AI PC,甚至機器人就能跑。
未來大型 Data Center 仍會負責訓練 Frontier Model;但日常的 AI Agent、影像生成、資料分析與機器人決策,會有越來越多直接在本地完成。
尤其當機器人大量普及後,每台機器人都需要強大的晶片處理視覺、語音與動作,但它們不會 24 小時工作。
在充電或待機時,這些閒置算力就可以被釋放出來,處理批次推論、模型評測、影片生成等可拆分的任務,再替主人賺取收入。
當然,一萬台分散式電腦不等於一座萬卡 GPU Cluster,它們不適合共同訓練同一個超大型模型,卻可以同時完成一萬個不同的推論任務。
所以 Data Center 不會消失,但算力也不會永遠只集中在 Data Center。
上一個時代,是每個家庭都能上網。
下一個時代,可能是每個家庭都能提供算力,讓電腦與機器人在閒置時,繼續替你工作、創造被動收入。
伊利諾理工學院,一個不是很大的學校,排名也不算太高,但還可以的學校,前幾天解僱了一百多個教職員,教授和職員各半,而被裁的教授裡,有好些是有終身職(tenure),造成不少騷動,現在美國大學就要開學了,伊利諾理工此舉,對學校和學生都有不小影響。先說一下美國大學終身職教授能不能解僱,一般說來是不行,不然tenure這種用來保護言論和學術自由的機制就沒用了,但私立學校通常在學校設立章程裡會規定,「如果因為有財政困難financial exigency」,終身職教授可以解僱,伊利諾理工就是先由校董會宣告了財政困難,所以才能夠大量裁員。
被解僱的教授裡有一個電腦系的教授,是電算學院的創始院長,據說在電腦科學界還算是知名人士,叫Lance Fortnow。這是很奇怪的決定,因為解僱這麼多人,本身就會鬧上新聞,但如果是冷門科系,那還可以說是假財務之名,行重整部門之實,但一開,就把熱門系的大牌給開了,那真的是財政問題了。如果沒必要,真的不會砍這麼大牌,因為會影響未來招生,而招生似乎就是伊利諾理工的問題所在。
私立學校裡面,除了排名很好的名門,本身就很有錢,招生也沒困難外,大部份的私校,都要面臨making the class的問題。每一年學校放的錄取通知,會有多少轉換成真的入學學生,然後這些學生付的學費,夠不夠學校營運,都是一大考驗,因為這些學校通常都沒有大量的校產基金(endowment),所以如果沒辦法make the class,學校就立刻面臨預算赤字。如果是一、兩年的短期財政赤字,學校可以向銀行借,或是挪用一下校產基金,但如果長年沒辦法make the class,那就只能裁員。但在學術界,裁員不是那麼容易的事,一來象牙塔裡的教授,什麼不會,吵架一流,所以行政當局能避免惹惱蛋頭學者,就要盡量避免,二來,裁員會製造恐慌,尤其是如果讓學生或是家長開始擔心學校沒辦法持續下去,那招生就立刻會雪上加霜,誰會想去一個可能會關門的學校上學 ?因此,裁員通常就是學校走上關校的不歸路的開始。
伊利諾理工的問題有多大呢?2025年比2024年,少了一千二百個學生,這是個本科加研究生才七千多學生的學校!假設一個學生帶來的學費、住宿費收入是三萬美元,那1200名學生的減少,就是少了三千六百萬的收入。伊利諾理工的年度預算在三億左右,一下就少了十分之一強的經費,能不砍人嗎?高等教育機構最大的支出就是人事費用,不砍人沒辦法減少支出,而且學生數目減少的勢頭,也不是去年才發生,所以只有幾億美元的校產基金,應該有借用不少,所以才被逼要裁掉一百多人。今年看起來又辦法make the class,所以才趕在開學前動手。
少掉的學生是什麼學生呢?研究生,尤其是國際學生。美國現在越來越不歡迎國際學生,學費貴、簽證難、留下更難,除非真的上了名校,不然像伊利諾理工,或是排名更後面的學校,學生要來留學的動力,自然更少。川普想要修理哈佛這些菁英學校,結果死的卻是排名後面的可憐蟲。川普也砍科研經費,像伊利諾理工這種理工學校,也有一部份經費靠政府,在兩面挾擊下,遭到重創,而且美國本土的本科生正面臨人口斷崖,因為高中畢業生開始減少,因此伊利諾理工也沒辦法多收本科生來補。現在鬧了這個新聞,對新生來說,要不要來唸,又是要考慮一下,一考慮,伊利諾理工就財政更困難了。
中國新的出境管制不知道對今年的留學生有沒有影響,伊利諾理工這種常年依賴中國留學生的學校,享受了幾年的好日子,但該還的債,還是得還。敝校沒有什麼中國留學生,影響雖然不大,但我們的排名也很後面,所以我已經挫在等很久了,哪一天工作沒了,我也只能懶蛋挾緊,認了。