注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 実践動画
実践動画 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 実践動画 的推特
【#行走美麗畫卷|福建武夷山:護好這片山水人文寶地】2021年3月,習近平總書記在福建考察時說:“武夷山有着無與倫比的生態人文資源,是中華民族的驕傲,最重要的還是保護好。”# 作為中國為數不多同時擁有世界自然與文化雙重遺產的區域,武夷山的價值早已超越普通山水名勝。這裡丹山奇秀、九曲溪澄澈如練。武夷山國家公園森林覆蓋率超96%,2800餘種高等植物、7000多種野生動物和昆蟲在此棲息繁衍,是中國東南地區重要的生態屏障;這裡也是朱子理學的發源地,千年儒釋道文化在此交融,古崖居、閩越王城遺址散落山間,更有傳承千年的武夷岩茶製作技藝延續至今,山、水、林、茶渾然一體,構成了生態與人文深度交織的獨特畫卷。 這份資源既是大自然與歷史留下的寶貴饋贈,也對保護工作提出了更高要求。近年來,武夷山始終將生態保護擺在首位,建立起覆蓋全域的生態保護機制,嚴格管控核心區人類活動,有序實施生態移民減輕環境壓力,同時依託優質生態資源適度發展生態旅遊、茶文旅融合產業,讓當地群眾從生態保護中獲得實實在在的收益。 如今走進武夷山,目之所及是峰巒疊翠、溪水繞山、茶園吐綠的秀美景色,當地居民的生活水平也穩步提升。這一發展實踐,生動展現了人與自然和諧共生的現實路徑,也為全國生態保護與民生改善協同推進提供了可複製、可推廣的“武夷樣板”。
显示更多
【#行走美麗畫卷|四川宜賓:讓三江六岸重回清澈與蔥蘢】三江匯流處,宜賓因水而生、因江而興。奔流的江水塑造了城市格局,也讓守護一江清水成為這座“長江首城”的重要使命。# 2022年6月,習近平總書記在四川考察時強調,“要以能釀出美酒的標準,想方設法保護好長江上游水質,造福長江中下游和整個流域”。 曾經的宜賓也面臨“化工圍江、污染繞城”問題。近年來,通過清退高耗能高污染企業、關停江邊挖沙場、減少污水排放、建設濕地公園,岸線生態持續改善。 從治理污染到修復生態,從守住水質底線到重塑濱水空間,三江六岸重新鋪展綠意。水更清、岸更美的背後,是一座長江上游城市以實際行動守護一江清水的持續探索。 宜賓的變化,呈現的不只是城市生態環境的改善,也映照出長江上游生態保護與城市發展協同推進的生動實踐。隨着清澈江水穿城而過、綠色岸線不斷延伸,一幅人與自然和諧共生的美麗畫卷正在三江交匯處徐徐展開。
显示更多
【#行走美麗畫卷|重慶廣陽島:“開發熱土”的生態新生】2016年1月,習近平總書記在推動長江經濟帶發展座談會上強調,推動長江經濟帶發展必須從中華民族長遠利益考慮,走生態優先、綠色發展之路,使綠水青山產生巨大生態效益、經濟效益、社會效益,使母親河永葆生機活力。# 廣陽島地處重慶主城區東部銅鑼峽長江口,枯水期面積約10平方公里,蓄水期面積約6平方公里,是長江上游面積最大的江心生態島。曾經,這裡的過度開發讓原有生態系統傷痕累累,原生植被被破壞,生物多樣性銳減。2017年8月,重慶市叫停商業開發,將全島定位為“長江風景眼、重慶生態島”,正式開啟生態保護修復的新征程。 修復過程中,當地堅持“自然恢復為主、人工修復為輔”的理念,通過消落帶治理、水系連通、植被恢復等系統工程,重現了“山青、水秀、林美、田良、湖淨、草豐”的生態場景。如今的廣陽島,江水、草木、飛鳥與城市相映成景,成為長江流域生物多樣性保護與生態修復的成功典範。 從“開發熱土”到“生態寶島”,廣陽島的變化,正是重慶把“共抓大保護、不搞大開發”落到實處的生動寫照,不僅為長江大保護提供了可複製的實踐樣本,更生動詮釋了“生態優先、綠色發展”理念的蓬勃生命力。
显示更多
【#行走美麗畫卷|寧夏賀蘭:“稻漁共生”走出生態農業新路徑】2020年6月,習近平總書記在寧夏賀蘭縣考察時說,要注意解決好稻水矛盾,採用節水技術,積極發展節水型、高附加值的種養業,保護好黃河水資源。# 賀蘭縣地處賀蘭山下、銀川平原引黃灌區腹地。這裡乾旱少雨、蒸發旺盛,疊加長期引黃灌溉抬升地下水位,鹽分隨水分蒸發不斷在地表富集,大片土地淪為鹽鹼荒灘,土壤含鹽量高、土地產出效益低。 近年來,當地大力推廣稻漁綜合種養、“以漁治鹼” 模式,通過在稻田中開挖溝渠養殖魚、蟹、鴨等水生動物,構建起自然循環的種養生態系統:水稻為水生動物提供遮陰環境和天然餌料,動物的活動不僅能疏鬆土壤、捕食害蟲,其排泄物還可作為水稻的有機肥料。這種“稻漁共生”的立體循環種養系統改善了土壤結構,讓白鹼灘蛻變為稻豐魚肥的豐產良田。昔日的普通村落也變身為生態打卡地,當地農戶完成了身份轉變,被“編”進了農旅融合的產業鏈,收入不斷提高。 賀蘭縣的“稻漁共生”實踐為黃河流域生態保護和高質量發展提供了可借鑑的“塞上樣本”,不僅是對“綠水青山就是金山銀山”理念的生動詮釋,更昭示着黃河沿線地區只要立足資源稟賦、遵循生態規律,就完全能夠走出一條生態美、產業興、百姓富的可持續發展之路,讓黃河真正成為造福人民的幸福之河。
显示更多
【中國按下“緩衝鍵”,展現大國戰略遠見】美國《紐約時報》前專欄作家馬克斯·費舍爾近日發布的一段名為“中國悄悄拯救了世界”國際能源觀察視頻,在海外社交平台引發廣泛共鳴。畫面裡,他攤開一張全球油輪航線圖說:“最讓人意外的不是誰在搶油,而是誰在放慢腳步。”這條視頻播放量突破600萬,2萬多條留言裡不少網友用“清醒”“穩妥”來形容中國的應對。 作為全球能源運輸的咽喉要道,霍爾木茲海峽近來通航形勢持續緊張,推高了國際原油的風險溢價。按照過往市場邏輯,地緣衝突引發供給擔憂時,主要消費國往往會加急採購、囤積庫存,而供需缺口的放大會進一步拉動油價上漲,通過能源成本向全球通脹傳導。本輪中東局勢升級後,市場對能源價格反彈衝擊全球經濟復甦的擔憂持續升溫,“搶油潮”的預期一度瀰漫在大宗商品交易市場。 但是,中國市場給出了不一樣的答案。國內煉化企業順勢調整生產節奏,靈活有序放緩了高價原油的新增採購,從需求端平緩了進口增速。中國以一種極為克制的方式,為緊張的全球供需按下了“緩衝鍵”。《華爾街日報》撰文指出,中國減少石油進口的舉動,為承壓的世界經濟提供了重要支撐;法國《費加羅報》說,這是中國自2008年國際金融危機以來,第二次為全球經濟穩定發揮關鍵作用。 長久以來,全球應對石油危機的思路主要圍繞供給端展開,大型消費國大多只能被動承受價格波動。但這次的實踐表明,超大規模消費市場同樣可以通過產能調節、庫存調度發揮緩衝作用,成為維繫市場均衡的重要力量。路透社認為,本輪中東局勢升級以來,中國原油採購量的縮減,在相當程度上抵消了中東供給波動帶來的衝擊;《金融時報》也評論稱,中國正成為影響全球石油市場平衡的關鍵變量。 中國為何能反其道而行之,走出一條不同的軌跡?這份底氣來自於中國的戰略遠見。 前些年國際油價處於低位周期時,中國穩步推進商業庫存體系建設,逐步積累起厚實的家底。本輪油價上漲過程中,國內市場暫停了常規的商業庫存增持節奏,以前期積累的存量替代部分高價進口,既保障了國內煉化的基本運行需求,也避免了在國際市場高位搶貨進一步加劇供需緊張。手裡有糧、心中不慌,充足的儲備正是中國能夠靈活調節進口節奏的直接支撐。 經過持續深耕,中國已形成順暢高效的商業庫存周轉體系,原油進口來源持續向巴西、非洲等國家和地區拓展,不斷降低對單一運輸航道的依賴。更重要的是,市場化的煉化運行機制日益成熟,企業能夠敏銳捕捉價格與風險信號,靈活調整採購與生產計劃。這種多元、彈性的能源供給體系,讓中國在面對地緣局勢擾動時,擁有了更多騰挪空間。 站在更長遠的視角看,真正重塑能源邏輯的,是一場正在向縱深推進的綠色轉型。國際能源署的數據顯示,今年二季度,僅電動汽車一項,中國日均替代的原油量就達150萬桶,遠超市場此前的普遍預期。中國新能源的快速發展,不僅重塑著自身的能源格局,也在悄然改變著全球能源市場運行的底層邏輯。 從過去國際能源價格波動的被動接受者,到如今全球市場平衡的主動穩定者。變化背後,是中國能源發展一以貫之的穩健邏輯——把自己的能源飯碗端穩端牢,以自身發展的確定性應對外部環境的不確定性,這本身就是對全球市場穩定最實在、最持久的貢獻。
显示更多
隻手難遮的仰望:從家庭教會的屋頂,看極權與信仰的生死結 楊純華 ​這幾年,關於中國大陸家庭教會被查封、牧師被帶走、十字架被拆除的新聞,早已不再是新聞,而是變成了一種常態性的背景噪音。那些本該在主日傳出讚美詩的聚會所,被貼上了冰冷的封條;那些拒絕將政治標語掛進講壇的傳道人,轉瞬之間成了法庭上的囚徒。 ​每當看到這類消息,人們總不免產生一個巨大的困惑:中國《憲法》第三十六條明明赫然寫著「中華人民共和國公民有宗教信仰自由」,為什麼一個掌握著軍隊、武警、大數據監控和龐大經濟體系的強大政權,會如此容不下幾十個、幾百個在民房裡低聲祈禱的普通信徒?為什麼他們甘願公然撕毀自己寫下的憲法承諾,也要把這群人趕盡殺絕? ​要理解這種近乎偏執的恐懼,法國思想家托克維爾在《民主在美國》中留下的洞見,恰好提供了一面最好的鏡子。 ​兩套靈魂重塑計畫的對撞 ​托克維爾在19世紀考察美國時,曾驚嘆於宗教信仰與自由制度之間的微妙平衡。他發現,美國的宗教不直接掌權,也不靠政府強迫,卻能通過家庭、社區和道德,在社會深處發揮約束人心、維系穩定的作用。 ​「自由如果失去信仰,很容易變成放縱;民主如果失去道德,很容易滑向多數人的暴政。」 ​托克維爾敏銳地看到,宗教為世俗社會提供了一個超越物質的道德邊界和最高責任。 ​而這,恰恰點中了中共最深層的政治死穴。 ​在極權主義的邏輯裡,政權不僅要統治人民的肉身,更要壟斷人民的靈魂。中共的意識形態本質上是一種「世俗宗教」,它要求絕對的效忠、唯一的真理,以及對領袖和組織的無限崇拜。當一個基督徒宣稱「上帝是唯一的真神」,並將《聖經》的誡命置於世俗政權的指令之上時,在統治者眼中,這不是個人的信仰選擇,而是一種政治上的不絕對忠誠。 ​如果人民心中有了更高的敬畏,他們就不再容易被恐懼徹底瓦解;如果社會有了獨立於權力之外的道德準則,政權的黑白顛倒、指鹿為馬就無法輕易得逞。打壓宗教,本質上是為了清除思想市場上的「競爭對手」,確保權力對靈魂的絕對壟斷。 ​恐懼自治:組織化的焦慮 ​托克維爾特別指出,美國的偉大在於把「政治自由、社會自治和宗教信仰」結合在一起。宗教培育了守法的公民,同時也訓練了人們在社區中彼此連結、共同承擔責任的能力。 ​然而,在中國的統治術中,「社會自治」本身就是一個禁忌的詞彙。 ​極權統治的底色是原子化社會——把每個人孤立成無依無靠的個體,讓他們只能向權力依附。而家庭教會恰恰具有極強的橫向連結能力。在這裡,沒有官方的行政撥款,信徒們卻能自發組織聚會、彼此互助、關懷弱勢、甚至自辦教育。這種基於共同信仰而產生的凝聚力、信任感和高度自治性,讓習慣了控制一切的體制感到極度焦慮。 ​在他們眼裡,一個不受黨委書記領導、不聽從街道辦指揮、卻能讓成百上千人風雨無阻聚在一起的組織,就是對政權潛在的威脅。不管你是在查經還是在祈禱,只要你「非官方組織化」,就是原罪。 ​憲法只是權力的「晴雨表」 ​那麼,既然要打壓,為何又要在《憲法》裡寫上「信仰自由」? ​這恰恰展現了實用主義的犬儒本質。在外界看來,《憲法》是一國之根本,是限制政府權力的法律邊界;但在這裡,《憲法》往往被當作對外展示的櫥窗、或是特定歷史時期統戰的工具。 ​當政權需要營造開放形象、吸引外資時,「信仰自由」就是寫給國際社會看的漂亮履歷。 ​當政權感到安全感缺失、社會控制需要收緊時,憲法條款就可以隨時被各類「國家安全」、「社會穩定」的行政法規和內部文件架空。 ​正如托克維爾所言,美國的宗教與國家保持距離,反而獲得了更廣泛的社會影響力。而在中國,當局試圖通過「宗教中國化」將所有教會閹割為權力的附庸,要求「愛國教」必須高於「愛信仰」。這種對憲法條款的公然踐踏,暴露出的是統治者對社會失控的極度恐懼。 ​結語:高牆與小草 ​托克維爾看到,宗教提醒人們「個人並不是世界的中心,欲望不能成為唯一準則」。一個缺乏信仰與敬畏的社會,最終會滑向道德的沙化與權力的暴政。 ​中共對家庭教會的打壓,看似是一場力量懸殊的圍剿:一邊是國家機器的鋼筋水泥,一邊是手捧聖經的血肉之軀。但歷史無數次證明,權力可以拆掉有形的十字架,卻無法拆除人心中對超越性價值的渴望;高牆可以禁錮肉體,卻無法阻擋靈魂向光生長。 ​當一個政權需要動用整部國家機器去對抗幾個在客廳裡唱讚美詩的信徒時,這場博弈的勝負,其實在精神層面上早已有了定論。 作者系中國議會籌備委員會委員
显示更多
最近了解了一些富商的发家史,有个感触是: 很多人发家是时代和特殊环境下的产物,但是严重路径依赖,缺乏抽象出问题本质的思考能力。 而且在单一环境,单一产业内工作时间越长,抽象出真正底层规律的能力就越差。 因此他从事某个产业发家,就误以为把这个产业迁移到新的环境,可以重复原来的模式。但是旧的环境有一些特定的约束条件,新的环境没有,因此模式无法复制,换了新的环境可能遭遇重大损失。 第二,当他的身体习惯已经适应了某个产业后,虽然这个产业有各种结构性的风险和缺点,他还是不愿意放弃。情愿守着旧的产业,不愿意耗费脑力做些抽象思考,去探索一些唾手可得的,风险更小,回报更高的新产业。 第三,他无法实践‘’什么都不做,耐心等待‘’的工作方式。实业家的习惯是每天需要做点什么,每天需要有些正反馈,这样才感到充实。但很多机会是等出来的,需要好机会浮现之前极度的克制,这对于每天都想做点什么的人,完全无法忍受。这样必然因为盲动而事倍功半,跌入大坑。而且实业家大多是高负债高杠杆的经营模式,每天必须要动。看似富有风光,实际上缺乏时间自由,常常被各种突发事件牵着鼻子走,累得半死。 第四,如果上面几点对于白手起家的第一代创业者很难的话,对于第二代就几乎不可能。因为富二代缺乏第一代的各种丰富的失败体验,问题都是父母罩着。因此做事时会对风险完全缺乏敬畏,觉得父母以前就是这么做的,理所当然的照葫芦画瓢。所有他没学过的失败体验,一定会被迫亲自全部学一遍。这个过程中可能就把家给败光了。
显示更多
0
0
475
78
转发到社区
潘乱认为这么划分过于简单化了,阿里作为控股集团组织架构有过太多次调整,包括马老师在其中的作用,历次拍板都混合了来自方方面面的因素,蚂蚁内部也存在博弈,财富业务会觉得自己才是给公司的挣钱的,支付业务全是成本,这会影响支付宝的产品形态。 当然我们也都看到了,金融科技成为了蚂蚁史上最严重的一次弯路,最后还是回归到了互联网的基本盘,支付宝本身还是要平台化,潘乱特别提到支付宝里的天天特价小程序能给淘宝贡献大几千万的活跃用户量,下游给上游如此规模的导量,是不是很有意思? 戴某也参与过阿里本地生活业务和美团的打仗,用他写在履历里的原话来说,是被美团揍得鼻青脸肿,哈哈。 其实还是因为戴某看的问题更多一点,阿里的资源分配取决于对手攻在哪里,有点头痛医头脚痛医脚的意思,就像2014年前后微信红包突袭过来,立刻判断线上社交才是解法,然后线下的铺码服务商说撤就全撤了,这些团队后来又被微信支付摘了桃子,事半功倍的把线下渠道做起来了,如果不是阿里2017又回过神来通过撒钱的方式延缓了微信支付的渗透,份额可能会掉得更惨。 微信红包是牛逼,但人牛逼在短时间推动了亿级开卡,光有卡没支付场景是不行的,最大的场景其实就是线下商户里的收款码,结果支付宝的码在那会儿都不能用了,阿里口碑那边又搞了一套码去贴,跟微信支付一起抢支付宝的场景,就很混乱。 那段时间微信支付也没做特别难的创新,摸着支付宝过河就行了,支付宝在B端结算方面技术非常成熟,也成了行业里的最佳实践,每一任老板纵然都以自以为是乔布斯,但都明白结算这层是不能动的,于是只能在交互上指手画脚,所以在支付宝当产品经理很难,你的职权是残废的,每一个banner背后都有一个P10在那看着你。 戴某还说了一处相当「容易理解」的细节,就是唯独在杭州,阿里会不计成本的推码,这是因为老板们主要都还是在杭州本地活动,只要看到哪个店里没有自己的码,就会打电话给业务一顿骂,所以杭州的数据在阿里的市场统计里总是高得飞起,哪怕这是反商业的,也没人敢不配合。 我承认有不怀好意的成分,考古了一下,在2017年前,星巴克在全国有3家最孤独的门店,都在杭州,为什么说孤独呢,因为当时星巴克在中国只支持微信支付,没有支付宝的份,这是星巴克总部的决策,但在杭州,一切都能特事特办。 这3家门店分别位于阿里西溪园区、阿里滨江园区和支付宝楼下,其中还有人拍过照片,店里的黑板上除了注明饮品之外,还有一行字是这样写的:「我们店作为马爸爸坚强的后盾,可以使用支付宝哦!」 啧啧,马老师那会儿还是马爸爸,真是泪目了⋯⋯(5/n
显示更多
限高从限制高消费改为限制高消费及有关消费,有何深意? 一份司法解释改了名字,通常不会有人多看一眼。但2015年7月21日最高人民法院把“限制高消费”改成“限制高消费及有关消费”的时候,多出来的五个字,实际上换掉的是整套惩戒逻辑的底层代码。 要看清这件事,先得问一个笨问题:限高令到底在限制什么? 2010年的版本给出的答案很明确:限制“高消费”。飞机、软卧、星级酒店、旅游度假,这些被归入“奢侈挥霍”的清单里。背后的假设是,被执行人如果还在花大钱过舒服日子,说明他有能力履行却不履行。惩戒的靶子,是消费的档次。 这个假设在纸面上说得通,落到铁轨上就出了岔子。2015年,高铁已经不再是稀罕物。刘贵祥在发布会上把话说得很白:只限软卧,被执行人转手买一张G字头动车票,照样抬脚就走,“仅限制坐软卧就难以达到限制其出行,压缩其生活空间的效果”。软卧不让坐,高铁随便坐,价格差不多,速度还更快。限高令在出行这一项上,等于被人从旁边绕了过去。 于是新规把G字头动车组全部座位、其他动车组一等以上座位写了进去。这是最直观的一处补丁。但如果故事到这里就结束,那不过是一次清单更新,不值得把整份文件的名字都改掉。 改名真正有意思的地方在于,它承认了“高消费”这个标准本身已经不够用了。刘贵祥的解释是,“高消费”侧重的是“大肆挥霍、奢侈消费”,但各地收入水平不一样,被执行人的情况也不一样,什么叫“高”,很难划出一条统一的线。标准模糊,适用的口子就收得紧,限制的范围反而被压缩了。改成“高消费及有关消费”之后,第一条的表述变成了“高消费及非生活或者经营必需的有关消费”。判断的轴心从“这算不算奢侈”,悄悄挪到了“这算不算必需”。 这一挪,杀伤半径完全不一样了。奢侈消费是少数场景,必需之外的消费是一大片模糊地带。高铁二等座在2015年被放进“非必需”那一边,不是因为坐二等座的人都在挥霍,而是因为在“必需/非必需”的二分法里,它暂时找不到更合适的位置。 更隐蔽的一刀,藏在“以其财产支付费用”这个限定条件的消失上。原规定的逻辑是追踪钱的去向:只要是被执行人的财产在减少,不管以谁的名义花,都该拦。实践中很快出现了反制:以自己名义消费,让别人买单,事后再还。钱不是从被执行人账上出去的,限高令就够不着。2015年修订之后,制度不再追问这笔钱是谁出的,只追问一件事:这个名字是不是被执行人的名字。约束力从财产的流向上移开了,钉在了人的身份上。你被限高了,用你的名字买不了票,至于票钱从哪儿来,不再重要。 把这几层叠在一起看,2015年修订的实质轮廓就出来了:它不再费力去界定“什么样的消费是坏的”,而是把“谁是被执行人”作为拦截的触发条件,然后围绕这个身份画出一个尽可能大的“非必需”圈。这套做法在执行层面极其高效。到2015年底,308.02万人进入失信名单,拦截飞机票375.71万人次、火车票59.88万人次,约两成被执行人扛不住压力主动履行了义务。数字摆在那里,牙齿是真的。 但“身份触发”这条路有一个内置的代价:它不负责区分。一个人是有钱不还,还是暂时确实还不上,在“以名拦截”的系统里,最初是被一视同仁的。这正是十年后最高人民法院自己动手调整的地方。2024年失信名单人数出现十年来首次下降,2025年一季度继续负增长,信用修复人数连续多个季度大于新增人数。最高法反复强调的关键词变成了“区分失信与失能”,要把确无财产可供执行的“诚实而不幸”的人从惩戒网里摘出来,把火力集中到真正规避执行的那一小撮人身上。地方层面也出现了更细的试探:昆山、吴江、张家港等地的法院在个人债务集中清理案件中,把飞机经济舱和高铁二等座放回了允许出行的范围,尽管全国性的司法解释条文本身并没有改动。 这不是在说2015年的修订错了。在当时执行难压顶的局面下,把拦截的网撒大,是那个阶段能拿出的最直接的工具。真正值得琢磨的是工具一旦上了轨道之后的事:当“非必需”的判断权落在执行机关手里,而“必需”的标准又随着生活水平本身在变——高铁二等座在2015年还算“非必需”,到2025年动车组旅客已经占到全国铁路旅客发送量的七成以上——一张静态的清单,追不上一张动态的社会生活图景。 “及有关消费”五个字的深意,不在于它堵住了高铁那个具体的口子。它标记的是一次技术路线的切换:从追踪钱花在哪里,切换到盯住名字写在谁身上。这条路线在效率上赢了,在精度上欠了账。后来这些年关于“失信”与“失能”的拆分、关于信用修复的推进、关于二等座该不该放的争论,说到底都是在还那笔精度上的账。
显示更多
如果你会 AI,但是不投资,那就有点亏大了 不论是投资 $MRVL $AMD 等一众算力互联标的,还是 AI Infra学习,收藏搞懂我这篇帖子,对你帮助都一定会很大 算力发展远远不足,早点搞懂,就能早点把握住机会。不信你看下去 为什么OpenAI 想要提供快的推理速度,就得牺牲订阅额度上限,这个帖子是我认真整理的内部流程,看懂了它,你会更加得心应手。 1/ 我先来说两个指标 > TTFT (Time to First Token),它来衡量你发出一条消息之后,OpenAI 多久响应吐出第一个字。 > TPOT(Time per Output Token),这个来衡量你总体的体感速度,以及什么时候完成? 你总的等待时间约等于 TTFT 加 n 乘以 TPOT,n 就是你的 Token output总量,就是 AI 给你回了多少话 你可以大致粗略地记一句话。1 个 GPU 如果只给一个用户用,那么两者的速度都会很快,但互联的速度跟不上,因此 GPU 会有闲置时间,会导致浪费 那聪明的厂商就把一个 GPU 分给多个用户,这样 GPU 的闲置时间被充分使用了。但每个用户因为 GPU 调度需要等待的时间就会变长,导致整体速度变慢 2/ 那 GPU 内部在推理的时候,到底发生了什么呢? 我做推理优化,这个循环是每天都要打交道的东西。我把一个请求在推理引擎里走的 5 步画进了一页动图,先说结论,后面按图的顺序讲 1. 请求进来不会直接上 GPU,而是先进调度器,由 CPU 驱动。GPU 每跑一步,调度器就重新挑一次人,批次每一步都在换人,这叫 continuous batching 2. 评估推理服务,工业界盯三个数,吞吐、出字间隔 ITL、首字延迟 TTFT,而且要看 P99, P50,需要有统计意义 3. 这三个数互相拉扯,决定了用户的成本和总的等待时间,总的来说是一个权衡(trade-off) 3/ 先过一遍图里的 5 步 ① 新请求带着整段 prompt 排队 ② 调度器每一步开跑前问三件事:已经在跑的先上,本轮 token 预算还剩多少,KV cache 的格子还够不够 ③ 能上的拼成一批。新来的做预填(prefill),整段 prompt 一次算完;老的做生成(decode),每人只写 1 个 token ④ GPU 把这一批一起算一步 ⑤ 写完的释放格子离场,没写完的回到 ②,马上开下一轮 2022 年的 Orca 论文把调度单位从“一个请求”改成“一步”,在 GPT-3 175B 上,同样延迟下吞吐做到了 FasterTransformer 的 36.9 倍 [1]。现在 vLLM 默认就按这一套在排 [2] 想搞投资,相信你看到这儿已经差不多都懂了。想入门推理,我的建议是先把这个循环自己画一遍,再去读压测报告,每个数都能对回其中一步 这里边的水很深,后续我会逐渐跟大家讲解,结合每天的信息以及具体实践,帮大家搭建起科技到投资中间的这座桥梁 出处 [1] Orca: A Distributed Serving System for Transformer-Based Generative Models,OSDI 2022 [2] vLLM 文档,Optimization and Tuning [3] Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve,OSDI 2024 [4] vLLM 文档,vllm bench serve
显示更多
0
13
192
32
转发到社区