檢索結果 Gophers
Gophers 貼吧
一個關鍵字就是一個貼吧，路徑全站唯一。
用戶
未找到
包含 Gophers 的搜尋結果
Reedit问答版：30年前的上网体验，是怎样的？
- 每个网站底下都有一个点击计数器，纪录有多少人来访问过，没有算法，没有推送，你必须自己发现这些网站。
- 你注册邮箱时可以选择自己的名字，而不需要在后面加上随机数字。
- 拨号上网的声音，以及图片从上到下慢慢加载，慢——慢——的——出——现。
- 怎么说呢，一切都是崭新的。无论你发现哪个新网站，都是你第一次看到它。更重要的是那种广阔感，和探索的乐趣，在互联网变成商业公司的连锁餐厅之前，它是由人类DIY出来的。
- 1994年，我发现可以在爸爸的电脑上找到Cindy Crawford的泳装照，还有好多好多其他穿着比基尼的大姐姐，于是我下载了一大堆——花了我一个暑假的时间——然后打印装订成册，开学后卖给同学。正在赚钱的时候，有人告发了我，数学老师把我狠狠训了一顿，然后所有的泳装册都被他给没收了。
- 在学校里把鼠标里的球抠出来玩。
- 上网是一种状态，你会在电脑前坐几个小时，玩完之后就起身「下线」，就这样结束了，那天你就算用完互联网了，又回归到正常生活中去。
- 我早期记得的是，大多数网站都是纯文本，图片极少。由于是拨号上网，如果你希望网站有任何「性能」可言，就必须尽量减少数据传输量，所以最多放个网站Logo就可以了，之后基本就是大段文字。你能想象如今有谁的网站全是文字吗？人们大概只会说「太长不看」，然后就走了。
- 99%的信息流通是真实的人和真实的人之间互相分享想法，很粗糙，但真诚。
- HTTP 只是众多协议之一。还Gopher、WAIS、Telnet 服务器、FTP……我甚至用WAIS做过学校报告。
- 必须学习HTML语言才能创建网站，我爸给我买了一本「HTML全入门」，我靠它建了好些个网站，当时看到其他网站有横幅广告，觉得太牛逼了，但我找不到广告主，于是我去下载了一张横幅广告的图片，然后贴在我的网站上，这该死的虚荣心。
- 每年打开电脑最开心的事情就是收到了新邮件。
- 我记得那时的互联网上满是个人主页，全都是一些对自己兴趣充满热情的人，只为分享乐趣，比如专门写食谱的网站，没有AI生成的垃圾句子，就是具体的步骤，有时候，运气好的话，还能看到一张食物的照片。
- Alta Vista是他妈的最好的搜索引擎。
- 非常缓慢，聊天室和BBS特别流行，在BBS里，一个被证明撒谎的人会失去信誉，他会注销自己的账号，或是再也不好意思出现了。
- 曾经你能买到实体出版的网站目录，就像电话簿一样，只不过上面列的是网站地址。嗯，电话簿是一本厚厚的书，里面收录了每个人的电话号码。
- 互联网早期，我记得曼联是第一个推出自家网站的英超球队，我们是从杂志上看到这个消息的，然后照着杂志上的网址手动输入访问。我叔叔买了那本杂志，但他没有电脑，所以他来我们家看这个网站，那20分钟里他的嘴巴就没合上过。
- 「爸，你能下线一会儿吗？我要打个电话！」
- 上网并不容易，也不便宜，所以，大部分愚蠢的人不在网上，而你能在认识的陌生网友，普遍有人情味、宽容、愿意学习。
- 不用每次做什么事都得记200个不同的密码，还得输一遍验证码。
- 每个人都在尽情跳舞，仿佛无人注视。那时做什么都赚不到钱，也没有广告。一群人分享着自己的特殊爱好。没有算法，连搜索都没有。雅虎就像杜威十进制分类法，层层嵌套的类别，底部是有限的链接。
-
访客数量：237
请签名留言
访客数量：237
请签名留言
顯示更多
Reedit问答版：30年前的上网体验，是怎样的？
- 每个网站底下都有一个点击计数器，纪录有多少人来访问过，没有算法，没有推送，你必须自己发现这些网站。
- 你注册邮箱时可以选择自己的名字，而不需要在后面加上随机数字。
- 拨号上网的声音，以及图片从上到下慢慢加载，慢——慢——的——出——现。
- 怎么说呢，一切都是崭新的。无论你发现哪个新网站，都是你第一次看到它。更重要的是那种广阔感，和探索的乐趣，在互联网变成商业公司的连锁餐厅之前，它是由人类DIY出来的。
- 1994年，我发现可以在爸爸的电脑上找到Cindy Crawford的泳装照，还有好多好多其他穿着比基尼的大姐姐，于是我下载了一大堆——花了我一个暑假的时间——然后打印装订成册，开学后卖给同学。正在赚钱的时候，有人告发了我，数学老师把我狠狠训了一顿，然后所有的泳装册都被他给没收了。
- 在学校里把鼠标里的球抠出来玩。
- 上网是一种状态，你会在电脑前坐几个小时，玩完之后就起身「下线」，就这样结束了，那天你就算用完互联网了，又回归到正常生活中去。
- 我早期记得的是，大多数网站都是纯文本，图片极少。由于是拨号上网，如果你希望网站有任何「性能」可言，就必须尽量减少数据传输量，所以最多放个网站Logo就可以了，之后基本就是大段文字。你能想象如今有谁的网站全是文字吗？人们大概只会说「太长不看」，然后就走了。
- 99%的信息流通是真实的人和真实的人之间互相分享想法，很粗糙，但真诚。
- HTTP 只是众多协议之一。还Gopher、WAIS、Telnet 服务器、FTP……我甚至用WAIS做过学校报告。
- 必须学习HTML语言才能创建网站，我爸给我买了一本「HTML全入门」，我靠它建了好些个网站，当时看到其他网站有横幅广告，觉得太牛逼了，但我找不到广告主，于是我去下载了一张横幅广告的图片，然后贴在我的网站上，这该死的虚荣心。
- 每年打开电脑最开心的事情就是收到了新邮件。
- 我记得那时的互联网上满是个人主页，全都是一些对自己兴趣充满热情的人，只为分享乐趣，比如专门写食谱的网站，没有AI生成的垃圾句子，就是具体的步骤，有时候，运气好的话，还能看到一张食物的照片。
- Alta Vista是他妈的最好的搜索引擎。
- 非常缓慢，聊天室和BBS特别流行，在BBS里，一个被证明撒谎的人会失去信誉，他会注销自己的账号，或是再也不好意思出现了。
- 曾经你能买到实体出版的网站目录，就像电话簿一样，只不过上面列的是网站地址。嗯，电话簿是一本厚厚的书，里面收录了每个人的电话号码。
- 互联网早期，我记得曼联是第一个推出自家网站的英超球队，我们是从杂志上看到这个消息的，然后照着杂志上的网址手动输入访问。我叔叔买了那本杂志，但他没有电脑，所以他来我们家看这个网站，那20分钟里他的嘴巴就没合上过。
- 「爸，你能下线一会儿吗？我要打个电话！」
- 上网并不容易，也不便宜，所以，大部分愚蠢的人不在网上，而你能在认识的陌生网友，普遍有人情味、宽容、愿意学习。
- 不用每次做什么事都得记200个不同的密码，还得输一遍验证码。
- 每个人都在尽情跳舞，仿佛无人注视。那时做什么都赚不到钱，也没有广告。一群人分享着自己的特殊爱好。没有算法，连搜索都没有。雅虎就像杜威十进制分类法，层层嵌套的类别，底部是有限的链接。
-
访客数量：237
请签名留言
访客数量：237
请签名留言
顯示更多
Lilian Weng 这两天更了一篇新 blog，《Scaling Laws, Carefully》。话说想当一个优秀的 researcher，真得会起标题啊😆这个 Carefully 就很妙，一看就不是来吹 scaling law 的，而是来给它祛魅的。
过去几年，AI 圈对 scaling law 的理解，多少有点简单粗暴：模型越大，数据越多，算力越多，能力就会沿着一条漂亮曲线往上走。于是大家很容易把它理解成一句话：
继续堆，就会继续赢。
（虽然这句话好像也没错）
但 Lilian 这篇其实在提醒大家，scaling law 没那么神。它不是宇宙真理，更像一套很贵的实验会计学。
她举了两个例子。
Kaplan 2020 把 scaling law 带进 LLM 时代。当时的结论是：“有钱先堆参数，数据少喂点”。这话行业信了两年。
结果 2022 年 Chinchilla 直接掀翻，同样的算力，70B 的模型多喂 4 倍数据，把 280B 的 Gopher 全面碾压。结论反过来了：参数和数据该差不多一比一同步涨。（就像我们前两天写的，技术圈的潮流真是一个回旋镖）。
同一套规律，两个顶尖团队，给出几乎相反的答案。其实两边都同意 scaling 有效，真正吵的只是同一笔算力该怎么分。那为什么会差这么多？后来 Pearce & Song（2024）把账算清了：Kaplan 主要在小模型上做实验，Chinchilla 玩的规模大十倍以上，加上两家连“模型有多大”都没按同一个口径数（算不算那块管词表的参数）。就这点采样范围和口径上的差别，往大尺度一外推，被放大成了相反的结论。
更骚的在后面。Besiroglu（2024）去复现 Chinchilla，发现它自己三套方法里，第三套居然跟前两套对不齐，挖出来的原因离谱到好笑：无非是算账时该求和的地方取了平均、关键数字只保留了两位小数这种手滑。就这，能让一条决定全行业往哪烧钱的曲线，看起来偏掉。
所以 Lilian 这篇的潜台词是：scaling law不是写死的物理定律，是一条得小心伺候的经验账。你在几个便宜小模型上画条线，拿去赌几十亿的训练，中间任何一个看着无所谓的小数点，推到那个尺度都可能差出一座数据中心。
P.S. Lilian 还在文末放了个可以自己拖的小组件，比任何解释都直观，建议去原文拖两下。
Scaling law 没有失效，但它也不应该被当成信仰。它更像一把尺子，而且是一把很挑剔的尺子。
但如果你量错了东西，最后只会得到一个很贵的错误（这也是为什么搞AI大模型的算法值钱，之前的经验，可以少浪费多少算力）
顯示更多
