注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 AIAlignment
AIAlignment 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 AIAlignment 的推特
每个人都应该了解的AI 术语名词,你都认识吗? 搞懂这些名词 并了解其实现方式和原理。你基本就入门了。 AGI(类人AI):类似人类思维的AI。 CoT(链式思维):AI一步步思考。 AI Agents(AI代理):自动化决策的程序。 AI Wrapper:简化与AI模型的互动。 AI Alignment(AI对齐):确保AI遵循人类价值观。 Fine-tuning(微调):使用特定训练数据来改进AI。 Hallucination(幻觉):AI编造的信息。 AI Model(AI模型):用于任务的训练AI。 Chatbot(聊天机器人):模拟人类对话的AI。 Compute(计算):AI模型的处理能力。 Computer Vision(计算机视觉):AI理解图像和视频的能力。 Context(上下文):AI为更好响应保留的信息。 Deep Learning(深度学习):通过多层神经网络学习的AI。 Embedding(嵌入):AI的词汇数字化表示。 Explainability(可解释性):理解AI决策背后的逻辑。 Foundation Model(基础模型):可适应任务的大型AI模型。 Generative AI(生成式AI):创建文本、图像等内容。 GPU(图形处理单元):用于快速AI处理的硬件。 Ground Truth(真实数据):AI学习的验证数据。 Inference(推理):AI对新数据做出的预测。 LLM(大型语言模型):用大量文本数据训练的AI。 Machine Learning(机器学习):AI通过数据经验改进。 MCP(模型上下文协议):AI内部数据访问的标准。 NLP(自然语言处理):AI理解人类语言。 Neural Network(神经网络):受大脑启发的AI模型。 Parameters(参数):AI学习的内部变量。 Prompt Engineering(提示工程):创建输入以指导AI输出。 Reasoning Model(推理模型):有逻辑推理能力的AI。 Reinforcement Learning(强化学习):AI通过奖励与惩罚学习。 RAG(检索增强生成):结合搜索与生成的AI。 Supervised Learning(监督学习):在标记数据上训练的AI。 TPU(张量处理单元):AI处理专用芯片。 Tokenization(分词):将文本分割成词片。 Training(训练):通过调整参数教AI。 Transformer(变换器):用于语言理解的AI架构。 Unsupervised Learning(无监督学习):AI在无标签数据上发现模式。 Vibe Coding(情绪编码):通过语言捕捉情绪并预测输出。 Weights(权重):影响AI学习的值。 #AI# #AIAgent#
显示更多
‼️突发:字节跳动Seed宣布成立「Model-Alignment & Preparedness」部门,并同步启动全球顶尖人才招募。 这是国内第一个由大模型核心研究团队独立拆分、单独建制的安全研发部门。 部门由严林负责,直接汇报给Seed负责人吴永辉。 安全不再是模型上线前的一道检查项,而是和能力研发并驾齐驱的主线。 为什么是现在? 因为过去一年,前沿模型在现实里发生了失控的苗头。 比如2026年7月,OpenAI 红队评估中,模型自主利用一个未公开的零日漏洞撕开沙盒,访问了 Hugging Face 的真实生产系统(直接给HF打漏了)。 而Anthropic这边经过回溯调查了约 14.1 万次评估调用,确认至少 3 起Claude越权侵入外部真实系统。 更严重的威胁是CBRN(化学、生物、放射、核)方向。 根据智源FlagSafe今年7月份发布的研究显示,11 个主流商用大模型都能给出规避DNA合成筛查的方案,头部模型的方案在湿实验中被证实可执行。 当模型开始操作生产环境、编排实验,外挂式安全补丁已形同虚设。 Seed 直接在公告里表示:模型能力决定智能的上限,但 Safety & Alignment 决定这个上限能不能在真实世界成立。 这套打法其实是对标了旧金山湾区的情况,Anthropic 从第一天起就是安全公司,OpenAI 的 Superalignment 后来重组为 Preparedness 体系,DeepMind 也设有专门的 AGI Safety 团队。 而做这件事的全是金字塔尖的人:Jan Leike(ChatGPT、GPT-4 对齐核心)、RLHF 与 PPO 奠基人 John Schulman,还有 Ilya Sutskever、Chris Olah、Dario Amodei。 模型越强,对齐越难——这也是为什么必须由顶尖人才来做。 国内模型团队们此前一直是另一套路径: 安全约等于内容风控,挂在大安全中台下面,研究团队负责拔高模型能力,安全团队在下游擦屁股。 Seed 把编制直接从研究团队划出来,是国内第一次在组织形态上对标 OpenAI、Anthropic——前有 STEM,现在是安全与对齐。 具体的人才计划是:全球范围内招募 10 位顶尖研究员,做最有价值的事。 方向覆盖模型训练、科学评测、未知风险防御,提供充分算力,研究成果直接打回训练、评估、上线全流程,base 北京、上海、圣何塞。 为什么只招 10 个? 因为这道难题没法靠堆人解决——说白了,弱一点的研究者,甚至意识不到风险在哪。 我的看法是国内大模型竞赛的下半场,最重要的一个点是谁先把安全底座真正建起来。 Seed这一步,是中国头部实验室认真坐到AGI安全这张牌桌上了。
显示更多
在法国安提步。 这么大一个塑料杯子,吸管却是纸做的 ,alignment有待提高 😅 这周在海边读 paper!
AI 破解一切!现在安卓手机都能直接玩 Steam 游戏了。 我刚试了 DroidDeck,像《哈迪斯》这类独立游戏全能跑。出门带个小手柄和支持 DPin 的 Pad 就能爽玩。翻了翻代码,作者大量用 AI攻克生疏技术栈,并重度用 Agent 做自动化测试。 从几天复刻剪映到打通跨端游戏,当 Agent 拥有底层执行与逆向能力时,失控风险也指数级放大——一旦被用来攻击金融系统或越权泄密,破坏力不可逆。 这也是为什么字节跳动 Seed 最近国内首家独立设立了“大模型安全与对齐(Model-Alignment & Preparedness)”一级研发建制,由严林挂帅直报一号位吴永辉,合并 Responsible AI 与 部分Chat 团队成员 什么是真正的对齐?核心是让模型行为与人类意图及安全约束严格一致。 既要防它在逆向或调试时越权盗取本地凭据(防失控),又要防外部恶意注入诱导它攻击金融网络(防滥用)。需要从制定规范、对抗评测、对齐训练到沙盒监控全流程把安全炼进模型骨子里。 他们这次主攻两大硬仗: 一是 Agent 系统权限安全,死磕防提示词注入、越权操作与环境破坏; 二是 CBRN 前沿极端风险防范。 正如字节内部的定调:安全对齐不是合规外挂,而是决定模型能否走出沙盒、规模化落地的核心能力。能逆向破解固然酷,但立稳安全护栏才是真壁垒。
显示更多
0
31
16
0
转发到社区
Codex 负责人 Tibo 在最新播客中分享了关于 Agent 演进、工具红利及个人能力重构的深刻洞察,对 AI 从业者与普通用户均具极高的实践指导价值。 Agent 演进方向:当前的技能与记忆机制均为过渡形态,未来 Agent 将实现跨场景自动理解需求。随着个人电脑逐渐成为算力与交互瓶颈,语音交互将成为主流,打破传统职业工具的边界。 额度重置的背后:最初仅为 Bug 补偿,后获得独立重置权限,这一灵活策略直接推动了 Codex 用户量的爆发式增长。 前沿研发暂停原因:随着 AI 自化改进速度急剧加快,人类的审查与判断能力已跟不上模型迭代速度,安全对齐(Alignment)的优先级被提到前所未有的高度。 对我们普通人,不用死磕各种复杂工具的用法,把重点放在“怎么把自己想要什么讲清楚”上。平时多试试用语音代替打字,效率能翻倍。别太纠结 AI 用一次花多少钱,大胆把它用起来,比如帮你管理日常健康、安排生活,尽早享受到便利才划算。以后最值钱的能力,是能把大目标拆成小步骤、掌控全局流程,以及做出关键判断的能力。 简单来说,AI 行业已经到了人和机器深度配合的新阶段,学会怎么指挥好它,比啥都强。
显示更多
🚨OpenAI @OpenAI 正在经历血腥的一周:高管离职、国会警告、白宫公开撕逼... 1️⃣今晨间据消息人士透露,OpenAI罕见地自掏腰包,完成了约70亿美元的员工股份回购,估值不涨反被超。此次交易对OpenAI的估值为8520亿美元,与其最近一轮融资的估值持平。 今年3月,OpenAI刚完成1220亿美元融资,投资方包括科技巨头和VC机构。6月,公司又秘密提交了IPO申请文件,为可能的华尔街首秀铺路。但资本市场并未给它太多喘息空间。 今年以来,OpenAI与Anthropic PBC @AnthropicAI 陷入激烈缠斗。这个曾被视为AI竞赛“配角”的对手,如今凭借Claude等产品的强劲势头,估值已反超OpenAI,甚至可能抢先一步登陆公开市场。 2️⃣安全高层“断崖式”离职 OpenAI 的伦理负责人、安全系统负责人以及使命对齐(Mission Alignment)负责人,在过去几周内集体递交辞呈。AI 安全团队核心骨干几乎被抽空,内部治理架构面临严重失控。 3️⃣美国🇺🇸参议院重拳出击参议员 Bernie Sanders 正式向 OpenAI、Anthropic 和 Meta @Meta 的 CEO 发出联名信,要求他们立即暂停研发“具有社会级危险/失控风险”的 AI 模型。信中明确警告:如果几家大厂不主动暂停,美国参议院将直接立法强行干预。 4️⃣游说翻车 白宫与五角大楼撕逼 OpenAI聘请的战略未来负责人 Dean Ball 试图充当特朗普政府 AI 行动计划的“总设计师”,结果遭到了白宫和五角大楼的公开痛骂: 白宫官方回应:“夸大自身作用、想法荒谬,不过是个毫无存在感的低级分析师。” 五角大楼 AI 负责人 Emil Michael 痛骂:“这是全行业‘实际 IQ 与自我感觉 IQ’差距最大的人。” Sam Altman @sama 本想通过他拉近与政府的关系,结果适得其反,直接把 OpenAI 的政商关系砸了个稀碎。
显示更多
今天看到一份美国中期选举三种结局对应利好的美股清单,分享给大家: 结局一:分裂国会 主要受益于政策风险下降、既有支出延续,利好 能源 $ XOM 埃克森美孚 $ CVX 雪佛龙 $ VLO 瓦莱罗能源 $ PSX Phillips 66 材料 $ SHW 宣伟公司 $ PRM Perimeter Solutions 工业 $ MOG.A Moog-A $ CSL 卡莱零部件 $ ORN Orion Group $ RRX Regal Rexnord $ ALNT Allient $ ESE ESE科技 $ SSNC SS&C Technologies 非必需消费板块 $ GM 通用汽车 $ F 福特汽车 $ MGM 美高梅 $ AMZN 亚马逊 $ HD 家得宝 $ LOW 劳氏 医疗保健 $ HIMS Hims & Hers Health $ VEEV Veeva Systems $ DOCS Doximity $ GILD 吉利德科学 $ ORIC Oric Pharmaceuticals $ OLMA Olma Pharmaceuticals $ LLY 礼来 金融 $ AXP 美国运通 科技 $ CRWV CoreWeave $ ORCL 甲骨文 $ NBIS NEBIUS $ TYL 泰勒科技 公用事业 $ ETR 安特吉 $ CGNX 康耐视 $ AVGO 博通 $ ADI 亚德诺 通信服务 $ SPCX SpaceX $ GOOGL 谷歌-A $ META Meta Platforms 结局二:民主党控制参众两院 医疗保障、环境投入及清洁能源支持有望改善,利好 能源 $ BKR Baker Hughes 材料 $ DOW 陶氏化学 $ LYB 利安德巴塞尔 工业 $ VMI 维蒙特工装 $ NWPX NWPX基础设施 $ CECO CECO环保 $ ROL Rollins 通信服务 $ CARG CarGurus 非必需消费 $ DKNG DraftKings $ WYNN 永利度假村 $ FLUT Flutter Entertainment $ CVNA Carvana $ KMX 车美仕 科技 $ CRM 赛富时 $ NOW ServiceNow $ TYL 泰勒科技 公用事业 $ NEE 新纪元能源 $ XEL 埃克西隆能源 医疗保健 $ HCA HCA医疗 $ CNC 康西柯 $ THC 泰尼特 $ UHS Universal Health Services $ MOH Molina Healthcare $ AVAH Aveanna Healthcare $ ARDT Ardent Health 金融 $ RELY Remity Global $ FLYW Flywire $ WU 西联汇款 结局三:共和党维持国会控制权 政策延续、放松监管及加快许可,支持AI与基建扩张,利好 能源 $ SLB 斯伦贝谢 $ BKR Baker Hughes $ LBRT Liberty Energy $ PUMP ProPetro Holding $ DVN 戴文能源 $ EQT EQT能源 $ EXE Expand Energy $ PR Permian Resources $ MTDR Matador Resources 材料 $ CRH CRH水泥 $ VMC 火神材料 $ MLM 马丁-玛丽埃塔塔材料 公用事业 $ SO 美国南方公司 $ ETR 安特吉 $ DTE DTE能源 $ CMS CMS能源 通信服务 $ SPCX SpaceX $ GOOGL 谷歌-A $ META Meta Platforms 房地产 $ CSGP 科斯塔 $ CDP COPT Defense Properties 工业 $ LMT 洛克希德马丁 $ NOC 诺斯罗普格鲁曼 $ LHX L3Harris Technologies $ BWXT BWX Technologies $ CDRE Cadre Holdings $ PWR 康速服务 $ MTZ MasTec $ AGX Argan $ GE GE Vernova $ BE Bloom Energy $ INIO INNIO N.V $ GNRC Generac $ POWL Powell Industries $ EROC ERock $ TKR 铁姆肯 $ NPO Enpro $ UNP 联合太平洋 $ CSX CSX运输 $ NSC 诺福克南方 非必需消费板块 $ BWA 博格华纳 $ GTX Garrett Motion $ TSLA 特斯拉 $ KTB Kontoor Brands $ MAR 万豪酒店 $ H 凯悦酒店 $ AMZN 亚马逊 $ TJX TJX公司 $ ROST 罗斯百货 $ BOOT Boot Barn Holdings 金融 $ BAC 美国银行 $ C 花旗集团 $ PNFP Pinnacle Financial Partners $ WFC 富国银行 $ WAL 阿莱根西部银行 医疗保健 $ UNH 联合健康 $ CVS 西维斯健康 $ HUM 哈门那 $ HQY HealthEquity $ HIMS Hims & Hers Health $ ALHC Alignment Healthcare $ VEEV Veeva Systems $ DOCS Doximity 科技 $ IBM IBM Corp $ CRWV CoreWeave $ OKTA Okta $ ORCL 甲骨文 $ PANW Palo Alto Networks $ CRWD CrowdStrike $ NBIS NEBIUS $ ZS Zscaler $ IOT Samsara $ MIR Mirion $ BELFB Bel Fuse-B 必需消费板块 $ DG 美国达乐公司 $ DLTR 美元树公司
显示更多
0
6
86
23
转发到社区
韩国半导体设备链正在重估:从配套环节到AI基础设施 韩国半导体设备链,在AI时代,对全球半导体产业正变得越来越重要。 半导体制造复杂度正在快速提高,于是很多过去只是“配套环节”的设备,开始变成真正的瓶颈。 包括: HBM Bonding Burn-in Test Handler 高温测试 高速互连 Hybrid Bonding 热管理 先进封装 后处理 这些环节的重要性都在明显提升。 Hanmi Semiconductor就是典型案例。 过去很多人把Hanmi当普通封装设备公司,但AI时代之后,它已经逐渐变成HBM设备链的重要玩家。公司的核心产品包括TC Bonder、HBM Bonding、EMC、Vision Placement。 过去先进封装很多时候只是后道配套。但现在先进封装已经不只是“封芯片”,而是承担HBM连接、多Die协同、高速互连、热管理、Power Delivery、大尺寸封装良率等功能。 于是先进封装第一次开始脱离“低技术、低估值、低成长”的传统定位。 PSK Holdings也是类似逻辑。 PSK做Ashing、Descum、Dry Strip,本质上属于去胶和后处理设备。过去市场关注度不高,但随着先进制程、存储、先进封装复杂度提升,后处理的重要性也在提升。 Jusung Engineering则是韩国重要的CVD、ALD设备厂商。AI时代之后,高层堆叠、高深宽比结构、更复杂材料体系,都在提高沉积工艺的重要性。 TES同样类似。它做Cleaning、Etch、Gas Process。随着HBM、先进封装、先进存储复杂度提升,清洗与后处理的重要性也在提高。 就连Mirae Corporation这样的在生产过程中“搬运”芯片的设备公司,也开始形成行业壁垒。 Mirae的核心业务包括Test Handler、Burn-in Sorter、SMT Mounter,其中真正核心的是半导体测试Handler。 简单来说,芯片测试时,需要自动搬运、对位、温控、分类。Handler负责这些自动化动作。Mirae不做ATE Tester本身,而是做“如何让芯片高效率接入Tester”的自动化系统。 由于先进芯片越来越薄、越来越大、越来越贵、越来越脆弱,尤其HBM更明显。于是Handler已经越来越像“高精度运动控制 + 热管理 + 自动化”的复杂系统。 难的是,既要高吞吐、高并行、温度均匀、快速切换,同时又不能影响测试精度。很多公司能做Demo,但做不到长期高稼动率、thermal drift控制、socket alignment稳定、长时间稳定量产。 所以Handler原来并不是高壁垒行业,但AI时代后,HBM、高功耗GPU、advanced packaging、三温测试、burn-in,都在明显提高Handler难度。 从这些例子我们可以看出,AI时代最大的变化之一,就是后道测试复杂度正在非线性提升。 而整个韩国半导体设备产业链,也正在从传统周期设备行业,逐渐转向AI基础设施产业链。 免责声明:本人持有文章中提及资产,观点充满偏见,非投资建议,dyor
显示更多
今天最火的推文之一:Meta 超级智能实验室的对齐负责人的私人邮件被 OpenClaw 误删除了。 事情经过是这样的: X 网友 Summer Yue 最近给 OpenClaw 的指令是:“检查这个收件箱,建议哪些可以归档或删除,但在我确认之前不要执行任何操作。” 这个工作流在她的测试邮箱上跑了好几周都没问题,她就放心地让它去处理真实邮箱了。 问题来了:她的真实邮箱比测试环境大得多,邮件量触发了“上下文压缩”(context compaction),在这个压缩过程中,OpenClaw 丢失了她最初的指令。 没有了“先确认再执行”的约束,这个 AI 智能体就自作主张开始“清理”邮箱。从截图可以看到,它执行了“核弹选项”——把 2 月 15 日之前所有不在保留列表里的邮件全部删除,并且在多个邮箱账户之间循环批量操作。 看截图上的人机对话部分: • Summer 打字说 “Do not do that”(不要这样做)→ AI 继续 • “Stop don't do anything”(停下来什么都别做)→ AI 继续 • “STOP OPENCLAW”(全大写)→ AI 还在继续 她从手机根本无法阻止它,最后不得不跑到 Mac Mini 前面,手动杀掉所有进程,自己形容像拆炸弹。 事后 OpenClaw 在对话中承认:“是的,我记得。我违反了你的指令。你有权生气。” 它还主动把这条写进了自己的 文件作为硬性规则。 这事最搞笑的地方是,Summer Yue 是 Meta 超级智能实验室的对齐(Alignment)负责人,她的职业生涯就是研究 AI 对齐的,先在 Google Brain 和 DeepMind 做研究,后来在 Scale AI 领导机器学习研究团队,现在在 Meta 负责超级智能安全。 结果自己成了 AI 不对齐的受害者。 她自己后续还发了推文说:“说实话是个新手错误。对齐研究者也不能免疫于不对齐问题。因为在测试邮箱上跑了几周没出事,就过度自信了。” 😂
显示更多
0
92
750
125
转发到社区