嗨,这里是 Rodney Zhang’s Blog,欢迎来到我的博客。
我会在这里记录一些日常随想、文章和有趣的转载。
您可以在左侧热力图看到更新频率,在主页的笔记列表中浏览所有内容。
希望在这里能留存住脑海中一瞬的想法,在将来的某天得到曾经的自己给予的力量。
如果您有各方面的建议,欢迎 email 联系我:[email protected]
Attention Is All You Need.
嗨,这里是 Rodney Zhang’s Blog,欢迎来到我的博客。
我会在这里记录一些日常随想、文章和有趣的转载。
您可以在左侧热力图看到更新频率,在主页的笔记列表中浏览所有内容。
希望在这里能留存住脑海中一瞬的想法,在将来的某天得到曾经的自己给予的力量。
如果您有各方面的建议,欢迎 email 联系我:[email protected]
Attention Is All You Need.
数据统计功能会天然制造一种驱动力,一些数字被量化后,人会不自觉地想让它们持续增长。博客添加上记录统计,会更有动力持续记录;运动手表能记录里程,我们也会更有动力让公里数逐日累积。

原始人围坐在火堆旁时,并不知道火焰是剧烈的氧化放热;他们烤熟肉食时,并不知道美拉德反应正在悄然发生;自行车的发明者更不会想到,直到一百多年后自行车平衡的原理仍在被不断修正和重新解释。但这并不妨碍火被使用、肉被烤熟、自行车风靡世界。
从实用主义的角度讲,这正是人类认识世界的常态:先利用现象,再总结规律。对于工科这种以“现象反馈、迭代改进”为核心的学科来说,方法论很朴素:做实验观察效果,如果有效就采用,然后再试着用一套能自洽的理论去解释它。哪怕这套理论目前还很粗糙也无妨,一切都会随着时间逐步澄清其机制原理。这个过程可能漫长,但“先上车后补票”带来的结果却是实打实的。
大语言模型 LLM 的处境与此高度相似。为什么 Transformer 架构能涌现出如此强的泛化和推理能力,也许要等未来许多年才能被完全解释。但当下,天才们靠直觉对现象进行筛选和收敛,产出的效果是真实的,对人类生产和生活的改变也是真实的。
也许将来我们会发现 LLM 这条路是错的,退一步讲我也并不认为基于当前 Transformer 架构能够真正实现 AGI。但做错也好过什么都不做,在高度不确定的环境中,在反馈极快的系统中,试错获得的反馈远高于停滞观望。不可否认,目前阶段的 LLM 已经对生产和生活带来了质的变化。
不管黑猫白猫,能抓住老鼠的就是好猫。至于将来需要抓蛇、抓蟑螂,that’s another story.
之前对本地部署小模型的想法还是太乐观了。肉眼看流式输出,觉得 30 token/s 已经是能用的速度,想着将来有机会本地部署来帮我处理一些未脱敏的文件,能大大降低工作量。
结果细算了一下才发现:就算买台 DGX Spark,跑 Qwen3.8-27B 到 40 token/s,每天 24h×60min×60s 跑满,也只有 3.45M token。每天 300 万 token 实在想不到能在生产环境支撑起什么具体的 Agent 任务。
退一步讲,就算将来 27B 的稠密模型能打破物理定律、真能摸到 Kimi K3 的水平,这个速率也真的什么都干不了。如果想靠 MoE 解决速率问题,总参数一大,一台机器的显存就塞不下了,得上双路或者 Pro6000 这种专业卡,成本翻好几倍。装得下但跑不动 vs 跑得动但装不下,不过账虽然这么算,人还是可以乐观一点,静待天才和时间。
最近孙宇晨又上了热搜。这里不讨论虚拟货币本身的争议,只是想到一个问题:对币圈、股市游资这类游离于实体经济之外的财富来说,他们最大的软肋,或许是财富的安全性。
币圈大佬的财富,本身缺乏足够的正当性,也缺少自保的能力,面对强权或外部压力时很容易被掠夺:赵长鹏的财富规模再惊人,也不能转化成有效的自保筹码,在美国监管重压下被迫支付天价罚款,身陷囹圄。
而掌握实体企业的人,财富主要以生产资料的形式存在——工厂、设备、上下游供应链、雇佣关系。即使他们因压榨员工、扮演“黑心资本家”而招致众怒,只要身后关系着几万甚至上百万人的饭碗,外部力量想要整顿或“收割”他们,就难免投鼠忌器。相比之下,币圈大佬的财富,犹如稚子怀金过闹市。
理性地表达是可以锻炼的,但是感性地思考却很难锻炼。用理性的方式去呈现内心的感性,才是理性表达的核心。
许多优秀的文学作品会用清晰、克制、有观察力的方式呈现人物的情感,即理性表达感性;而用感性来表达感性,是抒情;用感性来表达理性,则容易滑向偏见。
鸿蒙系统真的赶上了好时代。AI Vibe Coding 大大降低了开发者的移植门槛和成本,使得将 App 移植进鸿蒙市场,对小开发团队而言变成了一个可行的选项,只要想做,总能够实现,而 Harmony OS 的高质量目标用户群体也进一步激发了开发者的移植动力。
人们往往会因为痛恨某一个东西,就不由自主地选择去认同它的对立面,可现实是复杂的,很多时候两边都不是什么好东西,IS 和美军中不存在正义的一方。

几乎所有事情的解决都是朝着阻力最小的方向被推动的。
当汽车诞生的时候,我们不必跑得比车快,而是要考一个驾照。
我一直觉得很多矛盾都源于观念不同。而人生观、社会观本身没有对错,它们是每个独立个体成长经历与社会经历的产物。只要逻辑自洽、不双标,就没必要、也不应该对别人的观念抱有控制欲,更不应该居高临下地指责。
举个例子,比如我一直不理解,甚至觉得荒谬,社交平台上“想生孩子”和“不想生孩子”这两类群体为什么会吵起来,如果我是不想生育的那一方,我不会想与另一方争辩,我只会希望对方能够保持生育率不下滑,因为正是 ta 们的下一代,将来缴纳社保,才能保证我自己的养老金不至于落空;相反的,如果我是希望生育的那一方,我只会希望生育率再下降一些,将来我的下一代的升学和就业能够少一些竞争…
同样的道理,希望躺平的人不必在各个角落反复宣告自己的无欲无求,默默享受就好;希望内卷的人也不必看着躺平的群体愤恨不平,阴阳 ta 们为什么不上进,笃定的人不需要反复向世界证明自己的选择。
“非线性冲击”
在完全没有宏观调控的情况下,当粮食减产 30%,是不是意味着粮食的价格上涨 30%?
不是,而是粮食的价格上涨到,人们对粮食的需求下降 30%为止。就是要有一部分饿死,一部分人接受每天吃不饱,主动把自己的需求降低。当全社会对粮食的整体需求下降了 30%之后,粮食的价格才会稳定下来,停止上涨。
刚需下的供给短缺,最终会直接淘汰一部分需求者来实现均衡。
有很多人会在细枝末节的小事上绞尽脑汁得出最优解;反而在结婚买房创业这种重大决策上草率,闭着眼梭哈,这是很严重的决策错位。
一个人如果因为成长中经历的控制欲而变得唯唯诺诺、畏首畏尾,如果他做任何事的出发点,从“如何达成结果”扭曲为“如何不被指责”,这是一种很病态的心理状态。
房价的峰值在 2020 年左右,大多贷款 20-30 年。在高位上车的倒霉蛋们还清贷款之前,也就是 2040 年之前,政策会有极强的动机使通胀的幅度维持在相对稳定的区间。
年轻最忌讳的就是在阅历尚浅时,一味沉溺于“向内求”。物质决定意识,没有现实的摔打,没有外界的阅历、没有岁月的沉淀,所谓的“向内求”,不过是在虚无主义的路上越走越远。你得去见天地,见众生,去经历、去做事,去攒下实打实的人生厚度,你的思考才有根,你的清醒才有力量。而这一切,都与记录分不开。
DeepSeek 正式版来了,方法论的胜利,远比堆参数的胜利更有意义。
前几天啃完了网上流出的梁文锋投资人闭门会议转录,印象最深的两个词是“长期主义”和“克制”,也是对“开源精神”有了一层更形象的诠释。DeepSeek 令人尊敬的地方,与海思那种“国产化替代”叙事并不相同,我更愿意把它拆成两个维度:技术普惠和极致的资源效率。前者是 DS 真正让 C 端用户廉价的平等地享受到 AI 时代的红利,后者是 DS 团队把工程方法论用到了极致,用小模型打赢大模型,方法论的胜利,远比堆参数的胜利更有意义。
人类的幸福感由供给端决定下限,而分配端决定上限。未来社会学最大的课题应该会转向财富如何分配的问题。
Sinya Lee 有一个观点我比较认同:牛逼的人最明显的特征是连续成功能力,而很多所谓的“成功”企业家,其实并不具备这种能力。
他们中的不少人,发家靠的是两样东西:时代风口和法律漏洞。比如搞房地产的不少只是靠着“狠”劲,搞定关系、拿下地块,然后在货币宽松和城市化浪潮中乘风而起。他们的成功,与个人能力的关系没有人们想象的那么大。
这种成功,普通人几乎无法复制。因为它极度依赖时代背景,错过了那个时代的红利背景,同样的玩法就行不通了。而且很多操作是在法律边缘灰色地带游走,赌赢了身家过亿;赌输了牢底坐穿
所以我不认为那些 50-70 年代出身的企业家成长路线是可借鉴的。他们的路径是特殊时代的产物,在那个时代他们的认知与判断确实超乎常人,但是对于今天的年轻人来说几乎没有借鉴意义。
Anthropic 极端的安全叙事近乎宗教化,用道德高地包裹商业利益,这个问题也可以用经济学去解释,诺奖经济学得主 George Stigler 提出过一个著名的理论“ regulatory capture(监管套牢/监管俘获)”:经济学逻辑是行业发展到一定阶段,领先巨头会有强烈动机推动政府制定高成本的严格监管。名义上是“保护公众”,客观上却抬高了准入门槛,把中小企业挡在门外。
对于大模型厂商来说,合规是一笔固定成本,但是其对头部实验室可以摊薄,对中小实验室则是生死线,这才是在位者推动严监管的真正动机。即“规制通常是产业自己争取来的,规制的设计和实施主要是为规制产业自己服务的。”
最近关于大模型的迭代让我切身感受到了两点明显的进步:
一是从 64K 到百万上下文的进化,AI 有了“硬吃”文件二进制的能力,利用 AI 逆向某个文件变为可行,这何尝不算是一种暴力美学。
二是模型能力的切实提升,之前某个前端任务陷入死循环,各种自然语言描述就是找不到问题所在,换个新模型就一次解决了,理解能力、推理能力已经明显上了一个新台阶。
现在对于大多数任务,需要的不是精通语法逻辑的程序员,更重要的是提问的能力,编写 prompt 的能力,价值就不再体现在怎么写代码上,而是怎么描述问题,怎么引导 AI 给出最优解上,提问是一门艺术。
假如市政府现在有一笔钱可以发放,有两种方案:第一种是发给消费者,第二种是补贴企业。究竟哪一种政策比较好?从地方政府的角度来看,答案永远是补贴企业更好。因为政府基本上可以确保本市的企业雇佣的是本地的居民、拉动本地的 GDP 和给本地交税——这笔钱大概率会留在本地循环,但是如果把钱发给消费者,却没法保证本地的消费者买的是本地的商品。
刺激消费的代价远高于刺激生产,从地方政府利益最大化的角度出发,补贴企业无疑是更优的选择。
人类每一代社会稳定器都不是武器,是精力消耗装置。罗马是面包与马戏,中世纪是教会,上世纪是电视,现在是抖音 15 秒一发的多巴胺。
武器让人恐惧,但恐惧会孕育反抗;而精力消耗装置让人满足,满足会消解行动力。
知乎最大的价值,就在于它提供的视角与思考,各行各业的人们于此拆解问题,这正是它不可替代的地方。但仍会有不少人有意无意带着精英阶层的傲慢,所以要结合实际,多了解社会上的各色人等,才更可能有相对合理的判断。
如果有一个玩抛硬币猜正反面游戏(假设系统严格保证两面都是 50%的概率),共 100 次,如果你赢了就给你 2w,输了你就支付 1w。
对于富人,他们一定选择下注,因为 100 次可以基本确保数学概率,因此可以获得预期 50w 的回报。
但如果你是穷人,只有 1w,你就不得不因为脆弱性而放弃机会,因为你一旦第一次输了,你就会因为失去本金而下牌桌,明明知道这个游戏的期望值为正,却因为可能等不到均值回归的那一天而被迫放弃。
那么,相比于富人,穷人相当于额外支付了一笔 50 万元的“反脆弱税”。
类比到我们的人生,本金其实就是人生路上的试错成本。
掌握生产力的人,适合出海;掌握生产关系的人,适合留在国内。
没有好坏,只有对不对位。
我对经济学的观点比较符合凯恩斯主义的视角——金融工具(股票、期货、衍生品)的原初功能是为企业融资、为生产者分散风险。而在当代金融市场中,这一功能已大面积异化,大量交易脱离了实体生产,演变为纯粹的投机博弈。凯恩斯把这类市场比作赌场——当投资退化为猜别人心思的博弈,它与企业融资就再无关系。
当参与者入场的主要目的,是从价格波动中博取差价,无论其在法律上多么合法,形式上多么合规,本质上就是投机。同时投机市场从来不是一个公平游戏。信息、量化算法等资源集中于少数机构与“精英”手中,散户作为信息劣势方,从入场的那一刻起,就处于结构性不利的位置,绝大多数散户都不是在博弈,而是在被收割。
一位学者关于“见世面”的思考:真正的世面,应该在生产端,而不是消费端,消费端的纸醉金迷,表面光鲜,实则容易让人迷茫而无所求,可能只有真正参与生产、亲手创造价值,当你真正见识过底层劳动人民的辛苦,并想着为他们谋福利的时候,这一刻你才叫见过世面。
卷生产端→卷消费端,廉价制造业输出→文化输出。
我们把廉价的电视机卖给非洲和东南亚,让他们看到了世界;但他们打开电视,追的是 K-pop、向往的是首尔的生活,他们享受着中国制造的便利,却在文化认同上倒向了别人,甚至回过头来诋毁中国。
这不是产品的失败,这是叙事的失败。我们不能只做世界工厂,不做文化输出者,这一步不跨过去,中国永远只会是那个埋头干活、被人误解的巨人。
Agent 工具确实带来了极大的便利,之前导员找我做一个简历批量重命名的任务,每个同学的文件名都不一样,可能是姓名+学号、学校+姓名等等,如果只是 AI+coding,DeepSeek 直接吐出来一段包含了百家姓的代码做关键字匹配,它会尝试穷举所有可能的命名模式——这是一种典型的“规则驱动”思路:试图用有限的规则去覆盖无限的变化。结果往往是代码越写越复杂,却仍然会漏掉边界情况。
而对于 Agent,它可以直接把所有文件名批量喂给 API 得到答复。这是一种“意图驱动”的思路:我不告诉它怎么做,只告诉它要什么,剩下的交给模型。
不评判好坏,但也不可否认的是,当代男性的去责任化正在加速,逐渐向“独立女性”的叙事看齐。
所有制形式应当匹配产业属性,而不单是“姓社姓资”的口号问题。
真正适合私有制的,是那些需要持续迭代和技术改进的领域,就是和科技沾边的行业,创新的本质是探索未知,失败是常态,没有私权激励,就很难有人愿意长期投入。清晰的股权激励会让创造者分享到创新收益,形成良性循环。
而医疗、电力、石油等行业,它们的首要目标不是迭代速度,而是普遍可及与公平分配,所以主体必然是要以公有制才合理,只有公有制,才能保证它们按照“社会目标”而非“盈利目标”运行,才最有利于人类整体发展。
应对 AI 时代的冲击,对于个体来说,应该找一个难以被 Token 化的方向。
如果一件事情可以被完整地表示为 Token 序列,AI 就能够飞速学习、生成、优化。纯软件、纯逻辑的工作比如写代码、做报表、翻译文本、生成合同……这些领域的门槛正在急速消失,无非是数据集和算力的问题。
而依赖于物理交互、隐性知识、人际信任、手感与直觉的事情,充满了无法被编码的变量,AI 时代的安全区在键盘够不到的地方。
文科生在当下有三个有意义的就业方向:深度参与国际规则制定、品牌出海/国际品牌塑造、以国内外群众喜闻乐见的方式传播我们的意识形态。
“这三个方向现在是大量缺乏人才的,而目前很多靠翻译替代著作、热衷于搞学阀的高校的泛文科教育体系是很难培养出这样人才的,你如果自己有这方面的天赋和钻研,就会有弯道超车的机会。”
文科的其他方向在当今就业形势下,可能确实不如去考公。
关于张雪峰老师的猝死,忽视身体信号是直接原因,傲慢而没有听从网友的建议去体检也占很大原因,对于成长经历塑造的他这种性格,让人感到遗憾和惋惜。
但由此去抨击高强度运动和喜欢运动的群体也没有必要,从某种角度来说,能完赛一场马拉松的人,大概率在训练中就经历过高强度运动对身体的负面影响,更清楚自己在做什么。
所以我想提供一个视角:把高强度运动看作一种不太健康的爱好,就像有人喜欢抽烟、喝酒、熬夜一样,运动带来的内啡肽让人即时满足,爱好者们痛并快乐着,作为一种爱好,它有代价,也有满足,本身没有什么苛责的。
我们真正需要践行的是“负责”二字。对自己的身体负责——倾听信号,定期体检,不逞强;对家庭负责——健康不单是自己一个人的事,还是家人的安心;对社会负责——不因个人的喜好造成公共资源的负担。能做到这三点,任何一种爱好都值得被尊重。
关于考公和私企,红利在于是给下一代还是给自己。
体制内的红利,是后置且外溢的,最终会沉淀为下一代的起点。
私企的红利,是前置且集中的,在最能享受生活的年纪兑现。
看作为个体,是更在乎给自己年轻时的富足,还是给“家庭”观念的长时段高下限。
人口红利是有的。
在中国,任何一个行业,只要做到头部,规模都会庞大得惊人。14 亿人的市场,任何一个细微的需求乘以这个基数,都可能催生一个惊人的市场。
毕设有感
感觉大方向有误时要及时寻求外部帮助,确认方向;方向之下的小细节多探索多尝试。
不过走点弯路似乎也挺好的,每一步都算数,能够多学一些东西。
喜欢电脑风扇嘶吼的声音
跑仿真时看着任务管理器 CPU 满载的瞬间,那种感觉很难形容,这是独属于计算机的美感,带着浓烈的现代工业气息。
目前在用 ROG 幻 13 的键盘我很满意,在轻薄本的类别中键程和手感相当不错,和 ThinkPad 同一级别,真正长文码字的任务,相比于机械键盘我更喜欢薄膜键盘的手感,省力、静音。
让我印象比较深刻的一个区分 i 人和 e 人的观点:疲惫时通过何种方式给自己充电?i 人一般会依赖独处而 e 人会依赖社交。而不是简单地评判社交能力的好坏,就比如撒贝宁老师其实是 i 人,i 人未必处理不好社交关系。
有点私心的讲,我倾向于认为i人更能够“成大事”,因为独处与冷静思考乃至与自己对话是一种能力,“向内求”对个体的自我发展至关重要。
“提问是一门艺术”这句话在大模型时代被赋予了全新的重量。
颇为意外的是,一些我印象中能力很强的朋友,竟然也不太会娴熟地使用大模型。
会写 Prompt 的能力在当下——模型能力尚未实现“许愿式编程”的时代,真的很重要。
或许在旁人看来,我是个物欲不高的人,也没有什么仪式感,甚至自己的生日也无甚感觉。我可能更倾向于将精力和金钱都投入到自己真正的爱好上,而非穿衣打扮和流于形式的“仪式感”。
不过即将步入社会,也该认真地注意个人形象,不论是取悦他人还是取悦自己,得体的外表是对自己和所处场合的尊重。
关于奢侈品,我曾经确实难以理解,也难以认同。例如几万元一件,却明晃晃标注“不可水洗、不可干洗”的大衣,用曲别针做成、售价离谱的手链。
阅历渐深,虽仍不会说服自己购买这些东西,却渐渐愿意支持“富人”们对其进行消费。经济的血液循环,靠的是顶层购买力的释放;奢侈品高溢价的相当一部分,会以设计、工艺、门店、服务等形式流向产业链上的从业者,指望普通人去撑起这种消费显然不现实,衷心感谢一下所有为经济运转做过贡献的富人。
DeepSeek 的 Web 端联网搜索功能出乎意料的好用,精准且快速,体验比接入 api 的联网搜索插件好。
DeepSeek 的百万上下文支持也很有用,在同一个会话中即可完成整个仿真软件使用流程的解答,也能追溯到很早的上文进行全部总结。
挺享受当下这种独自搓毕设的状态,在 DDL 距我很远的时候,白天戴着耳机在空教室调试仿真;晚饭后在未来之瞳湖边吹着晚风语音转文字,勾画论文大纲;寝室十一点半熄灯之后再码字构建正文。
我对考公热潮始终持审视态度。
固然,在经济下行的趋势下,大家对职业前景的考量愈发谨慎,求稳本无可厚非;但我总觉得,其中相当一部分人的动机过于功利,近乎某种“投机”——体制意味着稳定与红利,便一拥而上。由此难免令人怀疑:这些人若真上了岗位,是否还会践行“为人民服务”的初衷?
希望像 F 先生一样,在 40 岁成为一位亲和的中年男性。
AI 时代,我相信中国的发展潜力上限极高。
算力的尽头是电力,像国家电网这样的基础设施,是科技巨头梦寐以求、却无法仅凭一己之力解决的壁垒。国家级基建的托底能力,就是我们在这场全球科技竞赛中最硬的底牌。
这场 AI 长跑中,前半程拼的是模型与算法,而后半程拼的将是基建与能源,时间会站在我们这边。
中华民族是“长生种”:当别的古文明如同“短生种”般在历史浪潮中昙花一现,我们的文明却以“慢而韧”的方式延续了五千年而未断。
厚重史料沉淀下来的是经验的结晶,一个能反复翻阅自身五千年得失的文明体,与一个缺乏连续历史记忆的文明体,面对未来时的底气是截然不同的。“短生种”靠天启,“长生种”靠史观,历史赋予中华民族文化自信。
本福特首位数字定律(Benford’s Law):跨越多个量级的“自然数据”,1 开头的比 9 开头的多 6.6 倍。例如某个城市的人口数、某个省份的 GDP、某个公司多条产线的营业额。
原因在于增长的相对阻力:1 增长到 2 需要 100%的增幅,而 8 增长到 9 仅需 12.5%。数据在 1-2 区间停留的“时间”天然更长。
这个反直觉的规律常被用作审计工具,因为人工编造的数据往往不符合这一分布,借此可以有效识别数据造假异常。
普通人不必焦虑赶不上科技浪潮
如果说智能手机就是未来的话,那没有抢到初代 iPhone 首发的人,并没有错过什么。
我始终相信,科技的大势是普惠。消费电子领域里,高端技术持续下放,边际成本不断摊薄;人工智能也从“少数人的特权”,一步步走向“多数人的日常”。
亲身经历了多年前横空出世的 GPT3.5,有很高的门槛:境外手机号、繁琐注册、对话额度频繁耗尽后的漫长等待…再到短短几年后 DeepSeek-R1 开源,带着媲美 GPTo1 的深度思考能力走进普通用户的视野;从 OpenClaw 部署令人头疼的环境配置和学习成本,到现在国产 Work Buddy、TRAE 傻瓜式一键安装的方案…技术正在以肉眼可见的速度拆除围墙。
也许,科技真正的意义从来不在于让谁先抢到入场券,而在于让每一个人都能平等地享受它带来的红利。