Everyday NetLog

快捷导航
专栏分类
zhoz blog 重新开张,欢迎继续支持!
Nov 14

最近圈内老黄有些火,借机拆解大模型从预训练、后训练到推理的完整链路,讲清前向、损失、反向传播、优化器、分布式通信这些底层环节;再客观梳理国内 AI 芯片当前落地能力,以及和英伟达成熟生态之间真实、可验证的差距。

一、LLM 基础流程:预训练、后训练、推理

1. 预训练(Pretrain)

预训练是大模型能力底座的搭建阶段:用海量无标注文本,让模型学习语言规律、事实知识、逻辑范式。

  1. 前向传播(Forward):文本转成 token 送入模型,逐层做矩阵运算,输出每个位置下一个词的预测概率。也就是图里算力公式 \(C\approx6\cdot N\cdot D\) 里的「2」—— 前向只占 2 份计算量。
  2. 损失函数(Loss):对比模型预测结果和真实下一个 token,算出预测偏差(交叉熵损失),用来衡量模型现在 “猜得准不准”。
  3. 反向传播(Backward):沿着网络从后往前求导,算出每个参数对应的梯度 g,也就是这个参数该往哪个方向调整才能降低损失。反向计算量更大,对应公式里的「4」,一轮训练前向 + 反向合计约 6 倍 \(N\cdot D\) 的 FLOPs。
  4. 优化器更新(以 AdamW 为例)
    就是第一张图展示的混合精度存储结构:
  • \(\theta\):模型参数,BF16,2 字节;

Tags: ,
Nov 6

觉悟不是求得新的真理,而是一层层拆去执念织就的幻相。

何为破相?破的不是世间万物,是附着在万物之上,我们心中牢不可破的执念。

破是非 —— 世人执一端对错,然世事本无定衡,是非多是立场造作;
破自我 —— 我执为万苦之根,把 “我” 的得失荣辱当成全部,便困在方寸牢笼;
破文字 —— 文字只是渡河之筏,执文溺辞,便以指为月,不见真意;

Nov 1

AI一人公司(AI One-Person Company,简称 OP​​C)是未来几年普通人值得认真研究的一种创业模式。

很多人吹的天花乱坠,整天告诉你如何用AI赚外,其实大多应该就是在赚你的钱!

AI公司应该是个最轻量化公司,切忌一上来就扎进大模型自研、搭建 AI 平台,追逐风口概念。
务实的路径应当是:

锚定真实商业需求→依托 AI 压缩交付成本→落地获客、跑通现金流→把标准化服务沉淀为产品→持续积累属于自己的数字资产。
核心心法:不必一开始就图谋做大企业,优先搭建一套能盈利、可复用、可持续迭代的小型商业系统。

Oct 31

脆弱的自我,需要 “永不犯错” 当铠甲;铠甲越薄,越经不起半句客观的评议。

认知困守井底之人,可供凭持的东西本就寥寥,那一点自尊,便是她仅剩的体面。

有没有这种人:一句持平之论,本是对事理的剖白,入她耳中,便自动衍出千层敌意。

你论事,她认作辱人;你陈事实,她脑补全盘否定。

对话尚未展开,防御已然全开,习惯性驳斥,不是思辨,是本能自保。

Oct 22
昨夜收到客户提醒:PHP出现2个“紧急”级别漏洞,很多重要系统都暂时关闭,以待处理。
截至目前22日,这起事件属于影响范围广、风险等级高的 PHP 服务器安全事件。需要注意,事情已经从最初的漏洞预警进入了补丁发布和紧急修复阶段。
事件概要
预警时间: 2026 年 10 月 20 日,欧盟机构网络安全应急响应团队 CERT-EU 发布安全公告。
漏洞编号: CVE-2026-109618、CVE-2026-109619。
风险等级: 两个漏洞的 CVSS v4.0 评分均为 9.2/10,属于严重安全漏洞。
核心风险: 攻击者可能无需身份验证,即可通过网络远程执行恶意代码,进而控制受影响服务器。
影响范围: CERT-EU 根据外部信息指出,PHP 5 及后续版本可能受到影响。不过,PHP 5 及以后所有版本均受影响这一说法,最初并非来自 PHP 官方确认。
分页: 1/164 第一页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]