Everyday NetLog

快捷导航
专栏分类
zhoz blog 重新开张,欢迎继续支持!
Nov 19
  • GPT = Generative Pre-trained Transformer   - Generative:生成式   - Pre-trained:预训练   - Transformer:Transformer(深度学习架构)
  • 中文直译:聊天生成式预训练变换器

简单理解:Chat = 对话,GPT = 生成式预训练 Transformer 模型。

Transformer 通俗解释

Nov 14

最近圈内老黄有些火,借机拆解大模型从预训练、后训练到推理的完整链路,讲清前向、损失、反向传播、优化器、分布式通信这些底层环节;再客观梳理国内 AI 芯片当前落地能力,以及和英伟达成熟生态之间真实、可验证的差距。

一、LLM 基础流程:预训练、后训练、推理

1. 预训练(Pretrain)

预训练是大模型能力底座的搭建阶段:用海量无标注文本,让模型学习语言规律、事实知识、逻辑范式。

  1. 前向传播(Forward):文本转成 token 送入模型,逐层做矩阵运算,输出每个位置下一个词的预测概率。也就是图里算力公式 \(C\approx6\cdot N\cdot D\) 里的「2」—— 前向只占 2 份计算量。
  2. 损失函数(Loss):对比模型预测结果和真实下一个 token,算出预测偏差(交叉熵损失),用来衡量模型现在 “猜得准不准”。
  3. 反向传播(Backward):沿着网络从后往前求导,算出每个参数对应的梯度 g,也就是这个参数该往哪个方向调整才能降低损失。反向计算量更大,对应公式里的「4」,一轮训练前向 + 反向合计约 6 倍 \(N\cdot D\) 的 FLOPs。
  4. 优化器更新(以 AdamW 为例)
    就是第一张图展示的混合精度存储结构:
  • \(\theta\):模型参数,BF16,2 字节;

Tags: ,
Nov 6

觉悟不是求得新的真理,而是一层层拆去执念织就的幻相。

何为破相?破的不是世间万物,是附着在万物之上,我们心中牢不可破的执念。

破是非 —— 世人执一端对错,然世事本无定衡,是非多是立场造作;
破自我 —— 我执为万苦之根,把 “我” 的得失荣辱当成全部,便困在方寸牢笼;
破文字 —— 文字只是渡河之筏,执文溺辞,便以指为月,不见真意;

Nov 1

AI一人公司(AI One-Person Company,简称 OP​​C)是未来几年普通人值得认真研究的一种创业模式。

很多人吹的天花乱坠,整天告诉你如何用AI赚外,其实大多应该就是在赚你的钱!

AI公司应该是个最轻量化公司,切忌一上来就扎进大模型自研、搭建 AI 平台,追逐风口概念。
务实的路径应当是:

锚定真实商业需求→依托 AI 压缩交付成本→落地获客、跑通现金流→把标准化服务沉淀为产品→持续积累属于自己的数字资产。
核心心法:不必一开始就图谋做大企业,优先搭建一套能盈利、可复用、可持续迭代的小型商业系统。

Oct 31

脆弱的自我,需要 “永不犯错” 当铠甲;铠甲越薄,越经不起半句客观的评议。

认知困守井底之人,可供凭持的东西本就寥寥,那一点自尊,便是她仅剩的体面。

有没有这种人:一句持平之论,本是对事理的剖白,入她耳中,便自动衍出千层敌意。

你论事,她认作辱人;你陈事实,她脑补全盘否定。

对话尚未展开,防御已然全开,习惯性驳斥,不是思辨,是本能自保。

分页: 1/164 第一页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]