大模型底层逻辑详解:小白也能看懂AI如何思考

2022年11月30日那晚,OpenAI推出的ChatGPT像颗炸雷,两个月就收割1亿日活,把TikTok的增长纪录按在地上摩擦。两年过去,国内六成企业都在搞大模型,文心一言、豆包这些AI助手遍地走,写文案、改代码、做翻译样样来,活像个无所不能的全能选手。

但多数人用着用着都会犯嘀咕:这玩意儿打字慢吞吞的,一个字一个字往外蹦,到底是在“思考”还是装酷?今天咱就扒掉AI的神秘外衣,用唠嗑的方式把这事说透——其实它就是个练了“海量阅读”的超级接龙选手,本质是台精准的“概率计算器”。

先解答灵魂拷问:AI为啥非要逐字蹦?答案特简单,它是真在逐字“凑”答案。大语言模型(LLM)的核心工作,就是根据你说的话,猜下一个该接啥词,跟咱小时候玩的成语接龙没区别。比如你输入“今天天气很”,它翻遍学过的海量文本,发现“好”是出现概率最高的字,接上变成“今天天气很好”,再基于新句子猜下一个词,一步步凑出完整回答。

不过有个小细节:AI不直接认“字”,而是把文字切成“Token”——相当于它的“最小积木”。可能是一个字、半个词,比如“bananas”会被拆成“ban”和“anas”。它的全部工作,就是不停猜“下一块积木该放啥”,这就是为啥回答会“蹦”出来,不是装酷,是真没别的办法。

这“接龙高手”也不是天生的,得经历三次“修炼”。第一阶段预训练,相当于让它狂刷全网文本——书籍、论文、社交媒体全不放过,GPT-3光训练就用了3000亿个Token,堪比读完整个互联网。这阶段没人教它“这词啥意思”,全靠自己瞎琢磨,属于“无监督学习”,就像你没老师教,却能从一堆图片里分清猫和老鼠。

练完的基座模型是个“书呆子”,懂知识但不会说话。第二阶段微调就来了,工程师给它喂大量“示范对话”,比如“问天气→答晴朗”,教它礼貌聊天,这就是“监督学习”。有意思的是,微调数据量超少,OpenAssistant数据集才16万条对话,中文不到5000条,就够它学会“说人话”。第三阶段推理,就是正式上岗干活,调动学过的知识生成回答,不改变自身“内功”。

说穿了,AI的预测就是玩概率游戏。比如它学过“I like apples”“I like bananas”,就会算出“like”后面接“bananas”的概率是66.7%,接“apples”是33.3%,你输入“I like”,它就优先选“bananas”。这也解释了为啥它会“一本正经胡说八道”——它只追求句子通顺,不管事实对错,就像填空题填“小明考第一很难过”,语法对但不符合常识。

那它咋知道“苹果”和“香蕉”都是水果?靠“向量嵌入”技术,把每个Token变成一串数字,相似的词数字距离近,就像超市把水果归一类、家电归一类。而它能读懂“动物没过马路,因为它太累了”里的“它”指动物,全靠Transformer架构的“注意力机制”——相当于让AI有了“火眼金睛”,能扫视全句判断词与词的关联,多层计算后把上下文理解透。

看到这你该懂了,AI不是啥有灵魂的黑科技,就是“接龙+概率+分类+注意力”的组合拳。理解这些不是让你当工程师,而是用着更有底:知道它为啥犯错,清楚它的边界,才能更好驾驭。下次再看到AI逐字蹦回答,你可以微微一笑:别装了,我知道你在玩接龙呢!毕竟在AI时代,看懂它、用好它,比被它吓住靠谱多了

说明:本站所有内容均收集于互联网,如果有不妥之处,敬请谅解。如有侵权内容,请联系我们删除。内容并不能代表产品厂家,或者是第三方的观点,非专业技术类人员,请勿对服务器设备进行操作,以免造成设备不可使用或数据丢失。同时凯铧互联小编建议用户定期对云服务器数据进行备份保存! 北京凯铧互联科技有限公司(简称凯铧互联)由多名前阿里云资深技术专家创立,核心员工来自阿里云、腾讯云等,作为阿里云重要的合作伙伴,专注于为企业用户提供云计算及云计算的解决方案,高端网站建设,设计及维护服务,设计开发经验丰富,用户认可率高. 今天的分享就到这里啦,若您需要帮助, 可以直接扫描添加我们客服微信号,阿里云代理商凯铧互联专业技术团队为您提供全面/便捷/专业的7x24技术服务。