通俗易懂的讲清楚大模型预训练｜所有知识来自卡帕西大神的课程，大模型三步曲01

Video Description

大概在两周前，我看完了卡帕西三个半小时在油管上课程。他用简单的语言，讲明白了大模型从无到有的建立。 母语是英语人的角度看这个课，一定觉得很简单，但是作为一个母语为中文，而且英语又没有那么好的人，看看这个视频还是有点费劲。我看完这个视频后，又花了几周时间，点开了他课程里所有的链接、看了链接里面的论文，才弄明白他说的所有知识。 所以我决定一共做三支视频，把卡帕西德课程转换成中文和大家分享。我是一个非技术背景出身的人，我看完都能懂，很多也和我一样的小白一样也能看懂。 1、时间轴 01:42:00 下载和预处理互联网 05:14:05 token化 10:05:28 神经网络训练 13:06:15 推理 14:39:15 Demo:GPT2 16:27:12 模型“心理学” 2、资料链接 预训练流程图（中文版）：https://drive.google.com/file/d/1r91_d2HuIAAD-mE_ujNw_F93RP0dCOOl/view?usp=sharing 数据去重和筛选论文资料包：https://drive.google.com/file/d/1LiXJC7dzflWenMGJWezbXDhE_3KYJG5q/view?usp=sharing GPT2论文：https://drive.google.com/file/d/1il0_UkaSW3nAsA19GSFudB7hDwoTy4X_/view?usp=sharing FineWeb (预训练数据集)：https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1 3、工具链接 打开流程图的工具：https://excalidraw.com/ Tiktokenizer: https://tiktokenizer.vercel.app/ Transformer 3D可视化工具: https://bbycroft.net/llm 卡帕西复刻的GPT2：https://github.com/karpathy/llm.c/discussions/677