前言 关于位置编码和RoPE 我之前在本博客中的另外两篇文章中有阐述过(一篇是关于LLaMA解读的，一篇是关于transformer从零实现的)，但自觉写的不是特别透彻好懂再后来在我参与主讲的类ChatGPT微调实战课中也有讲过，但有些学员依然反馈RoPE不是…

关于位置编码，我感觉应该我需要知道点啥？ 0、需要知道什么知识？ multi head atten 计算 复数的常识 1、embedding 是什么？ position embedding常识、概念，没有会怎样？ 交换token位置，没有P…

文献阅读：RoFormer: Enhanced Transformer with Rotary Position Embedding 1. 工作简介2. 常见位置编码方式 1. 绝对位置编码 1. Bert2. Attention Is All You Need 2. 相对位置编码 1. 经典相对位置编码2. XLNet3. T54. DeBerta 3. RoPE方法介绍4. 实验效果考察 …