Encoder-Decoder Seq2Seq模型 Seq2Seq 模型输入的是一个自然语言序列 input=(x1,x2,x3...xn)input = (x_1, x_2, x_3...x_n)input=(x1​,x2​,x3​...xn​) ，输出的是一个可能不等长的自然语言序列 output=(y1,y2,y3...ym)output = (y_1, y_2, y_3...y_m)output=(y1​,y2​,y3​...ym​), Transformer 是一个典型的 Seq2Seq 模型，序列进入 Encoder 进行编码，到 Encoder Layer 的最顶层再将编码结果输出给 Decoder Layer 的每一层，通过 Decoder 解码后就可以得到输出目标序列了。 编码：将输入的自然语言序列通过隐藏层编码成复杂的词向量表示。 解码：对输入的自然语言序列编码得到的向量通过隐藏层输出，再解码成对应的自然语言目标序列。 几乎所有的 NLP 任务都可以视为 Seq2Seq 任务。例如文本分类任务，可以视为输出长度为 1 的目标序列（如在上式中 mmm ...

“export http_proxy=http://127.0.0.1:xxx” 是什么意思？ **事情起因：**今天给学校集群服务器配置代理的时候，发现总是要输入这些命令，但是平时都是只知道敲命令而不懂原理，就很好奇这些究竟是什么意思❓ export 是什么？ 在 Linux 系统里，export 的意思是**“声明/导出环境变量”**。 可以把它想象成在当前的终端里贴了一张 “全局通告”。只要是在这个终端里运行的任何程序（不管是 curl、pip、git 还是 Python 脚本），在启动时都会先抬头看一眼这些通告。 http_proxy 和 https_proxy 是什么？ 这两个是 Linux 软件世界里约定俗成的两个**“路标变量名”**。 http_proxy 管的是普通的、不加密的网页请求。 当你访问一个以 http:// 开头的网址时，你发出的请求和收到的数据都是明文的。 举例：这就好比你写了一张没有任何遮挡的明信片寄出去。邮递员、转运中心的大爷、甚至是你学校机房的网络管理员，只要他们愿意，低头就能把你明信片上写的字（比如你的账号、密码、你在看什么网页）看得一清 ...

Deep Multimodal Learning with Missing Modality: A Survey 来源：https://openreview.net/forum?id=tc7RFcx4hT 方法论概述 数据处理 根据缺失模态的层级划分为“模态填充”和“基于表示的模型”，分别对应在模态数据层级或数据表示层级进行缺失模态处理。 模态填充： 操作在模态数据层级，通过模态合成或模态生成方法来填补缺失模态的信息。 核心思想：若能准确填补缺失模态，则下游任务可继续进行，像“完整”模态可用一样。 基于表示的模型： 在表示层级上解决缺失模态的问题。 通过协调表示方法对不同模态的表示施加特定约束，使不同模态在语义空间中的表示进行对齐，从而使得即使面对缺失的模态，模型仍然能够有效训练。 通过使用现有数据生成缺失模态的表示，或结合现有模态的表示填补空缺。 策略设计方面 基于模型内部架构调整和多模型组合，在训练和测试过程中动态适应不同缺失模态情况。 架构聚焦模型： 设计灵活的模型架构来处理缺失模态，从而适应训练或推理过程中可用模态的数量变化； 基于注意力机制：动态调整模态的融合和处 ...

注意力机制 传统神经网络 从 计算机视觉（Computer Vision，CV）为起源发展起来的神经网络，其核心架构有三种： 全连接神经网络（Feedforward Neural Network，FNN）： 即每一层的神经元都和上下两层的每一个神经元完全连接，如图所示: 卷积神经网络（Convolutional Neural Network，CNN）：训练参数量远小于全连接神经网络的卷积层来进行特征提取和学习。 循环神经网络（Recurrent Neural Network，RNN）： 使用历史信息作为输入、包含环和自重复的网络， RNN 及 LSTM 的局限性 RNN、 LSTM 具有捕捉时序信息、适合序列生成的优点，却有两个缺陷： ① 序列依序计算能很好模拟时序信息，但限制了计算机（GPU）并行计算的能力，导致模型参数量不算大，但计算时间成本高； ② 难以捕捉长序列依赖关系。在 RNN 中，距离越远的输入之间的关系越难捕捉，需要将整个序列读入内存依次计算，限制了序列的长度。虽然 LSTM 中通过门机制进行了优化，但对于较远距离依赖关系的捕捉，依旧不如人意。 注意力机制 来 ...

仓库链接：https://github.com/shibing624/MedicalGPT?tab=readme-ov-file 为什么选择 MedicalGPT 环境搭建成本低，上手速度快 按照 README 安装即可，整体过程相对顺畅。 MedicalGPT 的强化学习部分基于 TRL ，依赖更轻、安装更省心；对比某些更“工程化/更复杂”的训练框架，上手门槛更低。 覆盖大模型训练全链路，路径完整 一套仓库能把关键阶段串起来：PT / SFT / RL / RAG ； RL 侧支持的算法较丰富，便于在同一套工程框架下做对比实验与迭代； 第一阶段：跑通 MedicalGPT 准备工作：环境与底座模型 在开始跑全链路之前，需要准备好环境和一个 小参数量的底座模型（方便在单卡上快速跑通，不追求效果，只验证流程）。 1. 安装依赖 ： 1234git clone --depth 1 https://github.com/shibing624/MedicalGPT.gitcd MedicalGPTlspip install -r requirements.txt 2. ...

NLP基础概念 什么是NLP？ NLP 是一种让计算机理解、解释和生成人类语言的技术，其核心任务是通过计算机程序来模拟人类对语言的认知和使用过程，结合计算机科学、人工智能、语言学和心理学等多个学科的知识，旨在打破人类语言和计算机语言之间的障碍，实现无缝的交流与互动。 局限性： 处理歧义性、理解抽象概念、处理隐喻和讽刺等。 NLP任务 NLP技术使计算机能够执行各种复杂的语言处理任务，如中文分词、子词切分、词性标注、文本分类、实体识别、关系抽取、文本摘要、机器翻译、自动问答等。 中文分词（Chinese Word Segmentation, CWS）： 将连续的中文文本切分成有意义的词汇序列。正如中文语言的词与词之间没有像英文那样的明显分隔（如空格），所以无法直接通过空格来确定词的边界。 1234英文输入：The cat sits on the mat.英文切割输出：[The | cat | sits | on | the | mat]中文输入：今天天气真好，适合出去游玩.中文切割输出：["今天", "天气", "真", &qu ...

链表 链表刷题记录，基于代码随想录整理。 快速索引方法分组 203 移除链表元素（虚拟头结点） 707 设计链表（五大操作） 206 反转链表（双指针 / 递归） 24 两两交换链表中的节点（虚拟头结点 + 模拟） 19 删除链表的倒数第 N 个结点（双指针） 160 链表相交（对齐尾部 + 双指针） 142 环形链表 II（快慢指针 + 数学推导） 虚拟头结点：203、707、24 双指针：19、160 快慢指针：142 反转：206（双指针 / 递归） 203. 移除链表元素 问题描述 给你一个链表的头节点 head 和一个整数 val ，请你删除链表中所有满足 Node.val == val 的节点，并返回 新的头节点 。 示例 1： 12输入：head = [1,2,6,3,4,5,6], val = 6输出：[1,2,3,4,5] 示例 2： 12输入：head = [], val = 1输出：[] 示例 3： 12输入：head = [7,7,7,7], val = 7输出：[] 提示： 列表中的节点数目在范围 [0, 104] 内 1 < ...

本篇是数组与链表的入门综述，目标是建立「存储结构 → 操作代价 → 场景选择」的统一认知。 学习路径快速索引 先看数组：连续内存、查询快、增删慢。 再看链表：离散内存、增删快、查询慢。 最后对比：根据业务特点选择结构。 数组 定义、性质、局限与二维连续存储。 链表 类型、存储方式、定义与增删操作。 对比 频繁查询优先数组，频繁增删优先链表。 数组 定义： 数组是存放在连续内存空间上的相同类型数据的集合 性质： 数组下标都是从0开始的； 数组内存空间的地址是连续的； 数组的元素不能删除，只能覆盖。 局限： 因为数组在内存空间的地址是连续的，所以我们在删除或者增添元素的时候，就难免要移动其他元素的地址； 注：使用C++，要注意vector 和 array的区别，vector的底层实现是array，严格来讲vector是容器，不是数组 不同编程语言的内存管理是不一样的，以C++为例，在C++中二维数组是连续分布的。 12345678910111213141516#include <iostream>#include <bits/stdc++.h> ...

课程主页：CS336 (Spring 2025) 这篇文章是 CS336 的导读页，重点是「为什么学」「发展脉络」「当前前沿」。 为什么要学习这门课？ 研究人员正逐渐与底层训练细节脱节： 早期：会自己实现并训练模型。 中期：会下载开源模型（如 BERT）做微调。 当下：很多场景只调用闭源 API（GPT/Claude/Gemini）。 主要制约因素： 大模型训练成本极高（算力、时间、资金）。 头部模型技术报告不完整，系统化学习材料不足。 发展脉络（时间线） 语言模型演进 前神经网络时期（2010 年代之前） 英语信息熵语言模型：Shannon 1950 n-gram 大规模应用（机器翻译/语音识别）：Brants et al., 2007 神经网络基本组件（2010 年代） 神经语言模型：Bengio et al., 2003 Seq2Seq：Sutskever et al., 2014 Adam 优化器：Kingma et al., 2014 注意力机制：Bahdanau et al., 2014 Transformer：Vaswani et al., 2017 ...