Wang1997

Encoder-Decoder、Encoder-Only、Decoder-Only和Prefix-LM

以下是四种主要模型架构的详细中文解析: 1. 编码器-解码器架构(Encoder-Decoder) 结构:包含编码器(处理输入)和解码器(生成输出)。 典型任务:序列到序列(seq2seq)任务,如机器翻译、文本摘要。 代表模型:T5、BART、原始Transformer。 工作原理: 编码器:通过双向注意力(能看到全部上下文)将输入转换为稠密的...