什么是 BERT
Google用于文本理解的语言模型
BERT(双向编码器表示来自Transformers)
BERT 是 Google 的预训练语言模型,彻底改变了自然语言处理(NLP)。
主要特点
| 特点 | 描述 | |------|------| | 双向 | 同时分析左右上下文 | | 预训练 | 在Wikipedia + BookCorpus上训练(33亿词) | | Transformer | 基于注意力架构 | | 微调 | 易于适应特定任务 |
预训练任务
- 掩码语言模型(MLM) — 预测被掩盖的词
- 下一句预测(NSP) — 确定句子关系
BERT 应用
| 任务 | 示例 | |------|------| | 文本分类 | 评论情感分析 | | NER | 提取姓名、日期、组织 | | 问答 | 从文本回答问题 | | 语义搜索 | 按含义搜索而非词语 |
模型版本
- BERT-Base — 12层,1.1亿参数
- BERT-Large — 24层,3.4亿参数
- 中文BERT — 用于中文
- MultiBERT — 104种语言