0.665的pytorch版baseline，基于transformers

Discussion

Home Discussion Board 2021 Sohu Campus Document Matching AIgorithm Competition 0.665的pytorch版baseline，基于transformers

菜是菜菜

0.665的pytorch版baseline，基于transformers

posted in 2021 Sohu Campus Document Matching AIgorithm Competition

2021-04-09 09:09

赛题从本质上说是一个文本匹配的任务，只不过这次比赛多了几层特殊性，在长度方面分为短-短、短-长和长-长三种匹配模式，在分类模式上分为easy和hard两种模式。最基本的思路就是把不考虑长度，统一当成文本匹配，同时针对easy和hard设计两个模型进行处理。

同时由于长文本数据过长，数据输入BERT都需要截断一定长度，所以可以考虑先用文本摘要算法处理数据后，再使用模型进行训练。

模型架构上最简洁的模式则是SimNet。这样的架构高效，效果也很赞，是快速上手跑baseline的一大利器。

在此基础上更优的框架则是ESIM，全称是Enhanced LSTM for Natural Language Inference，做到了良好的架构设计和精细的匹配模式

当然无脑sentence bert也是可以的，通过孪生网络的结构，分别得到Query和Doc的向量，经过向量的拼接够输入分类器，得到最终的匹配分。

这里我主要基于BERT做了一个简单的模型对比的结果，都只是简单训练，没有加入多余的Trick。
模型结构：
```python
import torch.nn as nn
from transformers import BertModel
from .base_network import Matching, Pooling

class Config(object):

"""配置参数"""
    def __init__(self):
        self.model_name = 'BERT'
        self.num_classes = 2                                            # 类别数
        self.learning_rate = 5e-5                                       # 学习率
        self.bert_path = 'bert-base-chinese'
        self.hidden_size = 768
        self.hidden_dropout_prob = 0.5

class Model(nn.Module):
    def __init__(self, config):
        super(Model, self).__init__()
        self.bert = BertModel.from_pretrained(config.bert_path)
        self.match = Matching(config)
        self.pool = Pooling()

def forward(self, query, title, query_mask, title_mask):
        query_embedding = self.bert(query, attention_mask=query_mask)
        title_embedding = self.bert(title, attention_mask=title_mask)
        query_embedding = self.pool(query_embedding.last_hidden_state, query_mask)
        title_embedding = self.pool(title_embedding.last_hidden_state, title_mask)
        out = self.match(query_embedding, title_embedding)
        return out

```
实际测试单模型没有多余的调参，F1大概在0.665左右
完整的代码关注公众号获取，回复【文本匹配baseline】即可拿到完整代码，运行run.sh即可一键训练得到最终结果。代码基于transformers开发，可以简单替换模型名称尝试多种BERT模型，像Electra/ALBERT/Roberta/XLNET等。
![](/media/competition/2021/04/09/16179593196583962WechatIMG58.png)

23 comments