搜狐2021算法大赛baseline

Discussion

Home Discussion Board 2021 Sohu Campus Document Matching AIgorithm Competition 搜狐2021算法大赛baseline

ylyin

Biendata Staff

搜狐2021算法大赛baseline

posted in 2021 Sohu Campus Document Matching AIgorithm Competition

2021-03-30 11:37

### 欢迎参加SOHU2021文本匹配算法大赛！

[报名网站](https://www.biendata.xyz/competition/sohu_2021/) | [比赛论坛](https://www.biendata.xyz/forum/index_category/156/) | [了解搜狐](https://www.sohu.com/)

#### 赛题引用和赛题分析
**赛题引用：**NLI任务作为一种分类任务，可以帮助评价机器的自然语言理解能力。如果一个模型在NLI任务上有良好表现，则可以认为该模型具备一定的自然语言理解能力。

当前，NLI领域虽然发展迅猛，但仍有诸多难点和挑战，比如如何将常识知识融入机器推理模型中、如何更准确地理解语义等等。

在上述背景之下，搜狐发起并主办 “2021搜狐校园算法大赛”，有针对性地设置30万条数据，总奖金池6.5万元。旨在通过提供业务场景、真实数据、专家指导，选拔和培养有志于自然语言处理领域的算法研究、应用探索的青年才俊，共同探索更多可能、开启无限未来。
&nbsp;
**比赛任务：**本次比赛的数据均来自人工标注，数据均为文字片段，每两个片段为一组，参赛选手需要为每对文本在两个颗粒度上判断文本对中的两段文字是否匹配。其中，一个颗粒度较为宽泛，两段文字属于一个话题即可视为匹配；另一个颗粒度较为严格，两段文字必须是同一事件才视为匹配。
&nbsp;
**赛题分析：**本项目是sohu2021-文本匹配算法大赛的baseline，基于bm25和多层感知机（MLP）分类器完成。

#### 环境搭建
```python
pip install -r requirements.txt
```
#### 快速上手

```python
python train_and_evaluate.py --input_file data/raw/samples.txt 
```
#### 数据格式
```python
{
  "source": "日媒：国际奥委会考虑将参加东京奥运会开幕式运动员减半", 
  "target": "东京奥运会开幕式或将缩小规模", 
  "labelA": "1"
}
```

#### baseline下载地址：
github：
https://github.com/biendata-com/sohu2021-baseline

biendata: https://www.biendata.xyz/media/download_file/8dd0784992c2a705d1ba62f747cc5b8d.zip

23 comments

Sohu Staff

Sohu Staff

sohucampus reply 瓶子

2021-03-31 05:54

Reply

0

<p>来自官方的baseline啦~</p>

瓶子

2021-03-30 13:38