赛题分析与数据探索

Discussion

Home Discussion Board Sohu2019 赛题分析与数据探索

Ray

赛题分析与数据探索

posted in Sohu2019

2019-04-25 13:06

# 赛题分析与数据探索

本赛题的数据是给出新闻标题以及新闻内容, 要求是给出3个实体entity以及对应每个entity的情绪emotion.

训练数据包含4万条样本，每个样本包含title（新闻标题）、content（新闻内容）、1～7个不等的实体（entity）以及对应的情绪指标（emotion）

随便搜索了一下，**样本基本来自搜狐和网易新闻**。原始预料应该是没有entity和emotion的，这个应该是后期标注上去的。

虽然规则中提到每个样本给出top3的实体，但是训练数据中仍然存在很多实体数不为3的样本：
16438个样本有3个entity
14170个样本只有2个entity
9306个样本只有1个entity
86个样本有超过3个entity

浏览了几个样本，可以发现，entity的标注，类似于文章摘要，应该是指文章涉及主要的名词。

title =  sia智慧工厂展，誉洋以“智”取胜
content =  第十七届上海国际工业自动化及机器人展与上海智能工厂展览会于2019年3月1日圆满落下帷幕。展会展出规模90762平方米，国内外参展厂商达1000多家，并吸引超过100000名专业观众前来参观。此次展会全面展示了工业自动化技术，工业装配与传输技术、工业机器人整机与零部件、机器视觉工业应用、agv无人搬运、智慧工厂解决方案、工业自动化全面解决方案等产品领域。无论是展会规模、展示范围以及专业观众的人数，都实现了快速的增长，极大地推动了我国制造业的转型升级和跨越发展！誉洋3d机器视觉引发展会参观热潮在大连誉洋工业智能的展位，机器人自动抓取物件让人眼前一亮。机器人在3d视觉的引导下精准定位杂乱无序的目标，并实现准确快速抓取，整个过程井然有序，无需任何人工干预。誉洋现场工程师介绍，制造企业采用誉洋kineye®3d机器视觉系统，以往繁琐、枯燥的物料搬运工作交给了机器人，这样不但解放了人力，还提升了物流效率。这套3d机器视觉已在国内多家知名企业成功实施应用，得到了一致认可与好评。kineye®3d机器视觉实现企业智能制造誉洋工业智能有限公司自成立以来，一直专注于工业智能设备的研发、生产制造和服务，创新理念伴随企业不断成长。今天的誉洋已与中国多家企业达成合作伙伴关系，成为中国领先的智能设备供应商之一。以前瞻思维引领企业创新步伐，针对制造企业面临改革升级的痛点问题，誉洋与欧洲科研机构联合研发的kineye®3d机器视觉系统，拥有比肩世界的技术水准，可实现对制造业生产线的智能化改造。不仅如此，誉洋还可以提供柔性生产系统、智能仓储、智能制造设备等整套智能硬件、软件和一站式解决方案。
entity_0      3d
entity_1      工业
entity_2    机器视觉

需要注意的是，个人认为这个摘要的标注并不代表**普遍真理**，比如第一个样本（疑似宣传软文），我认为摘要用 3d机器视觉 似乎要比用 机器视觉更合适。

再比如第4个样本：
水泥路面起砂修补后材料会发生脱落吗？这个问题的答案还是在于水泥路面表层的硬化水平强弱，如果水泥路面起砂修补后，作业面的硬化水平较高，再加上水泥路面修补料的粘结力又足够的话，修补后水泥路面发生材料脱落的风险自然也就越低，相反如果修补后水泥路面的硬化水平太弱，再加上水泥路面修补料的粘结力又太弱的话，修补后的水泥路面就可能会发生材料脱落的现象。为了避免水泥路面起砂修补后发生材料脱落的现象，我们在对病害进行治理时，一定要选择强度高，粘结力强的水泥路面修补料，这样的材料才能彻底消除病害，提高作业面的质量。
entity_0    路面
entity_1    水泥
entity_2    病害

个人以为entity_2应该用“**起砂**”，比用“**病害**”更合适。

另外有一个细节需要注意：
**某些样本，entity在content（新闻正文）中是没有的，而是存在于title（新闻标题）中。**

23 comments