Any possible to submit different final solution to different track

Discussion

Home Discussion Board KDD CUP 2020: Learning to Dispatch and Reposition on a Mobility-on-Demand Platform Any possible to submit different final solution to different track

铁球

Any possible to submit different final solution to different track

posted in KDD CUP 2020: Learning to Dispatch and Reposition on a Mobility-on-Demand Platform

2020-07-04 22:44

23 comments

Dingyuan

2020-07-05 08:32

wgewehh32weh

2020-07-05 08:29

The comment has been deleted by author.

铁球 reply Dingyuan

2020-07-05 14:31

Reply

0

I do not agree with you. If you obersve the top 10 leaderboards of both dispatch and repostition, there is no overlapping. And for top 25, there are only 5-8 people overlapping. Some of them are highly correlated in both dispatch and repostition which indicates they might form a team later. In other words, This two tracks can be considered as unique tasks instead of one. Based on my experiments, I did not find anyway to achieve both top 5 when use same dispatch and repostition RL model. It is unfair for the terms who did equally good (e.g. top 15-25) for both task but have less chance to win a prize. A alernative way is to not form a team for those guys, but I consider it is a type of cheating. So I would like to suggest for the final submission, each team could sumbit 2 solutions in line with Kaggle, or could submit different solution for differnt track. Fanyou Wu

wgewehh32weh reply 铁球

2020-07-06 02:40

Reply

0

（都是国人，我就中文了。） 首先，请不要误解Kaggle提交两次的目的。对于B榜，阿里KDD今年只允许提交一次，Kaggle允许提交两次。不管能够提交几次，都是整体取其中一个方案比较好的。比如Kaggle的test数据集有1w条，不会从两份提交中，分别选取5k个，最后合起来作为运算结果。 其次，Reposition的leaderboard已经几个月没有较大的变动了，和Dispatch形成鲜明对比。选手也相当不活跃，比如楼主4.2号加入比赛，不知为何现在突然开始提交，而且仅16次提交？这已经和组委会的比赛初衷相差甚远，为此更改规则实在没有必要。

铁球 reply wgewehh32weh

2020-07-06 03:55

Reply

0

<ol> <li>reposition 是有成绩变化的而且和dispatch 一样活跃，只是由于排行榜设置的问题看不出来。 </li><li>另外Kaggle 的两次提交也是为了稳定排名，对于RL问题本身的随机性允许多次提交可能才是更公平的。 </li><li>在不采用小号作弊的前提下，提交次数少的方案才是更robust的方案，我们队伍长时间都通过使用自己的模拟器线下验证，我想这才更符合组委会的初衷吧。 </li></ol>

wgewehh32weh reply 铁球

2020-07-06 04:27

Reply

0

一样活跃？前三名至少有一个周没有变化了吧。再往前推两周，现在的第三名（尽管已经一个月没上线过了），之前两个月一直第一名。请问这是如何活跃的呢？ Kaggle的两次不会分别取一部分计算最总结果，不要故意混淆概念，我上面举的例子很清楚。 大家都参加过几次比赛，线下再准，都不会放弃提交线上，去看线上线下是否一致的机会的。这种理由就不用拿出来了吧。初衷至少不是为了让人来摸鱼。

铁球 reply wgewehh32weh

2020-07-06 04:59

Reply

0

再次重申我诉求，对于各榜的TOP 25，允许为该任务提交一份最终方案，可以重叠。这个诉求对于当前我们队伍并不有利，因为我们只有一个TOP25。 我们讨论的已经超过了我的初衷，不过还是可以做几个回应。 <ol> <li>之前两个月一直第一名，我觉得更应该反映原来第一名很厉害，而不是活跃度差。我要是第一名两个月不动，我也不会继续做，除非有人超过我。活跃度应该从排行的整体变动来看更合适。 </li><li>Kaggle的提出我没有混淆概念，由于两个比赛是分开计算排名并核算奖金，分开提交应该是一种很合理的诉求。 </li><li>关于提交次数的讨论，你说的很有道理，但是已经偏离核心，就不再继续了。 </li></ol>

tqincomp

2020-07-07 04:34