官方Baseline第一个notebook执行出错

Discussion

Home Discussion Board 2021 MAXP 命题赛任务一：基于DGL的图机器学习任务官方Baseline第一个notebook执行出错

baymax

官方Baseline第一个notebook执行出错

posted in 2021 MAXP 命题赛任务一：基于DGL的图机器学习任务

2021-10-20 16:17

出错内容：
Processed 500000 train rows
此行数据有问题 85fce900c0d2c64e922d4cc00de68a53,"['0.2584022', '-0.314439', '0.2795911', '-0.0624502', '0.1293205', '0.1314269', '0.03149878', '0.006174', '-0.2442313e-01', '1.62937818e-01', '-9.60657273e-02', '-8.22128182e-02', '-3.34546273e-01', '-6.64320000e-02', '-1.92938636e-01', '2.01774273e-02', '4.75566364e-02', '2.02017273e-02', '-3.81696545e-02', '-1.78166891e-01', '7.85300000e-02', '-5.63915509e-02', '-4.30652727e-02', '7.37460000e-02', '-7.35920000e-02', '1.11938909e-01', '-6.85036364e-03', '4.42332182e-01', '-1.17513364e-01', '3.94700000e-02', '-1.82743636e-01', '-2.50839364e-01', '1.81290000e-01', '-1.56317091e-01', '1.48557636e-01', '-1.59429000e-01', '-9.89019091e-02', '-2.53959091e-01', '-3.76731818e-02', '-1.75797909e-01', '-1.89652909e-01', '-1.38357909e-01', '2.78528636e-01', '1.45068082e-01', '-1.97154545e-01', '1.48955091e-01', '-1.20479182e-01', '-7.64042727e-02', '-1.32122182e-01', '1.05123909e-01', '1.68564000e-01', '1.13535273e-01', '2.96566909e-01', '2.61543636e-01', '-1.08654455e+00', '-1.95480255e-01', '-2.20163636e-02', '6.57060000e-02', '2.60833364e-01', '-7.85763636e-02', '-8.71165455e-02', '-2.17000182e-01', '1.91354182e-01', '-1.68125182e-01', '1.25286818e-01', '-1.82454545e-02', '-1.88565355e-01', '-2.51919091e-02', '-2.11583182e-01', '1.06818545e-01', '1.31864973e-01', '-1.88483545e-01', '-5.36670218e-01', '2.75348273e-01', '-1.80746827e-01', '-2.00962273e-01', '-1.00821545e-01', '3.65696455e-02', '1.33597182e-01', '6.04396909e-02', '-2.19234182e-01', '-5.14582727e-02', '3.35246000e-01', '-1.91396818e-01', '3.04040909e-02', '1.28249009e-01', '-1.19520636e-01', '2.27973091e-01', '-1.09085336e-01', '4.16117273e-02', '1.53896182e-01', '3.31422727e-01', '-7.17291818e-02', '1.27851727e-01', '-4.77872727e-04', '9.66804545e-02', '1.28809636e-01', '-6.29160727e-02', '-7.86768182e-02', '1.04873636e-02', '-1.61140000e-02', '3.80154545e-02', '1.18838273e-01', '-1.06254545e-02', '3.68867273e-02', '-1.03801455e-01', '-1.61705182e-01', '6.35532364e-01', '2.43513636e-02', '-2.12773718e-01', '-2.81363636e-02', '2.64664545e-01', '-1.91784636e-01', '2.75903455e-01', '8.77662455e-02', '1.35323936e-01', '5.85994545e-02', '-1.58662727e-01', '1.08666182e-01', '-2.66483909e-01', '6.98768182e-02', '1.09304282e-01', '2.06814364e-01', '5.11513636e-02', '3.50374000e-02', '-5.62600000e-02', '-7.98856909e-02', '-4.03207273e-01', '1.07343545e-01', '8.70689091e-02', '-1.93495455e-02', '4.48718491e-01', '4.93568000e-02', '-2.94781000e-01', '-2.01375909e-01', '-4.80699091e-02', '2.87624545e-01', '-2.49639818e-01', '-2.10915455e-01', '3.20787273e-01', '-1.74617000e-01', '2.71811545e-01', '-9.52463636e-02', '6.76600000e-03', '1.75133364e-03', '-2.66959364e-01', '1.14094545e-02', '3.86765455e-02', '1.59096636e-01', '3.47619091e-02', '3.59772182e-01', '-4.08375909e-02', '-8.72267273e-02', '-6.70017818e-02', '-1.39640582e-01', '2.48831909e-01', '1.98898000e-01', '1.73042500e-01', '-5.89100000e-02', '5.18434545e-02', '-1.71116000e-01', '9.72249091e-02', '-1.76351273e-01', '2.63673000e-01', '2.95878909e-01', '2.02510909e-02', '3.69930182e-02', '-3.47344545e-02', '1.25656636e-01', '2.06292000e-01', '-1.16251827e-01', '-6.81385455e-02', '-1.47683818e-01', '2.94777273e-02', '9.55741818e-02', '1.92791636e-01', '2.02820000e-01', '-1.37136273e-01', '1.36954000e-01', '5.88772727e-03', '4.80693636e-01', '1.04724364e-01', '-3.63064182e-01', '2.72276909e-01', '-2.26856364e-01', '2.45861818e-01', '-6.40370909e-02', '2.72309300e-01', '1.85942000e-01', '5.59829091e-02', '-2.03850909e-01', '7.27518182e-03', '-3.42130000e-02', '-6.38898182e-02', '7.85607273e-02', '-2.98532818e-01', '-4.85496364e-01', '3.89601364e-01', '-8.56957273e-02', '-1.92005455e-02', '3.95845455e-02', '-1.91154236e-01', '2.86148182e-01', '1.07998455e-01', '1.98135364e-01', '-1.16361727e-01', '1.37737127e-01', '6.75663636e-03', '-3.40380909e-01', '-1.80238773e-01', '-8.32200000e-02', '-8.81727273e-02', '2.87746455e-01', '-1.10630818e-01', '5.15140909e-02', '2.97756700e-01', '1.16930909e-01', '-1.75408182e-01', '8.12608182e-02', '-1.03249182e-01', '1.44247636e-01', '-1.77542782e-01', '-5.75551364e-01', '1.18480545e-01', '1.56308364e-01', '-2.24790182e-01', '-4.83809091e-03', '-2.05780182e-01', '-1.67576364e-01', '2.64992000e-01', '-2.74888855e-01', '1.37237273e-01', '-5.90233636e-02', '1.35366364e-02', '8.70445455e-03', '8.54073545e-02', '-6.86480000e-02', '-4.49373545e-01', '2.36688455e-01', '1.67526000e-01', '1.21833636e-01', '-8.54435455e-02', '2.47267273e-02', '-1.35958936e-01', '-6.20122727e-02', '1.94583636e-02', '-4.22910545e-02', '-6.99834545e-02', '-1.60260636e-01', '-3.25876818e-01', '1.27494273e-01', '-1.08223182e-01', '1.16058818e-01', '-1.40807709e-01', '1.92765455e-01', '-2.43120409e-01', '-1.04004818e-01', '5.40127818e-01', '-6.02160000e-02', '-8.97803936e-02', '-2.78028182e-01', '4.27630909e-02', '1.36152364e-01', '2.57826109e-01', '-8.34640818e-02', '-2.08540091e-01', '-3.07046727e-01']",

此行数据有问题 85fce900c0d2c64e922d4cc00de68a53,"['0.2584022', '-0.314439', '0.2795911', '-0.0624502', '0.1293205', '0.1314269', '0.03149878', '0.006174', '-0.24423130634125e-01', '6.17625000e-02', '-1.59233750e-02', '-1.42722900e-01', '-1.55243750e-01', '-2.19975000e-01', '-1.29808750e-01', '-4.75468750e-01', '-4.57043750e-02', '-3.52560500e-01', '-2.29620525e-01', '-3.08010000e-01', '1.50011250e-02', '1.25985750e-01', '-5.15272500e-02', '9.27100000e-03', '1.21170750e-01', '3.84529875e-01', '1.78438750e-01', '-1.37482500e-01', '1.04312500e-01', '-9.06121250e-02', '2.01413625e-01', '-1.71800500e-01', '-2.49252500e-02', '2.27061125e-01', '2.38716575e-01', '-5.48456250e-02', '9.41737375e-02', '2.98833750e-01', '-1.16476550e-01', '1.15889625e-01', '1.91240500e-01', '-4.80453750e-01', '-6.50245000e-02', '-4.95060000e-02', '-1.83433750e-02', '-8.96570375e-02', '5.43635625e-02', '2.42926250e-02', '1.88950000e-01', '-5.10625000e-02', '1.12776625e+00', '7.41431250e-02', '-2.36914125e-01', '-1.86057750e-01', '-8.30638750e-02', '9.43662500e-02', '2.30188750e-01', '-2.06712579e-01', '1.11063250e-01', '1.32431875e-01', '6.65831250e-02', '1.43966000e-01', '-2.35228675e-01', '2.63073750e-02', '6.16616250e-02', '9.93386250e-02', '3.55703750e-02', '-2.59663750e-01', '2.06276500e-01', '-9.54181250e-02', '-2.83381625e-01', '1.44085750e-01', '6.34212500e-03', '-1.43649625e-01', '2.15354750e-01', '-3.08002500e-02', '-3.10816250e-01', '-5.56508750e-03', '-3.37970125e-01', '3.25613750e-02', '-9.99817500e-02', '1.97949437e-01', '6.57803750e-02', '1.17160513e-01', '2.34658750e-01', '-3.99700000e-02', '3.35006625e-01', '2.00335550e-01', '-3.56815000e-01', '-1.01374125e-02', '5.39827875e-02', '9.05151250e-02', '9.64161250e-02', '3.85442500e-02', '1.90988750e-01', '3.09829625e-01', '1.45855500e-01', '-4.00050000e-03', '2.01746500e-01', '-6.79631250e-02', '2.27704563e-01', '-1.06345750e-01', '1.36310375e-01', '1.46831375e-02', '-8.57628750e-02', '2.57931750e-01', '3.72312500e-03', '-5.41218750e-02', '2.98221250e-02', '2.43643750e-02', '7.72696250e-02', '2.25896250e-02', '2.72253000e-01', '2.18185000e-02', '1.72531375e-01', '-1.89213825e-01', '3.46971250e-02', '1.24721875e-01', '3.61793750e-01', '1.24176500e-01', '-1.42776250e-01', '1.82249125e-01', '-6.54722500e-02', '4.73045000e-02', '-1.22518750e-01', '-1.24405375e-01', '1.47666250e-01', '-1.02541250e-01', '2.21174875e-01', '-9.09587500e-02', '2.60156755e-01', '-1.85053750e-02', '2.18661875e-01', '1.38526125e-01', '-1.71572000e-01', '-3.07094250e-01', '1.61017500e-02', '-5.64745000e-02', '-5.87378875e-01', '-2.76130250e-01', '1.59750000e-01', '1.07164975e-01', '1.43925000e-02', '-7.26647500e-02', '-8.56967000e-02', '1.93150250e-01', '-1.38841500e-01', '-2.36782500e-02', '8.49536250e-02', '-1.07785000e-01', '2.57130000e-02', '-2.40866225e-01', '-3.35585000e-02', '-2.58652625e-01', '1.66637500e-02', '1.06857500e-01', '-7.50870000e-02', '1.05795875e-01', '1.88402125e-01', '-1.55906250e-01', '-2.09583500e-01', '7.28812625e-02', '-1.81831250e-01', '2.96124875e-01', '-5.59846250e-02', '-5.98380000e-01', '1.05076750e-01', '-1.54336000e-01', '-2.49484450e-01', '-1.48075125e-01', '-3.43631250e-01', '-3.83400500e-01', '2.64548750e-01', '-1.59251625e-01', '2.91325000e-02', '1.54132250e-01', '1.49633125e-01', '-6.12275000e-02', '-2.34977250e-01', '6.17551250e-02', '-3.50047500e-01', '-9.96962500e-02', '-4.00150000e-02', '-2.59730000e-03', '-8.00312500e-02', '-2.63226250e-02', '-2.46060000e-02', '-2.02301000e-01', '1.01782750e-01', '-1.02290000e-01', '1.45262500e-02', '-2.15727750e-01', '-2.56859125e-01', '1.12859750e-01', '1.01008000e-01', '-3.08546500e-01', '-1.11527375e-01', '6.74171250e-02', '-8.74743750e-03', '-2.41396625e-01', '4.18884625e-01', '-2.05780000e-02', '-1.37058750e-01', '-2.87750000e-02', '-1.71048125e-01', '1.98539125e-01', '-5.24392500e-02', '2.36772100e-01', '-2.06288125e-01', '-2.85292313e-01']",

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
/tmp/ipykernel_14843/2675653966.py in <module>
      9     for line in f:
     10         if i > 0:
---> 11             nid, _, label = process_node(line)
     12             nid_list.append(nid)
     13             label_list.append(label)

/tmp/ipykernel_14843/244937930.py in process_node(line)
      2     nid, feat_json, label = line.strip().split('\"')
      3 
----> 4     feat_list = [float(feat[1:-1]) for feat in feat_json[1:-1].split(', ')]
      5 
      6     if len(feat_list) != 300:

/tmp/ipykernel_14843/244937930.py in <listcomp>(.0)
      2     nid, feat_json, label = line.strip().split('\"')
      3 
----> 4     feat_list = [float(feat[1:-1]) for feat in feat_json[1:-1].split(', ')]
      5 
      6     if len(feat_list) != 300:

ValueError: could not convert string to float: '-0.22362.59797143e-02'

出错代码块：
```python
# 先构建ID和Label的关系，保证ID的顺序和Feature的顺序一致即可
nid_list = []
label_list = []
tr_val_list = []

with open(train_nodes_path, 'r') as f:
    i = 0
    
    for line in f:
        if i > 0:
            nid, _, label = process_node(line)
            nid_list.append(nid)
            label_list.append(label)
            tr_val_list.append(0)             # 0表示train的点
        i += 1
        if i % 100000 == 0:
            print('Processed {} train rows'.format(i))

with open(val_nodes_path, 'r') as f:
    i = 0
    
    for line in f:
        if i > 0:
            nid, _, label = process_node(line)
            nid_list.append(nid)
            label_list.append(label)
            tr_val_list.append(1)             # 1表示validation的点
        i += 1
        if i % 100000 == 0:
            print('Processed {} validation rows'.format(i))

nid_arr = np.array(nid_list)
label_arr = np.array(label_list)
tr_val_arr = np.array(tr_val_list)

nid_label_df = pd.DataFrame({'paper_id':nid_arr, 'Label': label_arr, 'Split_ID':tr_val_arr})
```

23 comments