时序数据与Embedding

在最近查看腾讯赛赛题介绍的时候突然发现赛题有点熟悉，进而在看渔佬对今年腾讯赛分享，以及大白对DCIC海洋赛的比赛总结时，思路逐渐清晰：所有的时序序列都可以用Embedding的操作。本文将以几个历史比赛案例（按照参赛的时间排序），讲解时序数据与Embedding的应用场景。文章末尾将介绍与腾讯赛相似的几个历史赛题。

01 蛋白质序列

第一次在非典型NLP领域看到Embedding是在“基于人工智能的药物分子筛选”比赛中，这个比赛任务是根据蛋白质序列来预测蛋白质和小分子之间的亲和力数值。
Kaggle知识点：时序数据与Embedding - 图1
这个开源还是小伍哥的开源，使用蛋白质序列训练一个词向量，然后使用LightGBM进行训练。小伍哥在2年前都这么帅了，赞！

  1. texts = [[word for word in re.findall(r'.{3}',document)] 
  2.                for document in list(protein_concat['Sequence'])]
  4. model = Word2Vec(texts,size=n,window=4,min_count=1,negative=3,
  5.                  sg=1,sample=0.001,hs=1,workers=4)

这是一个两年前的比赛，当然Top获奖方案还是需要使用一些领域知识。所以在没有领域知识的情况下或许无脑Embedding是一个不错的选择。

小伍哥的分享：

源碼

  1. ######################################## 
  3. ##加载包，估计就这些够了，成绩1.34
  5. import gc
  6. import re
  7. import sys
  8. import time
  9. import jieba
  10. import os.path
  11. import os
  12. import datetime
  13. import numpy as np
  14. import pandas as pd
  15. import lightgbm as lgb
  16. import gensim 
  17. from gensim.models import Word2Vec  
  19. ######################################## data read #####################################
  21. #工作空间设置
  23. data_path = 'C:/Users/wuzhengxiang/Desktop/晶泰科技比赛数据/'
  25. os.chdir(data_path)#设置当前工作空间
  27. print (os.getcwd())#获得当前工作目录
  31. #数据读取
  33. df_protein_train    = pd.read_csv('df_protein_train.csv')#1653
  35. df_protein_test     = pd.read_csv('df_protein_test.csv')#414
  37. protein_concat = pd.concat([df_protein_train,df_protein_test])
  39. df_molecule         = pd.read_csv('df_molecule.csv')#111216
  41. df_affinity_train   = pd.read_csv('df_affinity_train.csv')#165084
  43. df_affinity_test    = pd.read_csv('df_affinity_test_toBePredicted.csv')#41383
  45. df_affinity_test['Ki'] = -11
  47. data  =  pd.concat([df_affinity_train,df_affinity_test])
  49. ##############################################################################################
  51. ###########                                 feature                               ############
  53. ###############################################################################################
  55. #1、Fingerprint分子指纹处理展开
  57. feat = []
  59. for i in range(0,len(df_molecule)):
  61.     feat.append(df_molecule['Fingerprint'][i].split(','))
  63. feat = pd.DataFrame(feat)
  65. feat = feat.astype('int')
  69. feat.columns=["Fingerprint_{0}".format(i) for i in range(0,167)]
  71. feat["Molecule_ID"] = df_molecule['Molecule_ID']
  73. data = data.merge(feat, on='Molecule_ID', how='left')
  77. #2、df_molecule其他特征处理
  79. feat = df_molecule.drop('Fingerprint',axis=1)
  81. data = data.merge(feat, on='Molecule_ID', how='left')
  87. #3、protein 蛋白质 词向量训练 看不懂的加公众号：Python_R_wu，稍后会讲解下，来不及写
  89. n = 128
  91. texts = [[word for word in re.findall(r'.{3}',document)] 
  93.                for document in list(protein_concat['Sequence'])]
  97. model = Word2Vec(texts,size=n,window=4,min_count=1,negative=3,
  99.                  sg=1,sample=0.001,hs=1,workers=4)  
  105. vectors = pd.DataFrame([model[word] for word in (model.wv.vocab)])
  107. vectors['Word'] = list(model.wv.vocab)
  109. vectors.columns= ["vec_{0}".format(i) for i in range(0,n)]+["Word"]
  113. wide_vec = pd.DataFrame()
  115. result1=[]
  117. aa = list(protein_concat['Protein_ID'])
  119. for i in range(len(texts)):
  121.     result2=[]         
  123.     for w in range(len(texts[i])):
  125.         result2.append(aa[i])    
  127.     result1.extend(result2)
  129. wide_vec['Id'] = result1
  133. result1=[]
  135. for i in range(len(texts)):
  137.     result2=[]         
  139.     for w in range(len(texts[i])):
  141.         result2.append(texts[i][w])    
  143.     result1.extend(result2)
  145. wide_vec['Word'] = result1
  149. del result1,result2
  153. wide_vec = wide_vec.merge(vectors,on='Word', how='left')
  155. wide_vec = wide_vec.drop('Word',axis=1)
  157. wide_vec.columns = ['Protein_ID']+["vec_{0}".format(i) for i in range(0,n)]
  161. del vectors
  165. name = ["vec_{0}".format(i) for i in range(0,n)]
  169. feat = pd.DataFrame(wide_vec.groupby(['Protein_ID'])[name].agg('mean')).reset_index()
  171. feat.columns=["Protein_ID"]+["mean_ci_{0}".format(i) for i in range(0,n)]
  173. data = data.merge(feat, on='Protein_ID', how='left')
  177. #################################### lgb ############################
  181. train_feat = data[data['Ki']> -11].fillna(0)
  183. testt_feat = data[data['Ki']<=-11].fillna(0)
  185. label_x  = train_feat['Ki']
  187. label_y  = testt_feat['Ki']
  191. submission = testt_feat[['Protein_ID','Molecule_ID']]
  193. len(testt_feat)
  195. train_feat = train_feat.drop('Ki',axis=1)
  197. testt_feat = testt_feat.drop('Ki',axis=1)
  199. train_feat = train_feat.drop('Protein_ID',axis=1)
  201. testt_feat = testt_feat.drop('Protein_ID',axis=1)
  203. train_feat = train_feat.drop('Molecule_ID',axis=1)
  205. testt_feat = testt_feat.drop('Molecule_ID',axis=1)
  211. #lgb算法
  213. train = lgb.Dataset(train_feat, label=label_x)
  215. test  = lgb.Dataset(testt_feat, label=label_y,reference=train)
  219. params = {
  221.     'boosting_type': 'gbdt',
  223.     'objective': 'regression_l2',
  225.     'metric': 'l2',
  227.     #'objective': 'multiclass',
  229.     #'metric': 'multi_error',
  231.     #'num_class':5,
  233.     'min_child_weight': 3,
  235.     'num_leaves': 2 ** 5,
  237.     'lambda_l2': 10,
  239.     'subsample': 0.7,
  241.     'colsample_bytree': 0.7,
  243.     'colsample_bylevel': 0.7,
  245.     'learning_rate': 0.05,
  247.     'tree_method': 'exact',
  249.     'seed': 2017,
  251.     'nthread': 12,
  253.     'silent': True
  255.     }
  259. num_round = 3000
  261. gbm = lgb.train(params, 
  263.                   train, 
  265.                   num_round, 
  267.                   verbose_eval=50,
  269.                   valid_sets=[train,test]
  271.                   )
  275. preds_sub = gbm.predict(testt_feat)
  281. #结果保存
  283. nowTime=datetime.datetime.now().strftime('%m%d%H%M')#现在
  285. name='lgb_'+nowTime+'.csv'
  287. submission['Ki'] = preds_sub
  289. submission.to_csv(name, index=False)

B榜第三名的分享：

02 病毒序列

第二次在非典型NLP比赛中看到Embedding是在“第三届阿里云安全赛”中，这个比赛任务是需要根据程序的API序列进行分类。
image.png
这场比赛我参加过，也因此在线下赛认识了大白。安全赛中也是不同的病毒API是一个单词，执行序列组成一个样本。
但是在这个比赛中，由于API个数比较少，所以Embedding反而没有TF-IDF有效。当然在stacking阶段，Embedding也是有提升的。

03 船舶序列

最近一次是在最近结束的DCIC海洋赛中看到了Embedding，这也是一个非典型的NLP比赛，赛题任务需要根据渔船的运动轨迹进行行为分类。
Kaggle知识点：时序数据与Embedding - 图3
这场比赛大白也参加了，每个渔船id的速度、经纬度看做是一个序列信息，利用速度、经纬度的分位数统计量，将浮点特征分桶转成一个类型特征。
使用深度学习的word2vec的CBOW算法无监督训练，获取经纬度(x-y)和速度(speed)的类型向量，每个渔船id的经纬度和速度向量取平均作为特征，这个思路和Fasttext比较类似。
大白的分享：

04 APP序列

最近一次是在易观用户性别年龄预测比赛中遇到，这也是一个非典型的NLP比赛，赛题任务需要根据用户手机APP使用序列来对用户的年龄和性别进行分类。
Kaggle知识点：时序数据与Embedding - 图4
在易观这场比赛中，chizhu获得了冠军，我是亚军。这场比赛的核心也是APP序列建模，使用Embedding构建特征。

chizhu在易观的分享：

看到这里，有没有发现本次腾讯赛的赛题也是这个路子。大赛的题目尝试从另一个方向来验证这个假设，即以用户在广告系统中的交互行为作为输入来预测用户的人口统计学属性。
如果你参加了本次腾讯赛，chizhu 的分享可以参考。Coggle数据科学也会持续关注，大家一起学起来~
image.png