neo4j图形数据库入门

在对文本的数据进行充分的理解的基础上，需要对处理结果进行保存，由于主要工作是建立知识图谱，可以考虑使用图形数据库进行存储，使用neo数据库
基本的应用语法

  1. from py2neo import Graph, Node, Relationship
  2. ##连接neo4j数据库，输入地址、用户名、密码
  3. graph = Graph('http://localhost:7474/browser/', username='neo4j', password='neo4j')
  4. tx = graph.begin()
  5. a = Node("人物", name=x.word)
  6. tx.create(a)
  7. tx.commit()

上述的代码可以实现创立节点并提交到数据库
image.png

自然语言处理模块结合

随后开始考虑怎么和自然语言处理模块进行结合
最后实现了下述代码

  1. import jieba
  3. import jieba.analyse
  4. import jieba.posseg
  6. from py2neo import Graph, Node, Relationship
  9. novel = open('D:\\New_desktop\\1.txt','r',encoding='UTF-8')
  10. content=novel.read()
  11. novel_segmented = open('D:\\New_desktop\\2.txt','w')
  13. cutword = jieba.cut(content,cut_all=False)
  14. seg = ' '.join(cutword).replace(',','').replace('。','').replace('“','').replace('”','').replace('：','').replace('…','')\
  15.             .replace('！','').replace('？','').replace('~','').replace('（','').replace('）','').replace('、','').replace('；','')
  17. try:
  18.     with open('D:\\New_desktop\\2.txt', 'w+', encoding='utf-8') as f:
  19.         f.write(seg)
  20. except FileNotFoundError:
  21.     print('无法打开指定的文件!')
  22. except LookupError:
  23.     print('指定了未知的编码!')
  24. except UnicodeDecodeError:
  25.     print('读取文件时解码错误!')
  26. novel.close()
  27. novel_segmented.close()
  28. # 训练word2vec模型，生成词向量
  30. from gensim.models import word2vec
  32. # 训练word2vec模型，生成词向量
  33. s = word2vec.LineSentence('D:\\New_desktop\\2.txt')
  34. # 这里如果报编码错误，notepad++打开，然后转码为对应编码即可。
  35. model = word2vec.Word2Vec(s,size=200,window=5,min_count=0,workers=4)
  36. model.save('D:\\New_desktop\\3.txt')
  38. print("model caculate over")
  39. ##连接neo4j数据库，输入地址、用户名、密码
  40. graph = Graph('http://localhost:7474/browser/', username='neo4j', password='20010413ssjssj*')
  42. tx = graph.begin()
  47. print("graph establish over")
  50. filename = "D:\\New_desktop\\1.txt"
  53. fa = open(filename,"r",encoding='utf-8')
  54. result = list()
  55. for line in fa.readlines():
  56.     line = line.strip()
  57.     if not len(line):
  58.         continue
  59.     result.append(line)
  60. fa.close
  61. content=""
  63. for sentence in result:
  64.     sentence.encode('utf-8')
  65.     data=sentence.strip()
  66.     if len(data)!=0:
  67.         content+=data
  68. cutword = jieba.cut(content,cut_all=False)
  69. seg = ''.join(cutword).replace(',','').replace('。','').replace('“','').replace('”','').replace('：','').replace('…','')\
  70.             .replace('！','').replace('？','').replace('~','').replace('（','').replace('）','').replace('、','').replace('；','').replace('，','')
  72. sentence_seged = jieba.posseg.cut(seg.strip())
  73. print("divide word over")
  74. outstr = ''
  75. for x in sentence_seged:
  76.     #outstr += "{}/{},".format(x.word, x.flag)
  77.     # 上面的for循环可以用python递推式构造生成器完成
  78.     # outstr = ",".join([("%s/%s" %(x.word,x.flag)) for x in sentence_seged])
  80.     if x.flag == 'n':
  81.         try:
  82.             similar=model.wv.similarity("叶修",x.word)
  83.             if similar>0.48:
  84.                 a = Node("人物", name=x.word)
  85.                 print(x.word)
  86.                 tx.create(a)
  87.         except KeyError:
  88.             print("not in vocabulary")
  89.             print(x.word)
  91. tx.commit()

这个代码是对文本进行分词解析，解析出词性，然后利用词向量进行分析。
作为小说的一名读者，我有“叶修是人”的先验知识，结合上一篇笔记对词向量的解析使用中，和叶修相似度高的都是人，所以考虑使用“叶修”作为分类数据，对所有的名词进行计算，对相似度高于一定阈值的认为是人，然后保存进数据库，进而实现出抽取出文本中人物实体的目的
image.png
显然在算法和代码上出了问题，只提取到了陈果和大家两个实体，而且没有加入查重的功能，还有待改进

总结

报错
  1. 报错有关于词向量的，词向量报错词不存在：解决，这个就是理解为jieba分词的局限性，在第一次分词的结果和词向量解析结果不同，如jieba分出了“时叶秋”这个词，并不在词向量的词库里，就出现了报错，最后使用代码里的try catch的方式来捕获异常。更好的一个解决方案就是改进分词算法，使得分词更加的精确
  2. 报错里有数据库提交不合法的，经过排查，初步认为应该是重复提交的问题，我似乎一下子提交了两个一样的变量就引发了异常（但是明明相同的节点是可以存在的）
  3. 在查重和分词计算上还可以大幅提高