敏感词处理

某社区APP完整原型案例-第二期（附源文件下载）
http://www.woshipm.com/rp/906812.html

第三方敏感词管理方案：阿里云或者网易云盾；（专门解决敏感词和敏感图片的服务）
初创团队不建议自己做，投入产出比很低。自己开发的话，最多能做好敏感词部分。图片涉及到图片识别和算法，很难做到，比如一张裸露或者领导人照片被用户拿来做头像了，这些对产品都会有伤害，也会带来法律风险。
eg：某段时间头像、昵称禁止修改，违规会被重置；公众号、头条号修改头像、名称、介绍都需要审核；网文监管，抄袭判定；直播课时，某领导名字显示成了*。

两个敏感词处理方式

方式一：客户端处理提示用户修改

用户写评论提交内容时，把里面的敏感词检测并标记出来，弹出操作面板让用户编辑或删除，否则不能提交，把该功能写成一个单独的模块，用户昵称、签名、动态等都可以使用，流程和原型如下：

用户提交的时候把内容和敏感词库匹配，检测到就高亮标记出来，让用户编辑或删除后重新提交，如此重复的检测、修改、提交。用户有过抱怨，使用起来感觉有点不近人情，另外检测效果完全取决于自身的语料库丰富程度和技术实现方式。
敏感词库匹配直接从服务端查找，每次都要拿用户提交内容和整个语料库对比，带来的问题是服务端开销大、检测速度慢。
另一种方式是每次用户打开APP，判断用户是wifi环境时，把服务端的语料库下载到APP本地的数据库，用户提交的时候和本地的语料库进行对比，效果也不是很理想。

方式二：隐藏敏感词内容

用户提交内容的时候服务端做校验，如果有敏感词则把敏感词替换成星号，用户发布时不提醒，提交成功显示的时候把敏感词部分替换成星号。该方案对用户来说操作门槛最低，但体验不好的地方是用户不知道自己犯错了并且会造成内容不完整。流程和原型如下：

敏感词后台原型：

敏感词后台基础版本是这样的，可以按照需要增加导入功能，避免后期需要一次手动添加几百个敏感词的场景。如果不是特别需要，早期可以不做，只要把一些数据初始化到数据库即可。