介绍

开源情报系统是面向AI的“数据汇聚”、“数据标记”和“数据应用”三方面核心能力，思通数科开源情报系统连通底层基础设施与上层应用软件，为各类数据开发与数据应用保驾护航，为用户提供高实时、高性能、高可用的数据时支撑。

开源情报系统 的功能：

  • 信源管理：针对不同采集内容管理，根据不同类型添加采集信源，实时监测采集信息源状态；
  • 数据采集：数据采集通过拖拽与低代码开发，实现网页、论坛、公众号、APP、短视频据采集，集成反爬虫策略;
  • 日志管理：通过“跟踪ID”对数据采集和数据处理全流程进行监控，让用户对全天候的系统运作情况了如指掌;
  • 标签管理：用户可以通过标签配置对不同类型的数据，配置不同的标签标记;

  • 接口管理：数据采集完毕后，用户可以自定义数据对外输出接口;

    开源情报系统 的优势：

  • 开源开放：零门槛，线上快速获取和安装；快速获取用户反馈、按月发布新版本；

  • 简单易用：极易上手，不懂网络爬虫技术，也可轻松采集海量数据；

  • 秒级响应：每日采集超大数据量下秒级查询返回；

    开源情报系统 技术栈：

  • 数据库：MySQL

  • 数据检索：Elasticsearch
  • 文章储存：Mongodb
  • 系统缓存：Redis
  • 消息队列：kafak & rabbitMQ
  • 深度学习：PaddlePaddle
  • 网络爬虫：WebMagic(java) & scrapy（python）
  • 开发框架：SpringBoot

  • 开发语言：Java Vue

    UI 展示

    思通数科开源情报系统-(StoneOSI) - 图1 思通数科开源情报系统-(StoneOSI) - 图2 思通数科开源情报系统-(StoneOSI) - 图3 思通数科开源情报系统-(StoneOSI) - 图4 思通数科开源情报系统-(StoneOSI) - 图5

    在线体验

  • 环境地址：http://s1.stonedt.com:5366/

  • 用户名：13900000000
  • 密码：stonedt