基本信息

开发时间 2022.02.22~ 参与人员 数据智能团队
用户范围 目前包含政策、催收、综管部门

背景与目标

1.背景

在日常的数据支持工作中,业务方由于缺少直接调取数据库数据的途径,因此对于数据库的数据获取方式极为有限,常常依赖于每天固定的报表以及一些取数需求,简单的提数需求开始增多。

在团队时间和精力有限的情况下,面对简单的数据需求,我们希望能通过平台自主取数的方式,业务方能够方便快捷地获取到需要的数据,减少中间的流程损耗以及重复的提数过程。

2.目标

创新数据支持方式,搭建更加灵活、快速、高效的数据支持平台,减少不定期重复需求

我们通过python的轻量级的web框架streamlit,实现了数据支持平台的搭建。streamlit的定位是数据科学的web应用工具。可以构建各种交互式动态图表,构建的应用程序可以安全地、轻松地重载信息以节省大量资源,缓存允许Streamlit跳过冗余的数据提取和计算步骤,同时也可以自由灵活地进行数据的交互。

平台设计

1.平台管理设计

为了满足平台的管理需求,我们在开发的前期对平台的管理方式进行了规划,尽量在不影响用户使用体验的情况下,减少我们对于平台管理的成本。 💡 设计思路

1.平台设计框架 - 图1

2.层级设计

为了使平台页面的层级更加清晰,我们对层级进行了设计: 💡 设计思路

1.平台设计框架 - 图2

3.数据交互设计

为了极大程度满足用户的自定义数据筛选需求,我们在: 1、明细表的筛选类别支持值查询、范围查询以及模糊匹配 2、报表类的筛选类别支持已设定的筛选条件 3、功能类的筛选类别支持已设定的筛选条件 4、明细类的数据在查询后默认会对结果进行去重,如果勾选”字段全选”,则不会对结果去重 💡 解释说明

值查询:可输入某个值或者多个值作为筛选条件进行筛选,查询后的结果只会包含这个值或者这些值
范围查询:可输入一个范围作为筛选条件进行筛选,查询后的结果只会包含这个范围的值,需要注意的是,尽量用在数字或时间的范围查
询,文字虽然可用,但是结果不好控。
模糊匹配:可输入一个模糊值,查询的结果只会包含这个模糊值,如:输入"数据",查询的结果为"平台数据交互"等包含"数据"的内容
结果去重:如果出现所有值均相同的行,对结果只保留一行

权限、密码及埋点管理

对平台现有的权限管理方式进行说明: 💡 注:权限管理的最小粒度是数据主题,即每个账号只能开通是否看到某个主题所有内容的权限

1.平台设计框架 - 图3 :::info 密码管理:用户在输入密码时已对密码进行加密,所有申请、验证、修改、记录的密码均为加密后的密码,因此在忘记密码后,只能通过后台重置密码的方式进行账号权限找回。 ::: :::info 埋点管理:在用户进行操作的同时,会对用户的行为进行记录。包含了用户的账号、加密后的密码、账号的部门、账号的权限、埋点的来源、操作的类型、具体的操作、登录时间、以及session_id等。 :::

数据划分

对平台的数据页面,按照其特点进行分类 💡 目前主要分为三类:

1.平台设计框架 - 图4

数据框架

💡平台现有的数据页面:

1.平台设计框架 - 图5

交互方式

通过这几个中基本的交互方式,实现对平台的基本操作。 💡 接下来是对五大类交互方式的简单介绍:

1.数据说明交互

在对数据进行查询之前,我们有时需要对数据的内容进行了解。在查询数据前,可点击”数据说明”扩展框,对数据说明进行阅读。在这里,我们可以了解更多关于数据的信息。

企业微信截图_16528625527287.png

在点击”数据说明”后,会出现一个页面。页面会详细地介绍数据的使用。在点击红框圈出的按钮后,可对页面内容进行全屏显示。

企业微信截图_16528629423457.png

2.数据实例交互

在对数据进行初步了解后,有时我们需要对表的真实数据进行探索,点击”显示字段说明”、”显示数据实例”可分别对数据的字段信息、数据的真实样例进行显示,用户可以在查询数据时进行参考。

企业微信截图_16528634502348.png
企业微信截图_16528634846802.png

3.数据查询交互

在对数据有了解后,我们可以根据自己的需求开始定义查询参数。以明细类数据为例:

(1)时间筛选,可根据需求选择一天或者多天的数据。这里的时间筛选为截面数据的时间,因此选择一天即可包含当天的历史所有数据。
企业微信截图_16528640072167.png
(2)信息筛选,可根据需求定义筛选条件。
企业微信截图_16528644939928.png
(3)字段筛选,可根据需求选择部分字段或全部字段。
企业微信截图_16528649521816.png
(4)数据查询,在确认查询条件无误的情况下,点击”查询数据”,在进度条完成后,即可完成数据查询。注:数据限制100万行内。
企业微信截图_16528648692633.png

4.上传下载交互

在对数据进行查询后,可点击”点击下载”按钮对查询后的数据进行下载。

企业微信截图_16528651539725.png

有时候我们可能不仅需要下载数据,还需要上传数据,在需要上传数据的页面,点击上传框选择文件,或者拖动文件进入上传框内,即可完成数据上传。

企业微信截图_1652865339791.png

5.数据动图交互

平台除了可以支持数据的交互,还支持各种动图展示和交互。 在对数据进行条件筛选后,对用的动态图也会变化,动态图内也包含丰富的展示组件。

企业微信截图_16528657117713.png

平台优化及维护

在平台的运行过程中,通过解决问题和提升体验,对平台的内容进行优化。 💡用户可点击”Report a bug”在页面内反馈问题,我们会在语雀中对问题进行记录并跟进,并及时反馈进度。

企业微信截图_16528662439234.png

平台内容扩展的技术点,会在语雀的平台开发者文档中进行记录,方便后续平台的维护。