文章目录

  • 一、背景
  • 二、目的
  • 三、需求
  • 四、开发
  • 五、主要功能实现
  • 六、上线效果
  • 七、取得的关键成果


一、背景

目前线上用户通过在雪球发帖子来进行反馈或吐槽雪球各业务线的bug与建议等问题,通过发帖的方式在线对雪球产品进行吐槽、谩骂等舆论,特别是新版本发布或者是产品有重大改动时,往往用户反馈与吐槽的帖子会更多,对于用户反馈雪球的帖子以前都是雪球小秘书人工进行逐一排查处理,特别费事,而且这么多帖子也覆盖不全,造成舆论信息愈演愈烈。

二、目的

开发这一系统的目的是通过自动化的方式实时监控线上用户发的帖子,然后进行算法策略处理,判定该帖子是否是用户吐槽雪球各业务线bug与建议等问题的帖子,做到及时感知用户对雪球产品的真实反馈,便于我们及时修正bug与优化,避免造成大规模的用户抱怨与投诉。这样做出的主要目的是提高测试团队主动发现问题、预警问题的能力,做到尽早、尽小发现问题,维护雪球软件质量口碑。

三、需求

根本
该项目的本质需求:给目标用户近乎实时地提供线上用户反馈的问题(bug,建议,吐槽)在大屏幕上滚动展示。
界面(要求简洁)
功能:
页面布局:
1、上部:提供 今/昨 统计功能
2、上部:根据今日的反馈,提供词云功能
3、剩余部分:液晶屏主要部分提供实时展示帖子详细信息的功能----具体以何种方式(滚动/渐变效果)待定
帖子功能详细设计:
a、对帖子去重,把用户反馈的相同问题合成一个,避免多个重复的帖子展示。
b、对帖子分类,按归属业务线、bug,建议,吐槽进行分类,做到每个业务线看到的内容是不一样的,类似千人前面的效果。
c、给帖子打标签(归属业务线,bug/建议,发帖时间,雪球版本),用作帖子标题展示,标签形式:雪盈,建议,2020-08-14 07:52:19 12.15.2
d、如果此时或当前没有新进来的帖子,则液晶屏滚动显示历史的(之前的)帖子。(解决无问题空档期的问题)
e、提供该帖子的真实url,可点击,用于快速定位。
f、帖子提供二维码追踪功能,用于关注聚焦某个帖子时,用手机扫描该贴子的二维码自动发送到钉钉客服群里,进行反馈。
g、显示截图功能,帖子中提供用户上传的截图一并展示,帖子中的图片地址修改成前端可以展示的地址。
h、误判删除,在后台管理系统进行操作。
i、字数超限,舍弃
j、增加粉丝数功能(字段),帖子展示根据粉丝数和帖子创建时间排序–针对大V需求,大V发帖优先展示。

帖子展示逻辑:

舆情监控 开发 python 舆情监控系统 开源_nlp

1、初始队列大小为当天开始时数据库里的原始帖子数据大小(默认为0)。

2、屏幕展示帖子最多展示2条帖子;(根据电视实际尺寸来定)

3、屏幕作为消费者(consumer),每次从队列里取2条进行屏幕展示,取之前先判断队列是否为空,如果为空,通知数据库往管道push数据;如果不为空,pop 2个帖子进行消费。

4、在大屏幕展示两个帖子,如果发现有帖子误判,则后台管理系统进行删除帖子,同时更新数据库;如果没有帖子误判,则继续消费。

5、在大屏展示帖子的过程中,如果突然新进来多个帖子,则不影响当前屏幕展示,后端管道只需做头插操作,即新进来的帖子以头插方式进入队列排在最前面,同时也更新数据库,继续消费。

6、当管道里的帖子全部被消费完,即队列为空,则数据库作为producter往管道push数据,进行新一轮展示。

这样做的目的是解决帖子误判和防止已经展示过的帖子多次重复展示的问题。

帖子展示时间(周期):
1、屏幕每屏对帖子展示30s,然后再淡出/淡入新的帖子;

四、开发

后台管理模块:

给内部技术人员(开发+测试)提供web端管理系统(web端实时展示模块+web端舆情管理模块)
web端实时展示模块
帖子实时展示逻辑同液晶显示屏展示逻辑。

给内部技术人员提供一个后端网页版系统,可供技术人员对具体问题进行排查和回溯。

舆情监控 开发 python 舆情监控系统 开源_机器学习_02

web端舆情管理模块

1、按最新时间(帖子)排序

2、对帖子进行管理:

a.误判删除

b.对问题帖子进行管理(问题类型、问题状态、备注)

问题类型:正常帖子/问题帖子

问题状态:未修复/已修复/不修复/未处理

备注:管理员自定义的备注

c.条件查询

d.导出帖子

e.批量管理(更新+删除)

舆情监控 开发 python 舆情监控系统 开源_机器学习_03

稳定性(性能)
1、电视要保持常亮
2、软件不能crash、卡死等情况

区别展示
根据不同的目标用户展示不同的内容。
1、老方,CEO,CTO屏幕展示所有的帖子,不按业务线划分。
2、各业务线屏幕展示对应的帖子信息。

测试
项目开发完成后,先在灰度环境测试运行一段时间,用于测试,在此期间解决遇到的bug。

五、主要功能实现

1、完成舆情监控系统后端开发,实现分词关键字加权算法,实时过滤雪球全量发帖,命中率超过80%。
2、按照”雪球“、”雪盈“、”蛋卷“等平台的维度统计用户发帖。
3、在每个平台按照”问题“、”建议“的维度统计用户发帖。
4、每日通过邮件,将命中的用户发帖输出到相关责任人。
5、完成舆情监控系统后台管理系统开发,实现对数据展示设备的管理以及数据的管理。
6、完成展示系统与舆情监控系统后端的联调测试。
7、舆情系统核心算法优化;
8、舆情监控系统接入评论数据;
9、舆情系统自动报Jira功能开发:发现问题与建议并自动报Jira,指向客服处理人员;
10、客服提交的Jira相关信息同步到舆情监控系统;
11、周期性的发送舆情系统发现的问题到相应的业务线平台;

六、上线效果

舆情监控 开发 python 舆情监控系统 开源_nlp_04

舆情监控 开发 python 舆情监控系统 开源_nlp_05

舆情监控 开发 python 舆情监控系统 开源_机器学习_06

七、取得的关键成果

2021年上半年,舆情监控系统上线运行,大屏展示系统已经在各个研发工区部署并展示。截止到目前为止,舆情监控系统一共从雪球社区挖掘247条有效用户反馈并纳入到雪球研发团队的问题处理过程。其中173个问题被修复。(数据还在扩大,更新)