数据自动采集器(Data Scraper)是一种自动化工具,用于从互联网上提取数据并将其转换为有用的信息。这些工具通常使用Web爬虫程序来提取数据,其目的是帮助用户节省时间和精力。数据自动采集器可以从互联网上的各种网站和应用程序中提取数据,包括电子商务网站、社交媒体、论坛、新闻网站等。它可以帮助用户采集有用的数据,如产品定价、销售趋势、客户反馈等,并将其存储为结构化数据或导出到其他应用程序中。数据自动采集器为企业和研究人员提供了极大的便利和效率,帮助他们快速获得所需的数据并做出决策。

 

        最近试着帮一位同事制作了一个批量数据采集器,同事因每天需要完成领导交代的按手机号查询对应业务使用情况,整个手机号约100个,后期仍会有增、删、改的情况,每个手机号对应4个业务,人工查询一次需要花费约10秒,每次手工查完约花费1个小时。采用自动采集的方式,整个时间缩短为5分钟以内,且不需要人工干预。

设计思路:

功能1:平台账号登录,由于考虑后期可能会更换不同权限账号,该功能是必须的。

功能2:文件读取,将文件中的手机号通过正则的方式全部读取出来,并计算需要查询的数量 。

功能3:日期选择,需求是按手机号,按业务和时间点查询。

功能4:根据文件手机号,日期和4个条件依次查询对应的结果,由于数据量较大,此处需要采用多线程的方法,防止应用在采集过程中出现不响应。

功能5:将功能4中的查询结果显示在tableWidget中,采用viewport().update()可增加采集进度的效果,类似进度条的功能。

android动态采样率 动态数据采集器_应用程序