最近公司项目需要使用python爬虫进行数据爬取与可视化,我作为核心开发人员,由我完成。我通过机器学习算法进行文本分类,对核心的数据通过echarts进行可视化。技术Flask Scrapy MySQL Anconda3项目需求把给定的文本自动分类,可以是对评论进行好评、差评的二分类,也可以是对新闻进行具体分类的多分类任务。1、收集数据集2、github找开源数据集2、数据预处理加载语料,打乱语料顺序,将语料分为评论和好评/差评去除评论中的英文、停用词将全部语料按1:4分为测试集与
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号