八爪鱼数据分析平台八爪鱼收集数据并分析

转载

mob64ca141a2a87 2024-06-22 14:26:02

文章标签 八爪鱼数据分析平台自然语言处理数据 windows系统文件名 文章分类 数据分析人工智能

赶上又要秋冬上新，我是一头雾水不知道如何下手。每天开车去各个市场转依然不可能了，广州放目前是6月份，要上新款了。自己每天晚上开车去各个厂家调研询问，市场被安排的的人也被隔离了，我那个烦恼呀。义乌这边好多也是要等等、要等等。客户一个劲的催，我是谁？我要做什么？我要怎么搞？我怎么才能满足客户的需求？

有一个念头出来了那就开搞，我爬虫部分学习的还不够，那就用现成工具八爪鱼吧。毕竟还要防止屏蔽啥玩意的，他们做的还可以，比较稳定。

解霸主要用到关键词频率的排名，

好了上代码吧！

# -*- coding: utf-8 -*-
import os
import jieba.analyse

def ZM_Key_tool(content, result):
    tags = jieba.analyse.extract_tags(content, topK=100, withWeight=True)
    with open(result,mode='w',encoding='utf-8') as f:
        for tag in tags:
            f.write(str(tag)+'\n')
        f.close()    
    print('筛选已完成！')
while True:
    print('\n欢迎使用关键词解析工具。\n')
    print('输入q退出本程序')
    file_path = input('请输入文件路径，注意需要是txt文本文件：\n') 

    if file_path == 'q':
        break
    text_in = open(file_path,'rb').read()

    #设定一个变量，该变量为指定路径，windows系统下D盘  注意windows系统中使用‘\\’用于区分系统路径
    dir_name = 'D:\\document\\整理输出数据\\'
    file_name = input('请输入要保持的文件名: \n')
    if file_name == 'q':
        break
    #判断D盘下是否有document\整理输出数据，如何没有则创建
    if not os.path.exists(dir_name):
        os.mkdir(dir_name)
    text_out =  dir_name + file_name + '.txt' 

    ZM_Key_tool(text_in,text_out)

最近一直在用的函数功能和while循环，感觉这些都是基本功需要非常熟练的运用。还是老规矩吧，暂时不考虑做图形化操作，感觉这样处理效率更高。我的目的也比较明确。好不好看无所谓，我只是要自己想要的结果，其它和我关系不大。

得出的数据分享一下

('小脚', 0.05186112021476187)
('筒裤', 0.049896669989872446)
('垂感', 0.04980833841987693)
('时尚', 0.049685960265413755)
('紧身', 0.049508916772078713)
('纯色', 0.04939980894855458)
('拖地', 0.04850166424600987)
('灰色', 0.04681292284302673)
('爆款', 0.045210645642657525)
('外穿', 0.04333172140712134)
('修身', 0.04260972968803282)
('速干', 0.04061295286543811)
('金丝绒', 0.03770117394220242)
('外贸', 0.03681280613785014)
('套装', 0.03618165707781552)
('印花', 0.03485784776342542)
('毛呢', 0.034482695829145565)
('批发', 0.03355717755270816)
('灯芯绒', 0.033423722937439906)
('阔腿裤', 0.032183849440535865)
('针织', 0.03185419883124415)
('工装裤', 0.031185418743670278)
('萝卜', 0.03004534187889238)
('女士', 0.029432012666264985)
('保暖', 0.029233876542721624)
('抽绳', 0.02911872092238959)
('脚裤', 0.028352438792853023)
('学生', 0.027706309636818152)