1. 项目背景
随着电⼦商务的蓬勃发展，⽹络服装销售已经逐渐成为消费者最为青睐的廉价购物渠道。本项目基于python网络爬虫从某电商平台抓取所有运动服饰的销售数据，分析不同品牌运动服装价格分布、主流品牌运动服装销售占比、不同标签的运动服装销售占比、男女款式运动服装销售占比等信息，多维度对比各类服装价格的高低。并利用 TensorFlow 构建深度学习模型，实现对运动服饰销售价格的建模和预测。
2. 功能组成
基于python的电商运动服饰销售分析与预测系统的功能主要包括：
3. 电商运动服饰销售数据爬虫
利用 request + beautifulsoup 等工具，抓取某电商平台的运动服饰栏目的在售商品及店铺等信息：
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
chrome_driver = 'path to chromedriver'
browser = webdriver.Chrome(chrome_options=options, executable_path=chrome_driver)
base_url = 'https://list.xxxxx.com/list.html?cat=1318,12102,9765&page={}&sort=sort_rank_asc&trans=1&JL=6_0_0#J_main'
file_out = open('sports_wears.json', 'w', encoding='utf8')
page = 1
while page < 262:
url = base_url.format(page)
print('--> 抓取 {} 页：{}'.format(page, url))
browser.get(url)
soup = BeautifulSoup(browser.page_source, 'lxml')
items = soup.find_all('li', class_='gl-item')
item_infos = []
for item in items:
item_info = {}
# 服装价格
price = item.find('div', class_='p-price').i.text.strip()
# 服装名称
name = item.find('div', class_='p-name').a.em.text.strip()
# 评论人数
......
# 店铺名称
......
item_info['comment'] = comment
item_info['shop'] = shop
item_info['tags'] = tags
print(json.dumps(item_info, ensure_ascii=False))
item_infos.append(json.dumps(item_info, ensure_ascii=False) + '\n')
page += 1
# 保存数据
file_out.writelines(item_infos)
file_out.flush()
time.sleep(1.1)
browser.close()4. 电商运动服饰销售分析与预测系统
4.1 店铺销售情况查询
使用选择框进行店铺的选择，查询当前各店铺在售运动服装的数据，包括：服装名称、店铺名称、标签、大小型号、评论个数、价格（元）：
4.2 运动服装价格分布及影响因素分析
为了更好的统计在售运动服装价格分布和大小型号之间的关系，设定了三类图，不同型号的运动服装在售件数（扇形图）、不同大小型号的运动服装的均价分布（条形图）、电商在售运动服装价格分布情况（散点图）：
各种型号的运动服装在售件数都显示在了扇形图对应的区域中，当鼠标悬浮在相应的位置时，便会显示该型号的在售个数和占比信息，如图中显示M型号的在售个数为3901，占比25.2%。在第二张图中，显示了不同大小型号的运动服装的均价分布，当鼠标悬浮在相应的位置时，便会显示该型号的均价信息，如途中显示的SS均价在559.00元。可以看出，在0-500之间的是最多的。同时由于散点过于密集，在此图的右上角具备区域缩放、区域缩放还原、还原、下载的功能。通过图表，可以很清晰的看到在售运动服装价格分布与大小型号之间关系。
4.3 主流品牌运动服装销售占比
不同品牌的运动服饰，其销售价格、在售数量不同，也反应了品牌的受欢迎程度，对不同品牌运动服装销售占比就行统计分析：
4.4 不同标签的运动服装销售占比
对新品、放心购、闪购、赠、门店有售、厂商配送、物流、险、自营、满减、满赠等不同标签的商品就行统计分析：
4.5 男女款式运动服装销售占比
分析性别对运动服饰销售的影响程度，对齐销售占比就行统计分析：
4.6 基于神经网络的运动服装价格预测
利用商品的描述文本和标签等信息，预测商品的销售价格。基于 keras 或 TensorFlow 构建双向 GRU+Dense 的神经网络模型，利用抓取的运动服装数据进行模型的训练和验证：
# 构造双向 GRU + Dense 神经网络模型
def build_model():
inp = Input(shape=(maxlen,))
x = Embedding(max_features, embed_size)(inp)
x = Bidirectional(GRU(64, return_sequences=True))(x)
x = GlobalMaxPool1D()(x)
x = Dense(16, activation="relu")(x)
x = Dropout(0.1)(x)
x = Dense(len(all_price_levels_map), activation="softmax")(x)
model = Model(inputs=inp, outputs=x)
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
return model模型结构如下：
并对商品的描述文本进行中文分词和词性标注：
# 词性标注算法
from jieba.analyse.tfidf import TFIDF
class WordSegmentPOSKeywordExtractor(TFIDF):
def extract_sentence(self, sentence):
......
seg_words = []
pos_words = []
for w in words:
wc = w.word
seg_words.append(wc)
pos_words.append(w.flag)
if len(wc.strip()) < 2 or wc.lower() in self.stop_words:
continue
freq[wc] = freq.get(wc, 0.0) + 1.0
return seg_words, pos_words
extractor = WordSegmentPOSKeywordExtractor()
5. 结论
本项目基于python网络爬虫从某电商平台抓取所有运动服饰的销售数据，分析不同品牌运动服装价格分布、主流品牌运动服装销售占比、不同标签的运动服装销售占比、男女款式运动服装销售占比等信息，多维度对比各类服装价格的高低。并利用 TensorFlow 构建深度学习模型，实现对运动服饰销售价格的建模和预测。
