基于Scrapy框架的网络爬虫实现与数据抓取分析任务书

 2021-08-20 00:54:25

1. 毕业设计(论文)主要目标:

本论文基于Scrapy爬虫框架,采集新浪微博社交网络平台中大量用户数据,进行数据清洗、数据分析、数据可视化等操作,从中得出直观的、易理解的信息和结论。

2. 毕业设计(论文)主要内容:

1.使用Python/Requests来模拟登录新浪微博为后续数据的爬取做准备。

2.使用Python/Scrapy从(非)结构化数据中提取出有用的数据(如:用户粉丝等)。

3.对已获得数据进行数据清洗并数据保存(文本文件/数据库)。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

3. 主要参考文献

[1] 陶兴海.《基于Scrapy框架的分布式网络爬虫实现》. 电子技术与软件工程. 2017.No.11. 1.

[2] 孙小越 王超.《基于Scrapy框架电商数据分析平台》. 电脑知识与技术2017.No.28. 276-278.

[3] Jing Wang,YuChun Guo.《Scrapy-Based Crawling and User-Behavior Characteristics Analysis OnTaobao》.IEEE Xplore Digital Library

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文任务书,课题毕业论文、开题报告、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。