和很多同学接触过程中,我发现自学python数据分析的一个难点是资料繁多,过于复杂。大部分网上的资料总是从Python语法教起,夹杂着大量Python开发的知识点,花了很多时间却始终云里雾里,不知道哪些知识才是真正有用的。
本来以为上手就能写爬虫出图,却在看基础的过程中消耗了一周又一周,
于是,我总结了以下一篇干货,来帮助大家理清思路,提高学习效率。总共分为三大部分:做Python数据分析必知的语法,如何实现爬虫,怎么做数据分析。
Python可以直接定义变量名字并进行赋值的,例如我们写出
例如下图代码,“=”的作用就是赋值,同时Python会自动识别数据类型:
请阅读代码块里的代码和注释,你会发现Python是及其易读易懂的。
在初级的数据分析过程中,有三种数据类型是很常见的:
它们分别是这么写的:
??
list是一种
??
字典使用
?
dict内部存放的顺序和key放入的顺序是没有关系的,也就是说,"章泽天"并非是在"刘强东"的后面。
DataFrame可以简单理解为
和excel一样,DataFrame的任何一列或任何一行都可以单独选出进行分析。
掌握了以上基本语法概念,我们就足以开始学习一些有趣的函数。我们以爬虫中绕不开的遍历url为例,讲讲大家最难理解的
for函数是一个常见的循环函数,先从简单代码理解for函数的用途:
?
因为dict的存储不是按照list的方式顺序排列,所以,迭代出的结果顺序很可能不是每次都一样。默认情况下,dict迭代的是key。如果要迭代value,可以用for value in d.values(),如果要同时#迭代key和value,可以用for k, v in d.items()
可以看到,字典里的人名被一一打印出来了。
for函数在书写Python爬虫中经常被应用,因为
该网站的周票房json数据地址可以通过抓包工具找到,网址为http://www.cbooo.cn/BoxOffice/getWeekInfoData?sdate=20190114
仔细观察,该网站不同日期的票房数据网址只有后面的日期在变化,访问不同的网址就可以看到不同日期下的票房数据:
?
我们要做的是,
为了方便理解,我给大家画了一个for函数的遍历过程示意图:
此处省略掉后续爬取过程,相关爬虫代码见文末。我们使用爬虫爬取了
除了爬虫,分析数据也是Python的重要用途之一,
在做好数据采集和导入后,选择字段进行初步分析可以说是数据分析的必经之路。在Dataframe数据格式的帮助下,这个步骤变得很简单。
比如当我们想看单周票房第一的排名分别都是哪些电影时,可以使用pandas工具库中常用的方法,筛选出周票房为第一名的所有数据,并保留相同电影中周票房最高的数据进行分析整理:
9行代码,我们完成了Excel里的透视表、拖动、排序等鼠标点击动作。最后再用Python中的可视化包matplotlib,快速出图:
以上是一个简单的统计分析过程。接下来就讲讲Excel基础功能不能做的事——自定义函数提效。观察数据可以发现,数据中记录了周票房和总票房的排名,
当然可以,只要使用
定义函数后,批量出图so easy:
免责声明:本站内容和图片由网友提供或来自网络。
如有违反到您的权益,请通知我们删除处理。文章仅代表作者本人的观点,与本站立场无关!
© 2023 nvsheng.cc 女生-个人图集收集 蜀ICP备2021006193号-3|川公网安备 51130202000403号
发表评论