python-analytics
最近小红说要买个二手房,让我帮忙看一下二手房的信息,嗯毕竟买房是个麻烦事,而近一个月济南房价真是涨疯了。
刚好现在学python,正好可以拿来作为练手,想要实现二手房的价格数据分析。
首先想了一下基本的逻辑,先从58同城爬取一下以区域划分的房源信息。
1.首先使用Chrome调试工具分析出页面中的信息所在tag的位置,通过BeautifulSoup或正则re或lxml这三个Modules分析出信息。
由于三个Modules掌握都不熟练所以这混合了这三种模块。
通过输入可以选择不同的行政区进行数据的选择。
只有数据还不够直观,通过地理位置的抓取和高德地图的逆解析得到房源信息的坐标,然后展示到地图上。嗯 就这么干…
在匹配数据的过程中,发现会被高德(阿里)的服务器拒绝,所以加了延时500ms。
爬取得到的房源数据
你解析得到的坐标数据
放到页面上,alpha_version 可解析出房源所在位置附近的商圈。
觉得有点丑,然后又有了第二个版本2nd 在此版本中发现,如果坐标一样或者坐标太近等原因导致大量的数据没有被展现出来。然后又有了第三个版本。热点Heatmap
好吧,轮子造到这里。鉴于近期济南房价的疯狂涨势,留着数据,一个月后再爬取一下,再做个涨幅数据的分析。
- 本文标题:python-analytics
- 本文作者:Roy
- 创建时间:2016-09-08 16:18:26
- 本文链接:https://www.yrzdm.com/2016/09/08/python-analytics/
- 版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!