爬取大众点评商家信息

老板安排了新的任务,需要爬取一些数据,然后进行机器学习,来给决策提供依据或者建议。

当前这一步,爬取相关的大众点评商家信息,并建立关系。

当前已有:选址名称,腹地名称,选址经纬度,腹地经纬度。

思路1:筛选点评上符合要求的商铺,然后全部爬下来,再与当前已有的数据建立联系(通过经纬度,地址等方式,需要商铺的经纬度、地址等信息)

思路2:根据当前已有信息,如地址,经纬度,去点评上搜索附近的商铺,然后爬下来,这要求知道点评根据经纬度筛选商铺的接口,经过观察发现点评的APP上有这个功能,但是抓包失败。

思路3:从点评的m站上搜索,关键词为地址,然后过滤美食。结果并不好用,经常查询的是具体地址,而非商铺。

思路4:直接从爬虫群里购买数据和代码,但是可能不靠谱。

思路5:从网上搜索爬取商铺的代码,改改自己用。这种方式多数都是从web版的网页上进行爬取的,自己执行爬取的时候,得注意使用代理切换ip,不然的话,可能数据会有问题。

尝试了一番之后,大概只有第五种方法比较可行。

从百度直接搜索点评爬虫,和在gitee上搜索点评的爬虫,发现绝大多数都是爬取的都是去爬的商铺的评论,但是这顺便会爬商铺。

从中甄别一下看是不是有坐标经纬度,如果有的话最好,可以通过经纬度的计算来筛选某些点附近的商铺,然后计算。

总结下来基本还是思路1的路子。OK,开始执行。

关于寻找目标市场的思考

最初是什么想法呢。。。。。。。。

多级市场划分。

划分的维度是多方面的,比如城市等级,大小,经济,人口等。任何一项事务,扩散总是有一个过程的。多数情况下,都是由大城市发起或者由国外流入国内一线大城市,然后逐渐再扩散到二线三线直至到四五线城市。

由于身处大城市,虽然不是说随时随地都是在关注最前沿的流行的东西,但是毕竟耳濡目染,身边环境所致,还是能够意识到一些东西。尤其是逢年过节什么的,从一线城市回到家里的时候,你会觉得家里的这份“土”,其实就是潮流扩展的过程所体现出来的现象之一。

所以节假日什么的,也是二三四线城市与大城市交流沟通和打通的手段了。通过这时候从大城市到小城市的人员流动,从而促进了二三四线城市的潮流推进。

反过来说,经常在一二线城市与三四五线城市之间走动,也应该会更容易发现不同级别城市之间的差异,发现二三四五线城市的发展趋向,预见其发展潮流,从而发现其中的商机。

想要利用这个过程,就是主动去发现,然后主动去学习,效仿大城市的内容、潮流,然后带到二三线城市里去。从中应该能赚到一些潮流红利。

降维打击

对,这就是降维打击。用一种几乎已知未来的方式来操控更低维度城市的发展过程。就跟使用互联网打击传统行业一样。

三四五线城市居民的特点

根据一些已经在这个市场上火起来的应用来分析一下吧。目前已经火到大城市也能看到、知道的产品和市场,有这么几个:

  • 抖音,快手
  • 拼多多
  • 趣头条
  • 今日头条

这几个是已经十分火爆的,并且在一线城市都已经有了相当知名度的产品。他们瞄准的基本都是二三四五线的用户。甚至比较火的一些小程序,公众号等,做的也是这方面的内容,但是因为整体平台并不是这个定位,所以先不放这部分。对于今日头条是否列入这里也稍微存在争议,不过因为头条使用的推荐算法,是你越看什么,就越给你推荐什么的。所以针对二三四线城市,就会针对他们推荐他们这个市场自己关注的内容,也算是一种吧。

其他几款就不一样了,基本就是专门针对这个市场做的。

大致总结一下面对人群的特点:

  • 空闲时间多
  • 看中小利益,容易被低额小利吸引
  • 传播成本低,喜欢噱头
  • 乐于扩散

目前还有哪些东西可以在这样的市场上搬运和投放呢?思考一下,回头写。

无题

又是在咖啡厅呆了挺长的时间。什么都做了,比如看书,看小说,阅读一些文章,emmmmmm…..甚至睡觉。感觉生活又失去了方向感。

之前一段时间对区块链比较看好,自己也有意想要深入了解,因此投入相当的精力。但是回过头来看,自己投入精力的地方,其实主要并不在学习上,而是在如何参与上。自己并没有真正将这个东西了解透彻(当然自己是想了解透彻的),就已经持续参与到一些项目中了。在学习的时候,主要也围绕着这里可能用到的东西,但是更多的时候,是使用自己一知半解的知识,去强行依附正在操作的新概念项目。从概念上,其实也还好,对自己的理解力和悟性还是有一些信心的,这方面并没怎么跑偏。但是对于真正技术上的实现,自己就差的有点远了,可以说最基础的知识还没有完整的看完过。对于整个系统的理解,也没有到位,比如,到现在为止,自己对于问题:token是如何值这么多钱的 这个问题,有一个最起码看起来合理的解释。

加上正好凑这段时间,自己也换了新工作,新工作这边压力还是挺大的,要求高是一方面,大家水平都比较高,压力比较大也是一方面。上个月吧,公司经历了一番调整,而正好我也有机会单独带一个需求。也算是表现了一番吧,转正时候有意给我升级别,最终结果还没出来。这次完了之后,自己调整到另外一个部门去做另外一个东西,当然其实还不是单独的。

自己在这段时间也思考了一下,感觉把精力铺的太开还是不行,需要专注某些东西,不然自己忙不过来。当然其实这不是最主要的问题。最主要的问题之一,是自己现在已经有些懒惰了,总想做一些快速享受愉悦的短视的事情,比如看部电影,看本小说。精力没有集中在要做的事情上,哪怕自己思考过了,也仍然是这样。这才是最亟待改变的地方。如果自己的注意力能十分,不,不说十分,七八分集中吧,很多事情也做下来了,能够有一些成就。

但是这个习惯很难一下就改过来,所以想通过收敛一下自己关注的东西,让自己注意力能尽量的放在一两件事情上,算是从侧面的一种方式,让自己不用“忙”这个状态给自己找借口。

自己现在也不说能力多强多差,但是,做事情总是在那个“完成”的层面上,说不上好,也说不上差,但是更远远说不上卓越。总是需要把事情做到卓越的程度,才能真的让自己在大佬们面前露脸啊。