数据聚合类网站数据来源

数据聚合类网站数据来源

1.有些是开放api(微博) 加层壳
2.有些是公开数据(例如股票数据) 自己转数据库/api

3.有些是服务商未授权的非即时服务(例如停车位 电影信息) 机器去爬数据 转数据库/api
4.有些是服务商未授权的非即时服务(例如违章车辆) 人肉找数据转数据库/api
5.有些是服务商未授权的即时服务(例如快递) 自己转web request成api

6.有些是服务商授权提供中介的即时服务/非即时服务 (例如图灵 360 小冰机器人)

apigee对大部分小用户免费
国内这几家都贵 性价比很低
haoservice.com/apilist/
apistore.baidu.com/
w
ww.juhe.com

国外:
https://apigee.com/providers

有必要的话搞爬虫,调用api,根据自己需求定。

 

vector和list之间的区别

正在阅读代码,发现有两个列表,一个使用的是list,一个使用的是vector,平时开发中都没真正去区分过这两个集合类之间的区别并在应用中使用,这里需要正视这个问题,并总结一下。

找到一篇博文,介绍了一下这两个类之间的区别,内容如下:

vector与list区别
vector为存储的对象分配一块连续的地址空间,因此对vector中的元素随机访问效率很高。在vecotor中插入或者删除某个元素,需要将现有元素进行复制,移动。如果vector中存储的对象很大,或者构造函数复杂,则在对现有元素进行拷贝时开销较大,因为拷贝对象要调用拷贝构造函数。对于简单的小对象,vector的效率优于list。vector在每次扩张容量的时候,将容量扩展2倍,这样对于小对象来说,效率是很高的。
list中的对象是离散存储的,随机访问某个元素需要遍历list。在list中插入元素,尤其是在首尾插入元素,效率很高,只需要改变元素的指针。
综上所述:
vector适用:对象数量变化少,简单对象,随机访问元素频繁
list适用:对象数量变化大,对象复杂,插入和删除频繁
最大的区别是,list是双向的,而vector是单向的。
因此在实际使用时,如何选择这三个容器中哪一个,应根据你的需要而定,一般应遵循下面
的原则:
1、如果你需要高效的随即存取,而不在乎插入和删除的效率,使用vector
2、如果你需要大量的插入和删除,而不关心随即存取,则应使用list
3、如果你需要随即存取,而且关心两端数据的插入和删除,则应使用deque。
vector   表示一段连续的内存区域,每个元素被顺序存储在这段内存中,对vector   的随机访问效率很高,但对非末尾元素的插入和删除则效率非常低。
deque
也表示一段连续的内存区域,但与vector不同的是它支持高效地在其首部插入和删除元素,它通过两级数组结构来实现,一级表示实际的容器,第二级指向容器的首和尾

list   表示非连续的内存区域并通过一对指向首尾元素的指针双向链接起来,插入删除效率高,随机访问效率低

2
stl提供了三个最基本的容器:vector,list,deque。
vector和built-in数组类似,它拥有一段连续的内存空间,并且起始地址不变,因此

它能非常好的支持随即存取,即[]操作符,但由于它的内存空间是连续的,所以在中间
进行插入和删除会造成内存块的拷贝,另外,当该数组后的内存空间不够时,需要重新
申请一块足够大的内存并进行内存的拷贝。这些都大大影响了vector的效率。

list就是数据结构中的双向链表(根据sgi   stl源代码),因此它的内存空间可以是不连续
的,通过指针来进行数据的访问,这个特点使得它的随即存取变的非常没有效率,因此它
没有提供[]操作符的重载。但由于链表的特点,它可以以很好的效率支持任意地方的删除
和插入。

deque是一个double-ended   queue,它的具体实现不太清楚,但知道它具有以下两个特点:
它支持[]操作符,也就是支持随即存取,并且和vector的效率相差无几,它支持在两端的
操作:push_back,push_front,pop_back,pop_front等,并且在两端操作上与list的效率
也差不多。

因此在实际使用时,如何选择这三个容器中哪一个,应根据你的需要而定,一般应遵循下面
的原则:
1、如果你需要高效的随即存取,而不在乎插入和删除的效率,使用vector
2、如果你需要大量的插入和删除,而不关心随即存取,则应使用list
3、如果你需要随即存取,而且关心两端数据的插入和删除,则应使用deque。

该博文地址《http://blog.163.com/lhl_soft/blog/static/20175000420120161422375/》

代码中的用法,大致是第一个是前端传递过来的文章对应的item列表,应该会有一些删除等操作,且数量应该较小,而后面那个是用来存储文章相关的产品列表,那么可能在查询出来之后不会进行变动操作,同时对应的产品的数量可能会比较大,所以如果在查询出来放到集合类中的时候效率比较高?尚未完全确认,这里对猜想做个记录。

PP日志part1

无他用,记录一下流水账,记录一下自己来pp之后做的事情。

4.14入职,当天上午签订合同,不过合同有一份写坏了,人事通知说啥时候邮件通知了啥时候再去联系人事将剩下的一份合同签了。好吧,也不着急。
领了电脑,G50,15寸,屏幕挺大挺爽,不过配置一般。第二天从家里带来了鼠标键盘等外设。带键盘主要是大屏笔记本自带的带数字键盘不习惯,点方向键的时候总是不小心点到数字键删除键和enter键上。还是用全键盘比较舒心。
当天下午参加了入职新员工培训,主要介绍东家的牛逼之处,以及内部的各种规章制度和薪资算法等。今天,才知道tm的每周的周二周四班车都是晚上八点才走,也就是说我每周四的训练基本就都泡汤了。考虑再三,由于膝盖正好伤了,也要修养,所以还是入职,等年底好跳槽的时候再走吧。在这镀镀金也是不错的。

I am hungry now…