文章分类 » 未分类

链家小区坐标爬取

之前已经爬取了链家小区的一些基本信息,主要是列表里的内容。但是这里面没有我最需要的数据之一:小区坐标,于是开始重新找。 首先发现小区详情页面是有地图的,根据经验,如果有地图的定位,在页面上肯定有坐标。地图是百度地图,正好是我需要的百度经纬度坐标体系。 自己找的时候走了一些弯路,但是我觉得这也应该是没有经验的情况下的正确查找路子。 我是首先打开开发者页面,然后看点击地图的时候发起的请求,点击地图,放大缩小,看发起的请求里有没有坐标。遗憾的是没能找到,也许是我漏掉了。但是我知道页面一定有,否则这里调用地图的api进行定位的时候显然是不行的。 在我查看源码,从详情页整理小区数据的时候,偶然看到,我不需要的一部分数据里:附近门店 的信息里,隐藏着小区的坐标。如下图所示

很开心,这么容易就找到了。 于是写代码,将这部分数据洗出来,代码如下: countStr = locationInfoItem.selectFirst(“span[class=xiaoquInfoContent]”).text();String locationInfo = locationInfoItem.selectFirst(“span[class=xiaoquInfoContent]”).selectFirst(“span[class=actshowMap]”).attr(“xiaoqu”); locationInfo = locationInfo.replace(“[“, “”).replace(“]”, “”); entity.setLocationJingDu(locationInfo.split(“,”)[0]);entity.setLocationWeiDu(locationInfo.split(“,”)[1]);由于前面已经跑完小区的基本信息了,小区详情页面的地址也已经保存下来了,于是直接把这些数据重新跑一遍,根据详情页面爬取坐标数据,以为于是就完事儿了 然而,到最后发现,总是有那么百十个小区,解析总是失败的。观察日志,发现请求是正常的并且成功的,如果是被反爬虫了按照我这换ip的频率,也不应该一直失败的,肯定代码原因咯。 没办法,debug大法。调试到获取坐标这块的时候,异常了,仔细观察发现,有的小区是没有附近的门店的!没有的时候,我的解析坐标的部分就会异常。 那咋办?找到一个正常的页面,然后找到附近门店那里的坐标数字,然后全页面搜索,果然不服所望,还有个地方存着坐标!如图所示

然后到没有附近门店的页面去验证,果然也有!这下好了。 改代码对 附近门店 这里做个判断,如果是  暂无门店信息 ,那就去找js标签,然后从中提取坐标。因为比较好找,我的数据又比较少,懒得用正则了,直接split完事儿。上代码 Elements scriptElements = doc.select(“script”); String shopLatLng = “”; for (Element element : scriptElements) {    shopLatLng = element.html();    if (shopLatLng.contains(“resblockPosition”)) {       break;    } }shopLatLng = shopLatLng.split(“require\\(\\[‘ershoufang/xiaoquDetail/index’], function\\(main\\) \\{\n” +”  main\\(“)[1].split(“\\);\n” +”\\}\\);”)[0]; ResBlock resBlock = JsonUtil.of(shopLatLng,ResBlock.class); Optional.ofNullable(resBlock).ifPresent(x->{   entity.setLocationJingDu(x.getResblockPosition().split(“,”)[0]);    entity.setLocationWeiDu(x.getResblockPosition().split(“,”)[1]); });至此,获取小区坐标就完成了,然后顺利跑完交差。

爬取大众点评商家信息

老板安排了新的任务,需要爬取一些数据,然后进行机器学习,来给决策提供依据或者建议。

当前这一步,爬取相关的大众点评商家信息,并建立关系。

当前已有:选址名称,腹地名称,选址经纬度,腹地经纬度。

思路1:筛选点评上符合要求的商铺,然后全部爬下来,再与当前已有的数据建立联系(通过经纬度,地址等方式,需要商铺的经纬度、地址等信息)

思路2:根据当前已有信息,如地址,经纬度,去点评上搜索附近的商铺,然后爬下来,这要求知道点评根据经纬度筛选商铺的接口,经过观察发现点评的APP上有这个功能,但是抓包失败。

思路3:从点评的m站上搜索,关键词为地址,然后过滤美食。结果并不好用,经常查询的是具体地址,而非商铺。

思路4:直接从爬虫群里购买数据和代码,但是可能不靠谱。

思路5:从网上搜索爬取商铺的代码,改改自己用。这种方式多数都是从web版的网页上进行爬取的,自己执行爬取的时候,得注意使用代理切换ip,不然的话,可能数据会有问题。

尝试了一番之后,大概只有第五种方法比较可行。

从百度直接搜索点评爬虫,和在gitee上搜索点评的爬虫,发现绝大多数都是爬取的都是去爬的商铺的评论,但是这顺便会爬商铺。

从中甄别一下看是不是有坐标经纬度,如果有的话最好,可以通过经纬度的计算来筛选某些点附近的商铺,然后计算。

总结下来基本还是思路1的路子。OK,开始执行。

消费层级的逻辑

任何一个行业,想要做好,想要赚钱,都得思考清楚其中真正运作的逻辑。包括工作。

工作不就是找一个公司,签一份合同,然后自己交工,到时候发工资么?

仔细想一下,就会发现远不止如此。否则,为何工作工资有不同?为何同样的工作会有话语权的不同?为何同是工作,会有自由度的不同?

但是今天想说的不只是工作上。很多事情都是同理,所以做个普遍性的思考吧。

赚钱?挣钱?这两个词,都是为了钱,但是前面的动词明显不一样。

何为挣钱?花费自己的劳动力,包括以前储备的知识,自己的时间,脑力,体力等方式,换取自己付出这些的报酬。对,就是报酬。报酬,是你付出之后,才能得到的,如果你要持续的收入,就要有持续的付出,一旦付出停止,那么就面临“没有收入”的境地,即老人们说的“停手停口”。

然而大多数人都停留在这个阶段上,或者说层面上,很难跳出这个惯性和框架。我呢?我也没有,但是我接触并意识到了这个问题,正在努力想办法跳出来,所以才写这篇文章。

并不是说“挣钱”不好。正如现在流行的,“不要问我我的理想,我的理想是不上班”,并不只是说说,我的理想,真的是不上班,或者说有比较高的自由度,还能有很多钱花。但是,不上班和有很多钱花,一定程度上,是一个鸡和蛋的问题。

好了,不说这些了,这些问题都不是核心。核心是我要认真思考,究竟怎么样才能自由度比较高。对我当前的认知而言,就是需要比较多的钱,不用为钱而担心。

那么,在“挣钱”的层面的时候,怎么样能挣到更多的钱呢?多数情况下,给别人打工,我们才称之为“挣钱”,要用自己的付出去换,那么自己的“付出”越值钱(即价值越高),自己获得的“报酬”才有可能越高。为什么说“可能”,企业的老板都是都是商人,他们做一个企业,是为了自己的收入的,从员工的付出与给予员工的报酬之间拿到差价,才是商人的收入。所以在我理解看来,在能留下一个人的情况下,肯定会尽最大可能压低给这个人的报酬,这是天性。因此企业里制定的一系列的关于报酬的制度,除了为了方便管理之外,主要的目的就是为了降低付出“报酬”的成本。

从这里来看,在打工的情况下,想要提高收入,有两个切入点。其一,提高自己的价值,提高自己能产生的价值,让企业愿意为了你个人的价值而付出贡多的薪酬;其二,在跟企业的“定价”博弈中,拿到更高的工资。如何提高自己的价值,如何跟hr博弈在谈工资的时候不吃亏等等,不分析了,我想要做的也不是这块。

我想要做的,是摆脱“打工者”的身份。

上了这些年学,工作了这么多年,曾经有数次机会(现象级别的,社会级别的)从面前走过,上学时候的个人站、SEO,淘宝个人店,11年就看过一点的区块链,之后13、14的移动端,一直火到15、16,并行的大数据,然后人工智能等。这期间,自己稍微有些想法,曾经接触过的,有淘宝开店,区块链,移动端。这些任何一样,如果能深入做下去,都会给自己带来不菲的收益。但是都死在了浅尝辄止。

想要摆脱“打工者”的身份,必须得有自己的一份事业,持续为之投入,然后这个事业能自动的,持续的为自己带来收入。自己也早有这个意识,很多事情坚持下去,做下去,“也许”就会离自己的梦想更近一步。但是自己都没坚持下去。原因是什么?

说着说着成分析自己了。打住,继续搞赚钱分析。

赚钱嘛,用“钱”赚钱,就需要这部分钱要动起来,能自己产生收益,就是资本的运作。有人说,我那点钱,算什么资本运作啊哈哈哈。不要这么想,资本有大小,无论大小,都是资本,学会资本运作,都能产生收益。否则,你的钱多钱少,存在那里,都是死的,只能用一部分少一部分。不能运作,不能增值,不能产生收益,迟早有用完的那一天。

仔细想想,其实不只是“钱”才算作资本,一个人的人脉,资源,技能,时间,都是自己的“资本”。这些都应该运作起来,让他们发挥作用,产生价值。

(20180602补充)
想要清醒一点的活着,或者明白一点的活着,就得把自己梳理明白了。正确分析解剖自己,看清楚自己的优势劣势,然后确认自己想要做什么,然后看自己缺少什么资源,然后去通过提高自己或者寻找合作伙伴的方式弥补这些短板,从而做成自己想要做的事。

目标导向有时候也许更适合去做事情,没有目标的日子都是被动的活着做事,总是感觉被动,还会感觉累,并且总是被动思考,思考的内容总是会有缺失,毕竟没有主动思考时候更活跃,更专注。

OK,回来说赚钱。

一般来说,赚钱,就是利用自己的一些资源,用较低(或者想办法降低)的成本实现满足一些(量足够大)人的需求,同时收取相应的费用,就是赚到钱了。比如自己利用自己的地理优势,从制造厂商那里以较低的价格批发衣服,然后转而加价卖出去,然后扣除掉中间运输,存储,陈设等相关的费用,就是自己赚到的钱咯。说起来似乎就是这么简单,“做生意”其实逻辑就是很简单。

逻辑简单不代表执行、实现简单。过程中肯定会遇到很多自己想象不到的问题,但是最困难的还是第一步(自己感觉,非实践的来)。

想要做,得先选领域。这时候就得要考验一个人的眼力了。你选的领域,是不是真的有需求,你选择做的东西,有没有前途,你做的附加值,有没有人买账?这些东西一方面要考验自己思维的能力,另外一方面就要考验自己调研和信息整合的能力了。

选择什么人群呢?下面就是 摘自别人家文章,没有确切研究过。

消费能力排序?

少女》儿童》少妇》老人》狗》普通男人

当前浏览器里一直保持着的几个地址

部分看没看完的,部分还有用的。

Spring3 MVC Login Interceptor
http://my.oschina.net/uniquejava/blog/83657
MyBatis Generator 详解
http://blog.csdn.net/isea533/article/details/42102297
Mybatis generator使用(基于Maven)
http://maosheng.iteye.com/blog/1994220
图客圈创业记:不疯魔,不成活
http://yuedu.baidu.com/ebook/cf21e168a5e9856a5612606b?pn=1&click_type=10010002&rf=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3Dieg_3aPx6q7yhAz9Y0mOb5zLi_osB2ODaItC7gR5tCoxzIYH3ET6nZBBHCgw764xEsFRXmxnd-FUlJLraoo-H12AgOk7mqeuSwgpMn2lal-4PlsNoDvO7n09lPeW_UnRnok9Pgss0KRka79-K-_Jy8U1lfT3JGRSHHrFc6X-3V7gmYAPT4AhrIR8fO1ZwZNP-isUzPVxqlCtJWyUxbLJYItrdO9jLA4BmdjcSyWDuBXhQX4dfmP9Ln3jzgaz_Ug5GCpQdmuAxhd0MGaWQEh19K%26wd%3D%26eqid%3Dc157eb100000fee20000000255a5d7a4
maven+springMVC+mybatis+junit详细搭建过程
http://www.open-open.com/lib/view/open1392252233301.html

这里是游戏测试页面

这里就是为了测试游戏页面,并没有游戏。

from 大董

Javaweb-session

一、Session简单介绍

在WEB开发中,服务器可以为每个用户浏览器创建一个会话对象(session对象),注意:一个浏览器独占一个session对象(默认情况下)。因此,在需要保存用户数据时,服务器程序可以把用户数据写到用户浏览器独占的session中,当用户使用浏览器访问其它程序时,其它程序可以从用户的session中取出该用户的数据,为用户服务。

二、Session和Cookie的主要区别

  • Cookie是把用户的数据写给用户的浏览器。
  • Session技术把用户的数据写到用户独占的session中。
  • Session对象由服务器创建,开发人员可以调用request对象的getSession方法得到session对象。

三、session实现原理

3.1、服务器是如何实现一个session为一个用户浏览器服务的?

服务器创建session出来后,会把session的id号,以cookie的形式回写给客户机,这样,只要客户机的浏览器不关,再去访问服务器时,都会带着session的id号去,服务器发现客户机浏览器带session id过来了,就会使用内存中与之对应的session为之服务。可以用如下的代码证明:

复制代码
 1 package xdp.gacl.session;
 2 
 3 import java.io.IOException;
 4 import javax.servlet.ServletException;
 5 import javax.servlet.http.HttpServlet;
 6 import javax.servlet.http.HttpServletRequest;
 7 import javax.servlet.http.HttpServletResponse;
 8 import javax.servlet.http.HttpSession;
 9 
10 public class SessionDemo1 extends HttpServlet {
11 
12     public void doGet(HttpServletRequest request, HttpServletResponse response)
13             throws ServletException, IOException {
14 
15         response.setCharacterEncoding("UTF=8");
16         response.setContentType("text/html;charset=UTF-8");
17         //使用request对象的getSession()获取session,如果session不存在则创建一个
18         HttpSession session = request.getSession();
19         //将数据存储到session中
20         session.setAttribute("data", "孤傲苍狼");
21         //获取session的Id
22         String sessionId = session.getId();
23         //判断session是不是新创建的
24         if (session.isNew()) {
25             response.getWriter().print("session创建成功,session的id是:"+sessionId);
26         }else {
27             response.getWriter().print("服务器已经存在该session了,session的id是:"+sessionId);
28         }
29     }
30 
31     public void doPost(HttpServletRequest request, HttpServletResponse response)
32             throws ServletException, IOException {
33         doGet(request, response);
34     }
35 }
复制代码

第一次访问时,服务器会创建一个新的sesion,并且把session的Id以cookie的形式发送给客户端浏览器,如下图所示:

点击刷新按钮,再次请求服务器,此时就可以看到浏览器再请求服务器时,会把存储到cookie中的session的Id一起传递到服务器端了,如下图所示:

猜想request.getSession()方法内部新创建了Session之后一定是做了如下的处理

复制代码
1 //获取session的Id
2 String sessionId = session.getId();
3 //将session的Id存储到名字为JSESSIONID的cookie中
4 Cookie cookie = new Cookie("JSESSIONID", sessionId);
5 //设置cookie的有效路径
6 cookie.setPath(request.getContextPath());
7 response.addCookie(cookie);
复制代码

四、浏览器禁用Cookie后的session处理

4.1、IE8禁用cookie

  工具->internet选项->隐私->设置->将滑轴拉到最顶上(阻止所有cookies)

4.2、解决方案:URL重写

response.encodeRedirectURL(java.lang.String url) 用于对sendRedirect方法后的url地址进行重写。
response.encodeURL(java.lang.String url)用于对表单action和超链接的url地址进行重写

4.3、范例:禁用Cookie后servlet共享Session中的数据

IndexServlet

复制代码
 1 package xdp.gacl.session;
 2 
 3 import java.io.IOException;
 4 import java.io.PrintWriter;
 5 import java.util.LinkedHashMap;
 6 import java.util.Map;
 7 import java.util.Set;
 8 import javax.servlet.ServletException;
 9 import javax.servlet.http.HttpServlet;
10 import javax.servlet.http.HttpServletRequest;
11 import javax.servlet.http.HttpServletResponse;
12 
13 //首页:列出所有书
14 public class IndexServlet extends HttpServlet {
15 
16     public void doGet(HttpServletRequest request, HttpServletResponse response)
17             throws ServletException, IOException {
18 
19         response.setContentType("text/html;charset=UTF-8");
20         PrintWriter out = response.getWriter();
21         //创建Session
22         request.getSession();
23         out.write("本网站有如下书:<br/>");
24         Set<Map.Entry<String,Book>> set = DB.getAll().entrySet();
25         for(Map.Entry<String,Book> me : set){
26             Book book = me.getValue();
27             String url =request.getContextPath()+ "/servlet/BuyServlet?id=" + book.getId();
28             //response. encodeURL(java.lang.String url)用于对表单action和超链接的url地址进行重写
29             url = response.encodeURL(url);//将超链接的url地址进行重写
30             out.println(book.getName()  + "   <a href='"+url+"'>购买</a><br/>");
31         }
32     }
33 
34     public void doPost(HttpServletRequest request, HttpServletResponse response)
35             throws ServletException, IOException {
36         doGet(request, response);
37     }
38 }
39 
40 
41 /**
42  * @author gacl
43  * 模拟数据库
44  */
45 class DB{
46     private static Map<String,Book> map = new LinkedHashMap<String,Book>();
47     static{
48         map.put("1", new Book("1","javaweb开发"));
49         map.put("2", new Book("2","spring开发"));
50         map.put("3", new Book("3","hibernate开发"));
51         map.put("4", new Book("4","struts开发"));
52         map.put("5", new Book("5","ajax开发"));
53     }
54     
55     public static Map<String,Book> getAll(){
56         return map;
57     }
58 }
59 
60 class Book{
61     
62     private String id;
63     private String name;
64 
65     public Book() {
66         super();
67     }
68     public Book(String id, String name) {
69         super();
70         this.id = id;
71         this.name = name;
72     }
73     public String getId() {
74         return id;
75     }
76     public void setId(String id) {
77         this.id = id;
78     }
79     public String getName() {
80         return name;
81     }
82     public void setName(String name) {
83         this.name = name;
84     }
85 }
复制代码

BuyServlet

复制代码
 1 package xdp.gacl.session;
 2 
 3 import java.io.IOException;
 4 import java.util.ArrayList;
 5 import java.util.List;
 6 import javax.servlet.ServletException;
 7 import javax.servlet.http.HttpServlet;
 8 import javax.servlet.http.HttpServletRequest;
 9 import javax.servlet.http.HttpServletResponse;
10 import javax.servlet.http.HttpSession;
11 
12 public class BuyServlet extends HttpServlet {
13 
14     public void doGet(HttpServletRequest request, HttpServletResponse response)
15             throws ServletException, IOException {
16         String id = request.getParameter("id");
17         Book book = DB.getAll().get(id);  //得到用户想买的书
18         HttpSession session = request.getSession();
19         List<Book> list = (List) session.getAttribute("list");  //得到用户用于保存所有书的容器
20         if(list==null){
21             list = new ArrayList<Book>();
22             session.setAttribute("list", list);
23         }
24         list.add(book);
25         //response. encodeRedirectURL(java.lang.String url)用于对sendRedirect方法后的url地址进行重写
26         String url = response.encodeRedirectURL(request.getContextPath()+"/servlet/ListCartServlet");
27         System.out.println(url);
28         response.sendRedirect(url);
29     }
30 
31     public void doPost(HttpServletRequest request, HttpServletResponse response)
32             throws ServletException, IOException {
33         doGet(request, response);
34     }
35 
36 }
复制代码

ListCartServlet

复制代码
 1 package xdp.gacl.session;
 2 
 3 import java.io.IOException;
 4 import java.io.PrintWriter;
 5 import java.util.List;
 6 import javax.servlet.ServletException;
 7 import javax.servlet.http.HttpServlet;
 8 import javax.servlet.http.HttpServletRequest;
 9 import javax.servlet.http.HttpServletResponse;
10 import javax.servlet.http.HttpSession;
11 
12 public class ListCartServlet extends HttpServlet {
13 
14     public void doGet(HttpServletRequest request, HttpServletResponse response)
15             throws ServletException, IOException {
16         response.setContentType("text/html;charset=UTF-8");
17         PrintWriter out = response.getWriter();
18         HttpSession session = request.getSession();
19         List<Book> list = (List) session.getAttribute("list");
20         if(list==null || list.size()==0){
21             out.write("对不起,您还没有购买任何商品!!");
22             return;
23         }
24         
25         //显示用户买过的商品
26         out.write("您买过如下商品:<br>");
27         for(Book book : list){
28             out.write(book.getName() + "<br/>");
29         }
30     }
31 
32     public void doPost(HttpServletRequest request, HttpServletResponse response)
33             throws ServletException, IOException {
34         doGet(request, response);
35     }
36 }
复制代码

在禁用了cookie的IE8下的运行效果如下:

演示效果

通过查看IndexServlet生成的html代码可以看到,每一个超链接后面都带上了session的Id,如下所示

复制代码
1 本网站有如下书:<br/>javaweb开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=1'>购买</a><br/>
2 spring开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=2'>购买</a><br/>
3 hibernate开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=3'>购买</a><br/>
4 struts开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=4'>购买</a><br/>
5 ajax开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=5'>购买</a><br/>
复制代码

所以,当浏览器禁用了cookie后,就可以用URL重写这种解决方案解决Session数据共享问题。而且response. encodeRedirectURL(java.lang.String url) 和response. encodeURL(java.lang.String url)是两个非常智能的方法,当检测到浏览器没有禁用cookie时,那么就不进行URL重写了。我们在没有禁用cookie的火狐浏览器下访问,效果如下:

从演示动画中可以看到,浏览器第一次访问时,服务器创建Session,然后将Session的Id以Cookie的形式发送回给浏览器,response. encodeURL(java.lang.String url)方法也将URL进行了重写,当点击刷新按钮第二次访问,由于火狐浏览器没有禁用cookie,所以第二次访问时带上了cookie,此时服务器就可以知道当前的客户端浏览器并没有禁用cookie,那么就通知response. encodeURL(java.lang.String url)方法不用将URL进行重写了。

五、session对象的创建和销毁时机

5.1、session对象的创建时机

在程序中第一次调用request.getSession()方法时就会创建一个新的Session,可以用isNew()方法来判断Session是不是新创建的

范例:创建session

复制代码
 1 //使用request对象的getSession()获取session,如果session不存在则创建一个
 2 HttpSession session = request.getSession();
 3 //获取session的Id
 4 String sessionId = session.getId();
 5 //判断session是不是新创建的
 6 if (session.isNew()) {
 7     response.getWriter().print("session创建成功,session的id是:"+sessionId);
 8 }else {
 9     response.getWriter().print("服务器已经存在session,session的id是:"+sessionId);
10 }
复制代码

5.2、session对象的销毁时机

session对象默认30分钟没有使用,则服务器会自动销毁session,在web.xml文件中可以手工配置session的失效时间,例如:

复制代码
 1 <?xml version="1.0" encoding="UTF-8"?>
 2 <web-app version="2.5" 
 3     xmlns="http://java.sun.com/xml/ns/javaee" 
 4     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
 5     xsi:schemaLocation="http://java.sun.com/xml/ns/javaee 
 6     http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd">
 7   <display-name></display-name>
 8   
 9   <welcome-file-list>
10     <welcome-file>index.jsp</welcome-file>
11   </welcome-file-list>
12 
13   <!-- 设置Session的有效时间:以分钟为单位-->
14     <session-config>
15         <session-timeout>15</session-timeout>
16     </session-config>
17 
18 </web-app>
复制代码

当需要在程序中手动设置Session失效时,可以手工调用session.invalidate方法,摧毁session。

1 HttpSession session = request.getSession();
2 //手工调用session.invalidate方法,摧毁session
3 session.invalidate();

以上转自<http://www.cnblogs.com/xdp-gacl/p/3855702.html>

数据聚合类网站数据来源

数据聚合类网站数据来源

1.有些是开放api(微博) 加层壳
2.有些是公开数据(例如股票数据) 自己转数据库/api

3.有些是服务商未授权的非即时服务(例如停车位 电影信息) 机器去爬数据 转数据库/api
4.有些是服务商未授权的非即时服务(例如违章车辆) 人肉找数据转数据库/api
5.有些是服务商未授权的即时服务(例如快递) 自己转web request成api

6.有些是服务商授权提供中介的即时服务/非即时服务 (例如图灵 360 小冰机器人)

apigee对大部分小用户免费
国内这几家都贵 性价比很低
haoservice.com/apilist/
apistore.baidu.com/
w
ww.juhe.com

国外:
https://apigee.com/providers

有必要的话搞爬虫,调用api,根据自己需求定。

 

vv,pv,uv,ip之间的区别

1.来访次数/访问次数(VV):VV = VisitView(访问次数):记录所有访客1天内访问了多少次你的网站,相同的访客有可能多次访问您的网站。从访客来到您网站到最终关闭网站的所有页面离开,计为1次访问。若访客连续30分钟没有新开和刷新页面,或者访客关闭了浏览器,则被计算为本次访问结束。

2.独立访客(UV):1天内相同访客多次访问网站,只计算为1个独立访客。

3.浏览次数(PV):即通常说的PV(PageView)值,用户每打开1个网站页面,记录1个PV。用户多次打开同一页面PV累计多次。用以衡量网站用户访问的网页数量。

4.ip:1天(00:00-24:00)之内,访问网站的不重复IP数。一天内相同IP地址多次访问网站只被计算1次。同一IP无论访问了几个页面,独立IP数均为1访问次数。

JS获取键盘值

近来工作中用到了过滤键盘key值来实现只能输入数字、字母等操作。方法听起来不难,但是实现起来却碰到了各种各样的问题,比如小键盘数字被禁用了,不能使用delete键,放开了delete键后小数点就不受控制可以输入等等。各种繁杂的问题。

通过网上找资料,没有找到delete键跟小键盘del键冲突和小数点冲突相关的方法,但是找到了在JS下keypress与keydown触发事件不一样的问题,通过使用不同的触发事件完成了这个功能。不过目前还是有部分问题。

参考的文档位置为《http://www.cnblogs.com/silence516/archive/2013/01/25/2876611.html》 和《http://www.cnblogs.com/leolai/archive/2012/08/01/2618386.html》

本人的实现方法随后贴上。

如何在wordpress中实现用户先登录后才能浏览功能

步骤一 添加自定义函数

在当前主题的function.php中添加:

/*判断用户是否登录*/

function liveme_if_login() { if (!is_user_logged_in()) { auth_redirect(); } }

步骤二 调用自定义函数

在当前主题的header.php中添加:

<?php liveme_if_login(); ?>

现在就可以实现用户只有登录后才可以访问站点了。

如果你是想针对其中的某几篇文章或者某个分类的文章,又或者是某个页面添加该功能,也不是很难的事情。举个例子,如果你想对其中某几篇文章进行限制,老外帮我们写了个数组:

function liveme_if_login() { global $post; if (!is_single()) return; $ids = array(188, 185, 171); // array of post IDs that force login to read if (in_array((int)$post-&gt;ID, $ids) &amp;&amp; !is_user_logged_in()) { auth_redirect(); }

array中的那几个数字便是你想要进行限制的文章ID(怎么看文章ID?既可以看数据库,也可以进入该文章的编辑状态,地址栏中的“post=”后面的数字便是该文章的ID);
如你只想对所有的具体文章页面进行限制,而其他的分类页面和首页等不进行限制,那么,你可以这样:

function liveme_if_login() {   if (is_single() &amp;&amp; !is_user_logged_in()) {   auth_redirect(); } }