LinkedHashMap : 记录插入顺序的Map

 - 

今日做一个曲线图,用到map存储数据,开始习惯性的使用了hashmap,结果发现在计算出来结果展现的时候,日期并没有按照预计的顺序排列。比如,统计出来的数据是20150626和20150627两天的,真正在页面上展现的时候,反而是20150626在后面。
经过仔细观察,发现数据对应并没有错,也就是说,是一开始用来存储以天为key值的节点数据的时候顺序是混乱的,在遍历的时候并没有按照存入的顺序进行遍历。

由于日期与数据的列表时分开存储的,计算完成之后再按照日期排序的方法不可取。印象里linkedhashmap和treemap是有顺序的,从网上找资料确认一下,发现,linkedhashmap是可以保留存入的元素的顺序的,遍历的时候是按照存入的顺序遍历,这个符合我的要求。treemap是有个顺序,不过是默认按照key值进行排序,而非存储时候的顺序。但由于我在获取数据列表的时候已经按照时间排序,不需要再次进行排序,因此没有选择用treemap。

LinkedHashMap的实现整理如下:

参考文档地址《http://www.cnblogs.com/children/archive/2012/10/02/2710624.html》

1. LinkedHashMap概述:

LinkedHashMap是HashMap的一个子类,它保留插入的顺序,如果需要输出的顺序和输入时的相同,那么就选用LinkedHashMap。

LinkedHashMap是Map接口的哈希表和链接列表实现,具有可预知的迭代顺序。此实现提供所有可选的映射操作,并允许使用null值和null键。此类不保证映射的顺序,特别是它不保证该顺序恒久不变
LinkedHashMap实现与HashMap的不同之处在于,后者维护着一个运行于所有条目的双重链接列表。此链接列表定义了迭代顺序,该迭代顺序可以是插入顺序或者是访问顺序。
注意,此实现不是同步的。如果多个线程同时访问链接的哈希映射,而其中至少一个线程从结构上修改了该映射,则它必须保持外部同步。

 

根据链表中元素的顺序可以分为:按插入顺序的链表,和按访问顺序(调用get方法)的链表。

默认是按插入顺序排序,如果指定按访问顺序排序,那么调用get方法后,会将这次访问的元素移至链表尾部,不断访问可以形成按访问顺序排序的链表。  可以重写removeEldestEntry方法返回true值指定插入元素时移除最老的元素。

 

2. LinkedHashMap的实现:

对于LinkedHashMap而言,它继承与HashMap、底层使用哈希表与双向链表来保存所有元素。其基本操作与父类HashMap相似,它通过重写父类相关的方法,来实现自己的链接列表特性。下面我们来分析LinkedHashMap的源代码:

类结构:

  1. public class LinkedHashMap<K, V> extends HashMap<K, V> implements Map<K, V>

 

1) 成员变量:

LinkedHashMap采用的hash算法和HashMap相同,但是它重新定义了数组中保存的元素Entry,该Entry除了保存当前对象的引用外,还保存了其上一个元素before和下一个元素after的引用,从而在哈希表的基础上又构成了双向链接列表。看源代码:

 

  1. //true表示按照访问顺序迭代,false时表示按照插入顺序
  2.  private final boolean accessOrder;
  1. /**
  2.  * 双向链表的表头元素。
  3.  */
  4. private transient Entry<K,V> header;
  5. /**
  6.  * LinkedHashMap的Entry元素。
  7.  * 继承HashMap的Entry元素,又保存了其上一个元素before和下一个元素after的引用。
  8.  */
  9. private static class Entry<K,V> extends HashMap.Entry<K,V> {
  10.     Entry<K,V> before, after;
  11.     ……
  12. }

HashMap.Entry:

  1. static class Entry<K,V> implements Map.Entry<K,V> {
  2.         final K key;
  3.         V value;
  4.         Entry<K,V> next;
  5.         final int hash;
  6.         Entry(int h, K k, V v, Entry<K,V> n) {
  7.             value = v;
  8.             next = n;
  9.             key = k;
  10.             hash = h;
  11.         }
  12. }

 

2) 初始化:

通过源代码可以看出,在LinkedHashMap的构造方法中,实际调用了父类HashMap的相关构造方法来构造一个底层存放的table数组。如:

  1. public LinkedHashMap(int initialCapacity, float loadFactor) {
  2.     super(initialCapacity, loadFactor);
  3.     accessOrder = false;
  4. }

HashMap中的相关构造方法:

  1. public HashMap(int initialCapacity, float loadFactor) {
  2.     if (initialCapacity < 0)
  3.         throw new IllegalArgumentException(“Illegal initial capacity: “ +
  4.                                            initialCapacity);
  5.     if (initialCapacity > MAXIMUM_CAPACITY)
  6.         initialCapacity = MAXIMUM_CAPACITY;
  7.     if (loadFactor <= 0 || Float.isNaN(loadFactor))
  8.         throw new IllegalArgumentException(“Illegal load factor: “ +
  9.                                            loadFactor);
  10.     // Find a power of 2 >= initialCapacity
  11.     int capacity = 1;
  12.     while (capacity < initialCapacity)
  13.         capacity <<= 1;
  14.     this.loadFactor = loadFactor;
  15.     threshold = (int)(capacity * loadFactor);
  16.     table = new Entry[capacity];
  17.     init();
  18. }

我们已经知道LinkedHashMap的Entry元素继承HashMap的Entry,提供了双向链表的功能。在上述HashMap的构造器中,最后会调用init()方法,进行相关的初始化,这个方法在HashMap的实现中并无意义,只是提供给子类实现相关的初始化调用。
LinkedHashMap重写了init()方法,在调用父类的构造方法完成构造后,进一步实现了对其元素Entry的初始化操作。

  1. void init() {
  2.     header = new Entry<K,V>(-1nullnullnull);
  3.     header.before = header.after = header;
  4. }

3) 存储:

LinkedHashMap并未重写父类HashMap的put方法,而是重写了父类HashMap的put方法调用的子方法void recordAccess(HashMap m)   ,void addEntry(int hash, K key, V value, int bucketIndex) 和void createEntry(int hash, K key, V value, int bucketIndex),提供了自己特有的双向链接列表的实现。

HashMap.put:

 

  1. public V put(K key, V value) {
  2.         if (key == null)
  3.             return putForNullKey(value);
  4.         int hash = hash(key.hashCode());
  5.         int i = indexFor(hash, table.length);
  6.         for (Entry<K,V> e = table[i]; e != null; e = e.next) {
  7.             Object k;
  8.             if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
  9.                 V oldValue = e.value;
  10.                 e.value = value;
  11.                 e.recordAccess(this);
  12.                 return oldValue;
  13.             }
  14.         }
  15.         modCount++;
  16.         addEntry(hash, key, value, i);
  17.         return null;
  18.     }

重写方法:

  1. void recordAccess(HashMap<K,V> m) {
  2.             LinkedHashMap<K,V> lm = (LinkedHashMap<K,V>)m;
  3.             if (lm.accessOrder) {
  4.                 lm.modCount++;
  5.                 remove();
  6.                 addBefore(lm.header);
  7.             }
  8.         }

 

  1. void addEntry(int hash, K key, V value, int bucketIndex) {
  2.     // 调用create方法,将新元素以双向链表的的形式加入到映射中。
  3.     createEntry(hash, key, value, bucketIndex);
  4.     // 删除最近最少使用元素的策略定义
  5.     Entry<K,V> eldest = header.after;
  6.     if (removeEldestEntry(eldest)) {
  7.         removeEntryForKey(eldest.key);
  8.     } else {
  9.         if (size >= threshold)
  10.             resize(2 * table.length);
  11.     }
  12. }
  1. void createEntry(int hash, K key, V value, int bucketIndex) {
  2.     HashMap.Entry<K,V> old = table[bucketIndex];
  3.     Entry<K,V> e = new Entry<K,V>(hash, key, value, old);
  4.     table[bucketIndex] = e;
  5.     // 调用元素的addBrefore方法,将元素加入到哈希、双向链接列表。
  6.     e.addBefore(header);
  7.     size++;
  8. }
  1. private void addBefore(Entry<K,V> existingEntry) {
  2.     after  = existingEntry;
  3.     before = existingEntry.before;
  4.     before.after = this;
  5.     after.before = this;
  6. }

 

4) 读取:

LinkedHashMap重写了父类HashMap的get方法,实际在调用父类getEntry()方法取得查找的元素后,再判断当排序模式accessOrder为true时,记录访问顺序,将最新访问的元素添加到双向链表的表头,并从原来的位置删除。由于的链表的增加、删除操作是常量级的,故并不会带来性能的损失。

HashMap.containsValue:

  1. public boolean containsValue(Object value) {
  2.     if (value == null)
  3.             return containsNullValue();
  4.     Entry[] tab = table;
  5.         for (int i = 0; i < tab.length ; i++)
  6.             for (Entry e = tab[i] ; e != null ; e = e.next)
  7.                 if (value.equals(e.value))
  8.                     return true;
  9.     return false;
  10.     }

 

  1.  /*查找Map中是否包含给定的value,还是考虑到,LinkedHashMap拥有的双链表,在这里Override是为了提高迭代的效率。
  2.  */
  3. public boolean containsValue(Object value) {
  4.         // Overridden to take advantage of faster iterator
  5.         if (value==null) {
  6.             for (Entry e = header.after; e != header; e = e.after)
  7.                 if (e.value==null)
  8.                     return true;
  9.         } else {
  10.             for (Entry e = header.after; e != header; e = e.after)
  11.                 if (value.equals(e.value))
  12.                     return true;
  13.         }
  14.         return false;
  15.     }

 

 

  1. /*该transfer()是HashMap中的实现:遍历整个表的各个桶位,然后对桶进行遍历得到每一个Entry,重新hash到newTable中,
  2.  //放在这里是为了和下面LinkedHashMap重写该法的比较,
  3.  void transfer(Entry[] newTable) {
  4.         Entry[] src = table;
  5.         int newCapacity = newTable.length;
  6.         for (int j = 0; j < src.length; j++) {
  7.             Entry<K,V> e = src[j];
  8.             if (e != null) {
  9.                 src[j] = null;
  10.                 do {
  11.                     Entry<K,V> next = e.next;
  12.                     int i = indexFor(e.hash, newCapacity);
  13.                     e.next = newTable[i];
  14.                     newTable[i] = e;
  15.                     e = next;
  16.                 } while (e != null);
  17.             }
  18.         }
  19.     }
  20.  */
  21.  /**
  22.  *transfer()方法是其父类HashMap调用resize()的时候调用的方法,它的作用是表扩容后,把旧表中的key重新hash到新的表中。
  23.  *这里从写了父类HashMap中的该方法,是因为考虑到,LinkedHashMap拥有的双链表,在这里Override是为了提高迭代的效率。
  24.  */
  25.  void transfer(HashMap.Entry[] newTable) {
  26.    int newCapacity = newTable.length;
  27.    for (Entry<K, V> e = header.after; e != header; e = e.after) {
  28.      int index = indexFor(e.hash, newCapacity);
  29.      e.next = newTable[index];
  30.      newTable[index] = e;
  31.    }
  32.  }

 

  1. public V get(Object key) {
  2.     // 调用父类HashMap的getEntry()方法,取得要查找的元素。
  3.     Entry<K,V> e = (Entry<K,V>)getEntry(key);
  4.     if (e == null)
  5.         return null;
  6.     // 记录访问顺序。
  7.     e.recordAccess(this);
  8.     return e.value;
  9. }
  1. void recordAccess(HashMap<K,V> m) {
  2.     LinkedHashMap<K,V> lm = (LinkedHashMap<K,V>)m;
  3.     // 如果定义了LinkedHashMap的迭代顺序为访问顺序,
  4.     // 则删除以前位置上的元素,并将最新访问的元素添加到链表表头。
  5.     if (lm.accessOrder) {
  6.         lm.modCount++;
  7.         remove();
  8.         addBefore(lm.header);
  9.     }
  10. }

 

  1. /**
  2.          * Removes this entry from the linked list.
  3.          */
  4.         private void remove() {
  5.             before.after = after;
  6.             after.before = before;
  7.         }

 

 

  1. /**clear链表,设置header为初始状态*/
  2. public void clear() {
  3.  super.clear();
  4.  header.before = header.after = header;
  5. }

 

 

5) 排序模式:

LinkedHashMap定义了排序模式accessOrder,该属性为boolean型变量,对于访问顺序,为true;对于插入顺序,则为false。

  1. private final boolean accessOrder;

一般情况下,不必指定排序模式,其迭代顺序即为默认为插入顺序。看LinkedHashMap的构造方法,如:

  1. public LinkedHashMap(int initialCapacity, float loadFactor) {
  2.     super(initialCapacity, loadFactor);
  3.     accessOrder = false;
  4. }

这些构造方法都会默认指定排序模式为插入顺序。如果你想构造一个LinkedHashMap,并打算按从近期访问最少到近期访问最多的顺序(即访问顺序)来保存元素,那么请使用下面的构造方法构造LinkedHashMap:

  1. public LinkedHashMap(int initialCapacity,
  2.          float loadFactor,
  3.                      boolean accessOrder) {
  4.     super(initialCapacity, loadFactor);
  5.     this.accessOrder = accessOrder;
  6. }

该哈希映射的迭代顺序就是最后访问其条目的顺序,这种映射很适合构建LRU缓存。LinkedHashMap提供了removeEldestEntry(Map.Entry<K,V> eldest)方法。该方法可以提供在每次添加新条目时移除最旧条目的实现程序,默认返回false,这样,此映射的行为将类似于正常映射,即永远不能移除最旧的元素。

 

当有新元素加入Map的时候会调用Entry的addEntry方法,会调用removeEldestEntry方法,这里就是实现LRU元素过期机制的地方,默认的情况下removeEldestEntry方法只返回false表示元素永远不过期。

  1.   /**
  2.     * This override alters behavior of superclass put method. It causes newly
  3.     * allocated entry to get inserted at the end of the linked list and
  4.     * removes the eldest entry if appropriate.
  5.     */
  6.    void addEntry(int hash, K key, V value, int bucketIndex) {
  7.        createEntry(hash, key, value, bucketIndex);
  8.        // Remove eldest entry if instructed, else grow capacity if appropriate
  9.        Entry<K,V> eldest = header.after;
  10.        if (removeEldestEntry(eldest)) {
  11.            removeEntryForKey(eldest.key);
  12.        } else {
  13.            if (size >= threshold)
  14.                resize(2 * table.length);
  15.        }
  16.    }
  17.    /**
  18.     * This override differs from addEntry in that it doesn’t resize the
  19.     * table or remove the eldest entry.
  20.     */
  21.    void createEntry(int hash, K key, V value, int bucketIndex) {
  22.        HashMap.Entry<K,V> old = table[bucketIndex];
  23. Entry<K,V> e = new Entry<K,V>(hash, key, value, old);
  24.        table[bucketIndex] = e;
  25.        e.addBefore(header);
  26.        size++;
  27.    }
  28.    protected boolean removeEldestEntry(Map.Entry<K,V> eldest) {
  29.        return false;
  30.    }

此方法通常不以任何方式修改映射,相反允许映射在其返回值的指引下进行自我修改。如果用此映射构建LRU缓存,则非常方便,它允许映射通过删除旧条目来减少内存损耗。

例如:重写此方法,维持此映射只保存100个条目的稳定状态,在每次添加新条目时删除最旧的条目。

  1. private static final int MAX_ENTRIES = 100;
  2. protected boolean removeEldestEntry(Map.Entry eldest) {
  3.     return size() > MAX_ENTRIES;
  4. }

来源:http://zhangshixi.iteye.com/blog/673789

参考:http://hi.baidu.com/yao1111yao/blog/item/3043e2f5657191f07709d7bb.html

部分修改。

 

 

使用LinkedHashMap构建LRU的Cache

http://tomyz0223.iteye.com/blog/1035686

基于LinkedHashMap实现LRU缓存调度算法原理及应用

http://woming66.iteye.com/blog/1284326

 

 

其实LinkedHashMap几乎和HashMap一样,不同的是它定义了一个Entry<K,V> header,这个header不是放在Table里,它是额外独立出来的。LinkedHashMap通过继承hashMap中的Entry<K,V>,并添加两个属性Entry<K,V>  before,after,和header结合起来组成一个双向链表,来实现按插入顺序或访问顺序排序。

In 技术

图形化压力测试工具Jmeter

 - 

Jmeter是一款强大的图形界面压力测试工具,完全用Java写成,关于Jmeter的介绍,网上其实有不少的文章,我原本是不想再重复写类似文章的,但我发现有些很关键性的,在我们测试中一定会用到的一些设置或操作很少见到有文章写清楚的,比如有这样的一个常见问题:如何对一个网站的多个链接进行压力测试?因为通常情况下,我们要测试的不是一个链接,假如我们测试的是某一网站的话,而这些链接我们通常都是写入到一个文本文件中,测试的过程中,会随机读取文件中的链接进行压力测试,我们所熟知的一些压力测试工具,例如Siege就可以这样干。

在我使用Jmeter的过程中,我发现我周围有之前使用过Jmeter的同事,但即使如此,他们对如何将多个链接写入到文本文件中并随机读取进行压力测试也不清楚,故我打算还是在有空的时候写一篇这样的文章,以方便使用者。

一、 官方网址

http://jakarta.apache.org/jmeter/

二、 运行

下载解压后,在目录jakarta-jmeter-2.4\bin下可以见到一个jmeter.bat文件,双击此文件,打开初始界面如下图:

Jmeter:图形界面压力测试工具

注意的是上面显示的是中文,如果你想使用其他语言,比如英文,那么通过菜单选项->选择语言->英文即可,当然转为中文也是同样操作。

三、 运行预准备

我们现在要对子猴博客来进行一番压力测试,压力测试对象为随机的几个网页链接,这几个链接是写在一个文本文件中的,在压力测试的时候会随机读取。

1、  建立一个线程组,如下图

Jmeter:图形界面压力测试工具

为什么要建立线程组?原因很简单,因为我们要模拟多个线程(用户)来访问网站。

线程组创建界面如下图:

名称可以随意填写,默认选中“继续”即可。

线程属性部分中,线程数是启动多少个线程,我这里填写的是60,Ramp-Up Period (in seconds)表示线程之间间隔多少时间允许,单位是秒,比如如果填写120,那么120/60=2表示60个线程间每隔2秒钟请求网站。

循环次数:60个线程运行完毕算是一次,循环次数就是这样的一个请求过程运行多少次,我这里填写的是1000.

每次修改一个设置后,别忘记了保存一下。

2、  设置请求服务器、压力链接等信息

接下来很自然的是,我们要测试的网站地址是什么?链接是什么?所以现在我们就来设置这些信息。

右键点击我们刚创建的线程组,在弹出的菜单中,选择添加->Sampler->Http请求,弹出如下图界面:

Jmeter:图形界面压力测试工具

名称:随意填写

注释:可有可无

服务器名称或IP:我这里填写 zihou.me

端口号:我这里填写80

Timesout部分可以不填

HTTP请求部分的协议:http,方法我选择的是GET,Content encoding我填的是UTF-8.

路径:

这里值得一提的就是这个路径,假如你只是对一个链接进行压力测试,那么这里就非常简单了,你就直接填写一个链接就够了,比如http://www.zihou.me,但很多情况下都不是这样的,我们这里需要多个链接,就如同刚开始讲到的那样,我们要将多个链接保存到一个文本文件中,然后随机读取进行压力测试。我们可以这么干,如图:

Jmeter:图形界面压力测试工具

Jmeter:图形界面压力测试工具

在选择一个功能下拉列表中选择_StringFromFile,然后在本机新建一个测试文件text.txt,在第一行(你也可以不在第一行)的值中填写测试文件的路径,如下图:

Jmeter:图形界面压力测试工具

然后点击“生成”按钮,在生成按钮的左边文本框中将生成一个字符串如:

${__StringFromFile(E:\test\test.txt,,,)}

在测试文件中,我们每行写一个URL链接,如下格式:

2011/03/26/3054

2011/03/26/3052

2011/03/26/3042

2011/03/25/3040

2011/03/25/3034

2011/03/24/3027

注意,每行前面并没有http://www.zihou.me这样的信息,因为我们在前面已经填写了服务器地址为zihou.me,这里就没必要再为每个url填写这个相同前缀了;另外,上面的url格式也只是个例子,表示域名后的部分,但很多时候url后面跟的都是各参数,比如http://www.zihou.me/p?a=1&b=3,如果是这种情况,则上面的链接可以写为:

a=1&b=3这样的形式。

现在我们可以来填写前面所说的路径了,如下:

/ ${__StringFromFile(E:\test\test.txt,,,)}

这样一来,当我们并非请求的时候,就会从test.txt中随机选择url来进行压力测试。

另外值得注意的一个地方是,如果参数中有中文的情况,运行的时候可能会出现乱码,这个时候就需要注意你在Jmeter中的编码设置与你要请求的网页编码是一致的。

路径文本框下面的选项,可以按默认的就成,Use multipart/form-data for HTTP POST是当请求中有附件的情况,一般情况下都不用选中的。

同请求一起发送参数部分:

如果你仅仅是对某一个固定的页面进行压力测试,那你就可以不用进行上面所说的在文本文件中设置URL的过程了,直接在这里设置就行了,这里的名称就是参数名,值就是参数值,在这里添加就OK了,但你如果是压力多个链接,那这里你可以不用填。

3、查看运行结果

上面设置好后,接下来很自然的想到如何查看运行结果呢?Jmeter在这方面提供了好些个查看方式,有表格形式,有曲线形式等等,我个人认为查看表格形式就足够了!

鼠标右键点击线程组,在弹出的菜单中选择添加->监听器->用表格查询结果,如下图:

Jmeter:图形界面压力测试工具

Jmeter:图形界面压力测试工具

当然,你也可以选择其他查看方式,你也可以看到在监听器菜单中,有好多种方式。

四、 运行

好了,现在我们终于可以运行了!

选择菜单项运行->启动,如下图:

Jmeter:图形界面压力测试工具

当然,在运行前,你得把所有修改都保存了。

运行后的结果表格如下:

Jmeter:图形界面压力测试工具

各属性如下:

Sample:每个请求的序号

Start Time:每个请求开始时间

Thread Name:每个线程的名称

Label:Http请求名称

Sample Time:每个请求所花时间,单位毫秒

Status:请求状态,如果为勾则表示成功,如果为叉表示失败。

Bytes:请求的字节数

如果Status为叉,那很显然请求是失败了,但如果是勾,也并不能认为请求就一定完全成功了,因为还得看Bytes的字节数是否是所请求网页的正常大小值,如果不是则说明发生了丢包现象,也不是完全成功。

在下面还有几个参数

样本数目:也就是上面所说的请求个数,成功的情况下等于你设定的并发数目乘以循环次数。

平均:每个线程请求的平均时间

最新样本:表示服务器响应最后一个请求的时间

偏离:服务器响应时间变化、离散程度测量值的大小,或者,换句话说,就是数据的分布(这个我不是很理解)。

在上面的参数中,我个人认为只要看Status和Bytes这两个就够了。

好了,主要的就介绍这么多了,其实Jmeter做压力测试的范围远远不止于对Web,它还可以用于Java小服务程序、CGI 脚本、Java 对象、数据库, FTP 服务器等等,更多的使用可以根据自己的需要去研究掌握。

最后还提到的一点是:你一定注意到了,HTTP请求和结果查看都是在线程组这一节点下创建的,其实,你也可以不用一定要在线程组下创建,你在测试计划下建立也可以,但创建在线程组下面可以使得我们的测试意图一目了然,也就是我们的HTTP请求和结果查看都是基于我们设定的线程组的。

转自链接《http://blog.sina.com.cn/s/blog_62192aed0101jdgi.html》

参考链接 Jmeter配置:《http://blog.sina.com.cn/s/blog_62192aed0101jdhb.html》

In 技术

后端开发书架

 - 

<!– 以下部分转载 –>

自从技术书的书架设定为”床底下“之后,又多了很多买书的空间。中国什么都贵,就是书便宜。

不定期更新,在碎片化的阅读下难免错评。

书架主要针对Java后端开发,书单更偏爱那些能用简短流畅的话,把少壮不努力的程序员所需的基础补回来的薄书,而有些教课书可能很著名,但干涩枯燥,喋喋不休的把你带回到大学课堂上昏昏欲睡。

 

1. 操作系统与网络的书

《Linux内核设计与实现 – Linux Kernel Development》
Robert Love用最薄的篇幅,顺畅的文字将Linux内核主要的算法讲清楚了,比《深入理解Linux内核》《深入Linux内核架构》之类厚厚的全是代码的书强到不知哪里去,不是专门的内核程序员看这本足够了。

《Linux系统编程 – Linux System Programming》
继续是Robert Love,也是以薄见长,专门针对最重要的系统调用讲解,却甚至比APUE更详细。

《TCP/IP详解 卷1:协议 – TCP/IP Illustrated, Volume 1: The Protocols》
这么多年过去了,TCP的书好像还是只有这一本,有点旧了,看了也还是半懂不懂。后人在2011年写了第二版,看起来也清晰明了与时俱进了很多,机械工业正在翻译,英文好的建议直接看第二版。

《现代操作系统 – Modern Operating Systems》
如果看LKD未尽兴,可以回头看看这本基础概念,感觉比那本枯燥的《操作系统概念》(恐龙书)读起来舒服。

《深入理解计算机系统 – Computer Systems A Programmer’s perspective》
CSAPP,从巧妙的把程序设计及优化、数字电路基础、指令集体系、汇编语言、存储器体系结构等等这一摊来自各不同的学科的核心知识点搅和在一起,并以程序员的视角呈现,正确的直译书名是《程序员所需要了解的计算机知识》。
PS. 《UNIX环境高级编程》,APUE更多作为一本超厚工具书存在。《Unix 编程艺术》,扯的都是闲篇,厚厚的一本其实略读一下或看些精华笔记就行。

 

2. 算法的书

《数据结构与算法分析-Java语言描述》
够薄,数据结构与算法分析的点基本都涵盖了,而且示例代码还是Java写的。

《算法》
可与上一本对比着读,厚一些,也多些图,但知识点没上面的全,也是Java的。

《算法设计与分析基础》
数学系偏爱无比枯燥很多公式的《算法导论》,计算机系喜欢这本实用主义的典型。翻开就看到一段很文艺很贴心的话:“效率能用数学的严密性进行精确定义,而简单性就像“美”一样,很大程度取决于审视者的眼光。简单的算法更容易理解和实现,因而相应的程序也往往更少的Bug。当然对于简单性的美学诉求也是让人无法抗拒的。”
PS. 《数学之美》《编程珠玑》,都是专栏文章,讲得并不系统,可以当兴趣读物来看。

3. Java的书

《写给大忙人看的Java SE 8》
事实上,为了保持兼容性,很多项目都保持在JDK5/6上,这本书一次过将JDK7/JDK8的更新讲了,是本快捷的升级指南。

《Java并发编程实战》
人手一本不用多说了。

《深入理解 Java 虚拟机 第2版》
深入理解虚拟机并不是那么难,Java程序员都该看看,很多知识其实是必须的。
PS. 《Effective Java》外界一致推崇,但有点太过誉了。另外《Thinking in Java》有点旧了,新程序员得同时看两卷《Core Java》

 

4. 架构设计的书

《程序员必读之软件架构 – Software Architecture for Developers》

codingthearchitecture.com Simon Brown的书,不过叫“必读”有点过。这本书大概分两部分:
1. 编码的架构师:一直是我的职业模板,我记的笔记
2. 架构表达的文档模板: 当年我觉得RUP的基于4+1视图的机械架构文档模板不足以表达系统时,Simon Brown的模板给了很好的过渡范例。

《恰如其分的软件架构 – Just Enough Software Architecture: A Risk-Driven Approach》
由于人类与生俱来的惰性,计算机原本科学的、精准的设计方式,有了敏捷的借口之后就很难再维持了。本书就是在这种背景下,提出由风险来决定设计流程的度,当然,这个风险是广义的。

《发布!软件的设计与部署 – Release It!: Design and Deploy Production-Ready Software 》
关于高可靠性的软件,学校里不会教,出来社会却要面对的那部分,英文的原标题更清晰。

《大型网站技术架构:核心原理与案例分析》
淘宝出品,大型互联网站的科普入门书。

《大规模分布式存储系统》
继续淘宝出品,分布式文件系统与数据库的科普入门书。

《大数据日知录》
前几年参加各种技术会议,CAP,最终一致性,RWN,向量时钟,Paxos,一致性哈希,Gossip什么的能灌你一耳朵。而现在,你只要在家安安静静的看书就够了。不过这个领域发展太快,期望它可以持续出新版。
PS. 关于设计模式,我以前曾经有过很多很多本,GOF23啦,企业应用架构模式啦,EIP啦, POSA 5卷本啦,反模式啦,JavaEE/SOA/Restful的模式啦,但现在觉得对新人来说,一本Java写的《Head First 设计模式》,知道什么叫设计模式就够了。

 

5. 具体技术的书

《Redis设计与实现分析》
用Redis的工程师桌面必备吧,不用再多说了。

《从Paxos到Zookeeper》
Zookeeper的书,淘宝出品。

《Mastering Apache Cassandra 2nd》
2015年新出,当然来不及翻译,感觉Cassandra的书里相对最好的。

《Storm源码分析》
作为工具书在手边备一本,快速看一遍在文档之外多了解一些实现,毕竟那Clojure语言就不是给普通人看的。

《Storm分布式实时计算模式》
大概讲了下Storm如何结合其他开源项目实现一些场景,可以开拓眼界,但不直接指导我的项目的开发。
–在所有Storm书里,上面两本暂时是最推荐买的。

《Spark大数据处理技术》
在Spark的书里左挑右挑选了这本,不过是典型的多人合著的书。

 

6. 程序员的自我修养

PS. 最近没买什么新书,随便说点旧书:

《程序员修炼之道-从小工到专家》,Pragmatic Programmer-注重实效的程序员开山之作,翻译的马达维文笔也和熊节一样好。

《代码整洁之道》《程序员的职业素养》,英文名是很相近的《Clean Code》和 《Clean Coder》,应该接替《代码大全2-Code Complete2》成为必看的系列,因为后者太厚了,而且也有不少过时的东西,要自己去过滤。

《重构》很厚,但最有价值就是前面几章的洗脑篇,具体实作不如薄薄的《重构手册》

关于敏捷的书,最开始的那本《解析极限编程–拥抱变化》就很好,再随便找本Scrum的流程看看就够了,《敏捷开发的艺术》也不错。

《布道之道 – Driving Technical Change:Why People on Your Team Don’t Act on Good Ideas,and How to Convince Them They Should》,经常在组织里推行新技术的同学可以看下,七种怀疑论者模式,脑海中一幅幅熟悉的面孔。

《软件架构师的12项修炼》,架构师的软技能。
欢迎大家在评论里补充。
文章持续修订,转载请保留原链接: http://calvin1978.blogcn.com/articles/bookshelf.html

<!–  转载结束 –>

不能用evernote,这里继续记录自己要写的东西。

首先,自己明确一下,当前使用的后端是Java,那么必须在Java上有比较深入的研究后面才比较好发展。

感觉要提升的还是有很多。首先就是先搞定Java基础吧。根据上面说的和自己的当前状况,以及所有的资源,总结自己接下来要学习的东西:

Java相关:
《写给大忙人看的Java SE 8》《Java并发编程实战》《深入理解 Java 虚拟机 第2版》《Thinking in Java》,两卷《Core Java》

《程序员修炼之道-从小工到专家》,Pragmatic Programmer-注重实效的程序员开山之作,翻译的马达维文笔也和熊节一样好。看这个介绍,感觉是我现在比较需要的。从二手市场上估计不太好找,这个准备买新的了。

目前就这些。

In 技术

Javaweb-session

 - 

一、Session简单介绍

在WEB开发中,服务器可以为每个用户浏览器创建一个会话对象(session对象),注意:一个浏览器独占一个session对象(默认情况下)。因此,在需要保存用户数据时,服务器程序可以把用户数据写到用户浏览器独占的session中,当用户使用浏览器访问其它程序时,其它程序可以从用户的session中取出该用户的数据,为用户服务。

二、Session和Cookie的主要区别

  • Cookie是把用户的数据写给用户的浏览器。
  • Session技术把用户的数据写到用户独占的session中。
  • Session对象由服务器创建,开发人员可以调用request对象的getSession方法得到session对象。

三、session实现原理

3.1、服务器是如何实现一个session为一个用户浏览器服务的?

服务器创建session出来后,会把session的id号,以cookie的形式回写给客户机,这样,只要客户机的浏览器不关,再去访问服务器时,都会带着session的id号去,服务器发现客户机浏览器带session id过来了,就会使用内存中与之对应的session为之服务。可以用如下的代码证明:

复制代码
 1 package xdp.gacl.session;
 2 
 3 import java.io.IOException;
 4 import javax.servlet.ServletException;
 5 import javax.servlet.http.HttpServlet;
 6 import javax.servlet.http.HttpServletRequest;
 7 import javax.servlet.http.HttpServletResponse;
 8 import javax.servlet.http.HttpSession;
 9 
10 public class SessionDemo1 extends HttpServlet {
11 
12     public void doGet(HttpServletRequest request, HttpServletResponse response)
13             throws ServletException, IOException {
14 
15         response.setCharacterEncoding("UTF=8");
16         response.setContentType("text/html;charset=UTF-8");
17         //使用request对象的getSession()获取session,如果session不存在则创建一个
18         HttpSession session = request.getSession();
19         //将数据存储到session中
20         session.setAttribute("data", "孤傲苍狼");
21         //获取session的Id
22         String sessionId = session.getId();
23         //判断session是不是新创建的
24         if (session.isNew()) {
25             response.getWriter().print("session创建成功,session的id是:"+sessionId);
26         }else {
27             response.getWriter().print("服务器已经存在该session了,session的id是:"+sessionId);
28         }
29     }
30 
31     public void doPost(HttpServletRequest request, HttpServletResponse response)
32             throws ServletException, IOException {
33         doGet(request, response);
34     }
35 }
复制代码

第一次访问时,服务器会创建一个新的sesion,并且把session的Id以cookie的形式发送给客户端浏览器,如下图所示:

点击刷新按钮,再次请求服务器,此时就可以看到浏览器再请求服务器时,会把存储到cookie中的session的Id一起传递到服务器端了,如下图所示:

猜想request.getSession()方法内部新创建了Session之后一定是做了如下的处理

复制代码
1 //获取session的Id
2 String sessionId = session.getId();
3 //将session的Id存储到名字为JSESSIONID的cookie中
4 Cookie cookie = new Cookie("JSESSIONID", sessionId);
5 //设置cookie的有效路径
6 cookie.setPath(request.getContextPath());
7 response.addCookie(cookie);
复制代码

四、浏览器禁用Cookie后的session处理

4.1、IE8禁用cookie

  工具->internet选项->隐私->设置->将滑轴拉到最顶上(阻止所有cookies)

4.2、解决方案:URL重写

response.encodeRedirectURL(java.lang.String url) 用于对sendRedirect方法后的url地址进行重写。
response.encodeURL(java.lang.String url)用于对表单action和超链接的url地址进行重写

4.3、范例:禁用Cookie后servlet共享Session中的数据

IndexServlet

复制代码
 1 package xdp.gacl.session;
 2 
 3 import java.io.IOException;
 4 import java.io.PrintWriter;
 5 import java.util.LinkedHashMap;
 6 import java.util.Map;
 7 import java.util.Set;
 8 import javax.servlet.ServletException;
 9 import javax.servlet.http.HttpServlet;
10 import javax.servlet.http.HttpServletRequest;
11 import javax.servlet.http.HttpServletResponse;
12 
13 //首页:列出所有书
14 public class IndexServlet extends HttpServlet {
15 
16     public void doGet(HttpServletRequest request, HttpServletResponse response)
17             throws ServletException, IOException {
18 
19         response.setContentType("text/html;charset=UTF-8");
20         PrintWriter out = response.getWriter();
21         //创建Session
22         request.getSession();
23         out.write("本网站有如下书:<br/>");
24         Set<Map.Entry<String,Book>> set = DB.getAll().entrySet();
25         for(Map.Entry<String,Book> me : set){
26             Book book = me.getValue();
27             String url =request.getContextPath()+ "/servlet/BuyServlet?id=" + book.getId();
28             //response. encodeURL(java.lang.String url)用于对表单action和超链接的url地址进行重写
29             url = response.encodeURL(url);//将超链接的url地址进行重写
30             out.println(book.getName()  + "   <a href='"+url+"'>购买</a><br/>");
31         }
32     }
33 
34     public void doPost(HttpServletRequest request, HttpServletResponse response)
35             throws ServletException, IOException {
36         doGet(request, response);
37     }
38 }
39 
40 
41 /**
42  * @author gacl
43  * 模拟数据库
44  */
45 class DB{
46     private static Map<String,Book> map = new LinkedHashMap<String,Book>();
47     static{
48         map.put("1", new Book("1","javaweb开发"));
49         map.put("2", new Book("2","spring开发"));
50         map.put("3", new Book("3","hibernate开发"));
51         map.put("4", new Book("4","struts开发"));
52         map.put("5", new Book("5","ajax开发"));
53     }
54     
55     public static Map<String,Book> getAll(){
56         return map;
57     }
58 }
59 
60 class Book{
61     
62     private String id;
63     private String name;
64 
65     public Book() {
66         super();
67     }
68     public Book(String id, String name) {
69         super();
70         this.id = id;
71         this.name = name;
72     }
73     public String getId() {
74         return id;
75     }
76     public void setId(String id) {
77         this.id = id;
78     }
79     public String getName() {
80         return name;
81     }
82     public void setName(String name) {
83         this.name = name;
84     }
85 }
复制代码

BuyServlet

复制代码
 1 package xdp.gacl.session;
 2 
 3 import java.io.IOException;
 4 import java.util.ArrayList;
 5 import java.util.List;
 6 import javax.servlet.ServletException;
 7 import javax.servlet.http.HttpServlet;
 8 import javax.servlet.http.HttpServletRequest;
 9 import javax.servlet.http.HttpServletResponse;
10 import javax.servlet.http.HttpSession;
11 
12 public class BuyServlet extends HttpServlet {
13 
14     public void doGet(HttpServletRequest request, HttpServletResponse response)
15             throws ServletException, IOException {
16         String id = request.getParameter("id");
17         Book book = DB.getAll().get(id);  //得到用户想买的书
18         HttpSession session = request.getSession();
19         List<Book> list = (List) session.getAttribute("list");  //得到用户用于保存所有书的容器
20         if(list==null){
21             list = new ArrayList<Book>();
22             session.setAttribute("list", list);
23         }
24         list.add(book);
25         //response. encodeRedirectURL(java.lang.String url)用于对sendRedirect方法后的url地址进行重写
26         String url = response.encodeRedirectURL(request.getContextPath()+"/servlet/ListCartServlet");
27         System.out.println(url);
28         response.sendRedirect(url);
29     }
30 
31     public void doPost(HttpServletRequest request, HttpServletResponse response)
32             throws ServletException, IOException {
33         doGet(request, response);
34     }
35 
36 }
复制代码

ListCartServlet

复制代码
 1 package xdp.gacl.session;
 2 
 3 import java.io.IOException;
 4 import java.io.PrintWriter;
 5 import java.util.List;
 6 import javax.servlet.ServletException;
 7 import javax.servlet.http.HttpServlet;
 8 import javax.servlet.http.HttpServletRequest;
 9 import javax.servlet.http.HttpServletResponse;
10 import javax.servlet.http.HttpSession;
11 
12 public class ListCartServlet extends HttpServlet {
13 
14     public void doGet(HttpServletRequest request, HttpServletResponse response)
15             throws ServletException, IOException {
16         response.setContentType("text/html;charset=UTF-8");
17         PrintWriter out = response.getWriter();
18         HttpSession session = request.getSession();
19         List<Book> list = (List) session.getAttribute("list");
20         if(list==null || list.size()==0){
21             out.write("对不起,您还没有购买任何商品!!");
22             return;
23         }
24         
25         //显示用户买过的商品
26         out.write("您买过如下商品:<br>");
27         for(Book book : list){
28             out.write(book.getName() + "<br/>");
29         }
30     }
31 
32     public void doPost(HttpServletRequest request, HttpServletResponse response)
33             throws ServletException, IOException {
34         doGet(request, response);
35     }
36 }
复制代码

在禁用了cookie的IE8下的运行效果如下:

演示效果

通过查看IndexServlet生成的html代码可以看到,每一个超链接后面都带上了session的Id,如下所示

复制代码
1 本网站有如下书:<br/>javaweb开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=1'>购买</a><br/>
2 spring开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=2'>购买</a><br/>
3 hibernate开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=3'>购买</a><br/>
4 struts开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=4'>购买</a><br/>
5 ajax开发   <a href='/JavaWeb_Session_Study_20140720/servlet/BuyServlet;jsessionid=96BDFB9D87A08D5AB1EAA2537CDE2DB2?id=5'>购买</a><br/>
复制代码

所以,当浏览器禁用了cookie后,就可以用URL重写这种解决方案解决Session数据共享问题。而且response. encodeRedirectURL(java.lang.String url) 和response. encodeURL(java.lang.String url)是两个非常智能的方法,当检测到浏览器没有禁用cookie时,那么就不进行URL重写了。我们在没有禁用cookie的火狐浏览器下访问,效果如下:

从演示动画中可以看到,浏览器第一次访问时,服务器创建Session,然后将Session的Id以Cookie的形式发送回给浏览器,response. encodeURL(java.lang.String url)方法也将URL进行了重写,当点击刷新按钮第二次访问,由于火狐浏览器没有禁用cookie,所以第二次访问时带上了cookie,此时服务器就可以知道当前的客户端浏览器并没有禁用cookie,那么就通知response. encodeURL(java.lang.String url)方法不用将URL进行重写了。

五、session对象的创建和销毁时机

5.1、session对象的创建时机

在程序中第一次调用request.getSession()方法时就会创建一个新的Session,可以用isNew()方法来判断Session是不是新创建的

范例:创建session

复制代码
 1 //使用request对象的getSession()获取session,如果session不存在则创建一个
 2 HttpSession session = request.getSession();
 3 //获取session的Id
 4 String sessionId = session.getId();
 5 //判断session是不是新创建的
 6 if (session.isNew()) {
 7     response.getWriter().print("session创建成功,session的id是:"+sessionId);
 8 }else {
 9     response.getWriter().print("服务器已经存在session,session的id是:"+sessionId);
10 }
复制代码

5.2、session对象的销毁时机

session对象默认30分钟没有使用,则服务器会自动销毁session,在web.xml文件中可以手工配置session的失效时间,例如:

复制代码
 1 <?xml version="1.0" encoding="UTF-8"?>
 2 <web-app version="2.5" 
 3     xmlns="http://java.sun.com/xml/ns/javaee" 
 4     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
 5     xsi:schemaLocation="http://java.sun.com/xml/ns/javaee 
 6     http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd">
 7   <display-name></display-name>
 8   
 9   <welcome-file-list>
10     <welcome-file>index.jsp</welcome-file>
11   </welcome-file-list>
12 
13   <!-- 设置Session的有效时间:以分钟为单位-->
14     <session-config>
15         <session-timeout>15</session-timeout>
16     </session-config>
17 
18 </web-app>
复制代码

当需要在程序中手动设置Session失效时,可以手工调用session.invalidate方法,摧毁session。

1 HttpSession session = request.getSession();
2 //手工调用session.invalidate方法,摧毁session
3 session.invalidate();

以上转自<http://www.cnblogs.com/xdp-gacl/p/3855702.html>

一个人的hackson:study – php server

 - 

从极客学院上获取学习的内容。正好认证了手机有两天的vip,现在开始学习 Android项目开发实战:新闻客户端。

原来已经搭建好了php+Apache+mysql的环境,所以php的环境可以直接使用。省去很多麻烦事,视频上也省略了这部分内容。

根据视频,首先使用php环境作为服务端生成客户端所需要的json数据。当时搭建环境的时候php基本选择了最新的版本,按照视频里的教程,出现了一些deprecated的方法用法,根据网络资料对其进行修改,主要是mysql_connect相关的方法,如mysql_connect和mysql_query需要分别修改为mysqli_connect和mysqli_query方法,同时参数列表也不太一样。
其次,是php语法是较早之前的时候学的了,现在有些不熟悉,比如查询结果的遍历,和给数组赋值,对array函数印象不深,结果导致一开始就写了一个arr就完事,导致执行出错。对数组这块的操作仍然需要更加熟悉一点。

修正掉以上的内容之后,我的服务端能跟视频内一样返回一开始插入数据库的数据的json字符串了。继续。

 

至此,服务端返回新闻列表数据的部分已经完成。下一日志继续。

In hackson

转载:读取.properties配置文件

 - 

一、前言                              

Java工程中想log4j、数据库连接等配置信息一般都写在.properties文件中,那么如何读取这些配置信息呢?下面把相关方法记录下来供以后查阅。

 

二、.properties文件                        

配置文件的一种,内容以键值对的形式存在,且每个键值对独占一行。#号作为行注释的起始标志,中文注释会自动进行unicode编码。示例:

# ip and port of server socket
ip=127.0.0.1
port=9999
# error message
msg=I'm sorry, bye bye!

假设上述内容存储在config.properties文件下,且bin目录结果如下:

  bin

|– main

|– Demo.class

|– config.properties

后续章节的示例将以上述内容作为目标对象来操作。

 

三、通过 Properties对象 操作                    

读取属性,示例:

复制代码
public class Demo{
  public static void main(String[] args){
    Properties props = new Properties();
    
    InputStream in = Demo.class.getResourceAsStream("../config.properties");

    // 或使用文件输入流(不推荐),假设当前工作目录为bin
    //InputStream in = new FileInputStream("./config.properties");

    props.load(in);
    in.close();
    
    // 读取特定属性
    String key = "ip";
    String ip = props.getProperty(key);

    // 遍历所有属性,方式一
    Set keys = props.keySet();
    for (Interator it = keys.iterator(); it.hasNext();){
        String k = it.next();
        System.out.println(k + ":" + props.getProperty(k));
    }
     // 遍历所有属性,方式二
    Enumeration en = props.propertyNames();
    while (en.hasMoreElements()){
        String k = en.nextElement();
        System.out.println(k + ":" + props.getProperty(k));
    }
  }
}
复制代码

1. 通过 Demo.class.getResourceAsStream(“../config.properties”); 读取配置文件,配置文件的相对路径以类文件所在目录作为当前目录。

2. 通过 new FileInputStream(“./config.properties”); 读取配置文件,配置文件的相对路径以工作目录(可以通过 System.getProperty(“user.dir”) 获取工作目录)作为当前目录。

注意:上述两种方式获取的配置文件均没有被缓存。每次都要重新加载配置文件。

写属性,示例:

复制代码
Properties props = new Properties();
InputStream in = getClass().getResouceAsStream("properties文件相对于当前类加载路径的文件目录");
props.load(in);

OutputStream output = new FileOutputStream("properties文件路径");
props.setProperty("ip", "10.248.112.123"); // 修改或新增属性键值对
props.store(output, "modify ip value"); // store(OutputStream output, String comment)将修改结果写入输出流
output.close()
复制代码

 

四、通过 ResourceBundle对象 操作                    

通过该方式仅能读取配置文件而已,不能进行写操作。示例:

// ResourceBundle rb = ResourceBundle.getBundle("配置文件相对工程根目录的相对路径(不含扩展名)");
ResourceBundle rb = ResourceBundle.getBundle("config");
try{
    String name = rb.getString("name");
}
catch(MissingResourceException ex){

注意:上述方式会缓存配置文件信息,后续读取时均是读取缓存中的内容,若在此期间修改了配置内容是无法实时同步的

ResourceBundle有两个子类ListResourceBundle和PropertyResourceBundle,在读取properties文件时实际上是使用PropertyResourceBundle来处理。

题外话:

ResourceBundle主要用于解决国际化和本地化问题。通过资源命名定义各语言和方言的信息,然乎程序在运行时获取当前本地化信息,并根据本地化信息加载相应的资源完成本地化。

资源命名规范:

复制代码
// 仅含家族名
MyResource

// 含家族名和语言
MyResource_en

// 含家族名、语言和国家
MyResource_en_US
复制代码

对应的Java代码:

// ResourceBundle首先会根据语言和国家的本地化信息去查找资源(假设现在要查找MyResource_zh_CN),当找不到时就会找MyResource_zh,再找不到就用MyResource。
ResourceBundle rb = ResourceBundle.getBundle("MyResource", Locale.getDefault())

 

五、总结                              

当然方式不止这些啦,日后继续补充!

尊重原创,转载请注明来自:http://www.cnblogs.com/fsjohnhuang/p/3995386.html  ^_^肥仔John

 

六、参考                              

http://www.cnblogs.com/panjun-Donet/archive/2009/07/17/1525597.html

In 技术

java路径问题-getClass().getResourceAsStream()

 - 

src(源文件夹)

┣━11.properties

┗━myspider(myspider包)

┣━22.properties
┗━Test.java

 

Java代码  收藏代码
  1. package myspider;
  2. import java.io.UnsupportedEncodingException;
  3. /**
  4.  *
  5.  * @author mark
  6.  */
  7. public class Test {
  8.     public static void main(String[] args) throws UnsupportedEncodingException{
  9.         Test t=new Test();
  10.         //文件名前不加“/”,则表示从当前类所在的包下查找该资源。如下则表示的是从包myspider下查找22.properties文件资源。
  11.         System.out.println(“1:”+t.getClass().getResourceAsStream(“22.properties”));//输出java.io.BufferedInputStream@61de33
  12.         //文件名前加了“/”,则表示从类路径下也就是从classes文件夹下查找资源,如下表示从classes文件夹下查找22.properties文件资源。
  13.         System.out.println(“2:”+t.getClass().getResourceAsStream(“/22.properties”));//输出null
  14.         //文件名前加了“/”,则表示从类路径下也就是从classes文件夹下查找资源,如下表示从classes文件夹下查找11.properties文件资源。
  15.         System.out.println(“3:”+t.getClass().getResourceAsStream(“/11.properties”));//输出java.io.BufferedInputStream@14318bb
  16.         System.out.println();
  17.         //当前包路径4:file:/E:/myobject/myspider/build/classes/myspider/
  18.         System.out.println(“4:”+t.getClass().getResource(“”));
  19.         //输出当前类路径5:file:/E:/myobject/myspider/build/classes/
  20.         System.out.println(“5:”+t.getClass().getResource(“/”));
  21.         /*
  22.          * 如果类路径下的当前包有22.properties文件,则输出6:file:/E:/myobject/myspider/build/classes/myspider/22.properties
  23.          * 否者输出源文件下的22.properties文件的路径,则输出:6:file:/E:/myobject/myspider/src/myspider/22.properties
  24.          */
  25.         System.out.println(“6:”+t.getClass().getResource(“22.properties”));
  26.         /*
  27.          * 如果类路径下有11.properties文件,则输出7:file:/E:/myobject/myspider/build/classes/11.properties
  28.          * 否者输出源文件下的11.properties文件的路径,则输出:6:7:file:/E:/myobject/myspider/src/11.properties
  29.          */
  30.         System.out.println(“7:”+t.getClass().getResource(“/11.properties”));
  31.     }
  32. }
In 技术

SystemConfig实现之从properties文件读取数据

 - 

根据从网上找的资料,使用properties类实现了读取配置文件信息。

import java.io.File;

import java.io.IOException;
import java.io.InputStream;
import java.util.Properties;

/**
*/
public class SystemConfig {

private SystemConfig(){

}

//获取环境变量init.conf.env
private static final String ENV=System.getProperty(“init.conf.env”);
//构建配置文件名
private static final String MQ_ARTICLE_PROPERTY_FILE = “mq-article-“+ENV+”.properties”;

private static Properties props = null;

/**
* 初始化ResourceBundle对象
* @throws IOException
*/
private static void init() throws IOException{
if( null == props){
props = new Properties();
loadFile();
}
}

/**
* 加载指定名称的properties文件,约定路径为/conf/
* @param propName
* @throws IOException
*/
private static void loadFile() throws IOException{
//获取配置文件列表/conf/*.properties
File dir = new File(SystemConfig.class.getResource(“/”).getPath()+”conf/”);
String[] fileNames = dir.list();

//过滤出符合当前环境的文件
//List<String> fileList = null;
if (fileNames != null && fileNames.length > 0) {
//fileList = Lists.newArrayList();
// 包括文件,文件夹的判断
for (String fName : fileNames) {
if (fName.indexOf(ENV) != -1) {
//fileList.add(fName);
//load进props
InputStream in = SystemConfig.class.getResourceAsStream(“/conf/” + fName);
props.load(in);
}
}
}
}

/**
* 获取系统配置
* @param key
* @param defaultValue
* @return
*/
public static String getProperties(String key,String defaultValue){
try {
init();
} catch (IOException e) {
props = null;
}
if(null == props)
return defaultValue;
return props.getProperty(key) == null ? defaultValue : props.getProperty(key);
}

}

除了使用properties类的方法外,Java还提供了resourcebundle的方式实现这一功能。

但是resourcebundle的命名规则有约束,主要为了实现国际化。这里还是先不用这个了。知道能实现即可。

In 技术

数据聚合类网站数据来源

 - 

数据聚合类网站数据来源

1.有些是开放api(微博) 加层壳
2.有些是公开数据(例如股票数据) 自己转数据库/api

3.有些是服务商未授权的非即时服务(例如停车位 电影信息) 机器去爬数据 转数据库/api
4.有些是服务商未授权的非即时服务(例如违章车辆) 人肉找数据转数据库/api
5.有些是服务商未授权的即时服务(例如快递) 自己转web request成api

6.有些是服务商授权提供中介的即时服务/非即时服务 (例如图灵 360 小冰机器人)

apigee对大部分小用户免费
国内这几家都贵 性价比很低
haoservice.com/apilist/
apistore.baidu.com/
w
ww.juhe.com

国外:
https://apigee.com/providers

有必要的话搞爬虫,调用api,根据自己需求定。

 


vector和list之间的区别

 - 

正在阅读代码,发现有两个列表,一个使用的是list,一个使用的是vector,平时开发中都没真正去区分过这两个集合类之间的区别并在应用中使用,这里需要正视这个问题,并总结一下。

找到一篇博文,介绍了一下这两个类之间的区别,内容如下:

vector与list区别
vector为存储的对象分配一块连续的地址空间,因此对vector中的元素随机访问效率很高。在vecotor中插入或者删除某个元素,需要将现有元素进行复制,移动。如果vector中存储的对象很大,或者构造函数复杂,则在对现有元素进行拷贝时开销较大,因为拷贝对象要调用拷贝构造函数。对于简单的小对象,vector的效率优于list。vector在每次扩张容量的时候,将容量扩展2倍,这样对于小对象来说,效率是很高的。
list中的对象是离散存储的,随机访问某个元素需要遍历list。在list中插入元素,尤其是在首尾插入元素,效率很高,只需要改变元素的指针。
综上所述:
vector适用:对象数量变化少,简单对象,随机访问元素频繁
list适用:对象数量变化大,对象复杂,插入和删除频繁
最大的区别是,list是双向的,而vector是单向的。
因此在实际使用时,如何选择这三个容器中哪一个,应根据你的需要而定,一般应遵循下面
的原则:
1、如果你需要高效的随即存取,而不在乎插入和删除的效率,使用vector
2、如果你需要大量的插入和删除,而不关心随即存取,则应使用list
3、如果你需要随即存取,而且关心两端数据的插入和删除,则应使用deque。
vector   表示一段连续的内存区域,每个元素被顺序存储在这段内存中,对vector   的随机访问效率很高,但对非末尾元素的插入和删除则效率非常低。
deque
也表示一段连续的内存区域,但与vector不同的是它支持高效地在其首部插入和删除元素,它通过两级数组结构来实现,一级表示实际的容器,第二级指向容器的首和尾

list   表示非连续的内存区域并通过一对指向首尾元素的指针双向链接起来,插入删除效率高,随机访问效率低

2
stl提供了三个最基本的容器:vector,list,deque。
vector和built-in数组类似,它拥有一段连续的内存空间,并且起始地址不变,因此

它能非常好的支持随即存取,即[]操作符,但由于它的内存空间是连续的,所以在中间
进行插入和删除会造成内存块的拷贝,另外,当该数组后的内存空间不够时,需要重新
申请一块足够大的内存并进行内存的拷贝。这些都大大影响了vector的效率。

list就是数据结构中的双向链表(根据sgi   stl源代码),因此它的内存空间可以是不连续
的,通过指针来进行数据的访问,这个特点使得它的随即存取变的非常没有效率,因此它
没有提供[]操作符的重载。但由于链表的特点,它可以以很好的效率支持任意地方的删除
和插入。

deque是一个double-ended   queue,它的具体实现不太清楚,但知道它具有以下两个特点:
它支持[]操作符,也就是支持随即存取,并且和vector的效率相差无几,它支持在两端的
操作:push_back,push_front,pop_back,pop_front等,并且在两端操作上与list的效率
也差不多。

因此在实际使用时,如何选择这三个容器中哪一个,应根据你的需要而定,一般应遵循下面
的原则:
1、如果你需要高效的随即存取,而不在乎插入和删除的效率,使用vector
2、如果你需要大量的插入和删除,而不关心随即存取,则应使用list
3、如果你需要随即存取,而且关心两端数据的插入和删除,则应使用deque。

该博文地址《http://blog.163.com/lhl_soft/blog/static/20175000420120161422375/》

代码中的用法,大致是第一个是前端传递过来的文章对应的item列表,应该会有一些删除等操作,且数量应该较小,而后面那个是用来存储文章相关的产品列表,那么可能在查询出来之后不会进行变动操作,同时对应的产品的数量可能会比较大,所以如果在查询出来放到集合类中的时候效率比较高?尚未完全确认,这里对猜想做个记录。

In 技术