文章分类 » 技术

在mybatis中清空/全部删除表数据

有个定时任务一直以来直接跑的增量,基于跑了一段时间的定时任务的情况来看,发现有些情况没法通过增量来处理,比如被扫描表里有数据删除掉了;这种情况在我的定时任务里就没法定位出来对相应数据做处理。而在跑了定时任务之后如果再扫描结果表把已经被删除的数据筛选出来感觉是个很糙很糟糕的做法。

于是决定,在跑定时任务之前先清空整个结果表中的数据。思考之后有以下四种方式。

1、删除表重建表(drop table , create table )
虽然这种方式速度也很快,但是在业务工程里去做DDL操作感觉不太合适,而且操作相对复杂的多,放弃这种方案。

2、使用delete from table语句删除所有数据。
从逻辑上来说这个完全没有问题。但是delete语句虽然我们在执行的时候是清空所有数据,不需要加where条件,但是实际上数据库做的操作还是一条一条删除数据。在这个过程中数据库需要对每一次操作记录事务日志。数据量比较小的时候,这个操作也很快,当数据量比较大的时候,这个操作将会耗费比较长的时间。而且delete操作并不释放空间。

3、使用 delete table 语句删除所有数据。
这种方式也是删除表中所有数据,速度也快,唯一的一点,就是不释放空间。如果没有更好的方式,我将选择这种方式来实现我的设计。显然,有更好的方式。

4、使用truncate语法清空表。
查询过truncate语法和truncate与delete语法之间的区别就会知道,不同之处就在于,truncate会直接删掉相应的数据文件,这样不仅清空数据,而且释放了空间。另外就是,速度非常快。truncate的实现方式也是通过系统直接删除文件,这样的方式基本没有更快而且更节省时间的了。

经过思考,决定选择第四种。那么在mybatis中如何去执行truncate语句呢?查询资料,篇博客说使用@Select注解 ,然后执行的脚本字符串写truncate就可以,于是按照这个方式做。做完之后单元测试的时候发现,进入方法之后既没有执行结果,也没有执行错误的异常,很是尴尬啊。。。

后来想想,按说这里是一个对表(数据)的操作,按说不应该使用Select注解啊,这是个只读的。于是尝试,将注解改为使用@Update,果然成功!

因此得出结论:在mybatis中执行truncate语句需要按照如下方式:

@Update("TRUNCATE TABLE tmp_truncate_table")
void truncate();

ps.我这里使用的是mybatis的全局注解的方式,如果是使用配置文件,应该只需要在mapper文件中添加Update标签并将语句写到里面即可。

利用JAVA注解实现pv统计功能

利用JAVA注解实现pv统计功能用到的部分资料

 

http://www.tuicool.com/articles/JN73Ejb

http://www.jb51.net/article/67050.htm

mybatis表名含有参数

表较多需要分表,或者日志等需要按照模块分表的时候,为了统一接口经常需要将最后不同的部分作为参数传入到sql中进行查询,如

表名 t_log_user,t_log_item等,在拼接如下sql

select * from t_log_*

的时候,需要将 user,item等字符串作为参数传进去。开始使用的mybatisgenerator生成的那种方式,里面传递参数都用的#{module}的方式,但是在参数存在于表名的时候,如果是字符串,mybatis会给加上单引号,即最后拼接成的sql为 select * from t_log_’user’,执行必然报错。

查找了一下网上资料,参考《http://blog.sina.com.cn/s/blog_4822be6d0101g0da.html》,需要在sql mapper xml文件中的语句块里添加 statementType=”STATEMENT” , 并且参数声明必须使用 ${module}($)符号才行。

示例:

<sql id=”selectListByModule” resultMap=”tLog” parameterMap=”tLog” statementType=”STATEMENT” >
select * from t_log_${module} where 1=1
</sql>

HTML表格table中单元格内容过多自动换行设置

让HTML表格table的相应单元格自动换行:
1、设置单元格宽度
2、给当天的表格设置样式style=”word-wrap: break-word;word-break:break-all;”

在spring中,代码里获取spring加载的properties文件中值的方法

平时用spring的时候,配置的值多数情况都是直接在配置文件中注入给管理的类了,比如数据库连接池,数据库,缓存等,不需要再在代码中获取值做相应的处理。今天遇到这种情况,需要在代码中判断某个值是否为空,如果不为空则解析其值并根据解析的值给HTTPclient加上代理,否则则不加。

首先是使用spring的placeholder加载所有的properties文件

然后是常见的第一种注入配置值的方法:

使用配置文件管理需要注入的实例,在初始化实例的时候,在配置文件中使用property参数注入相应的值,入
<bean id=”cacheManager” class=”cn.outofmemory.util.MemCacheManager” init-method=”init”>
<property name=”nodeList” value=”${memcache.nodelist}”/>
</bean>
这里的${memcache.nodelist}就是properties文件中key值为memcache.nodelist的配置值。
但是这样做会打乱原有的使用注解管理bean的布局,显得比较混乱,而且如果改动类还需要同时改动spring的配置文件。

第二种:
1、引入命名空间:
xmlns:util=”http://www.springframework.org/schema/util”
xsi:schemaLocation=”http://www.springframework.org/schema/util
http://www.springframework.org/schema/util/spring-util-3.0.xsd”
内容中写入
<util:properties id=”propertiesReader” location=”classpath:test.properties” />
2、在类中需要注入的属性实现 setter 和 getter 方法。
3、在 setter 方法前(或者该属性声明位置),添加 @Value 注解
@Value(“#{propertiesReader[propertiesName]}”)
propertiesName 为 properties 文件中的键。这样,在容器启动过程中, Spring 将自动注入值。

第三种:
实现一个 PropertyPlaceholderConfigurer 扩展的类,在这个类中重写protected void processProperties方法,在方法体中,将传入的
Properties props的值全都重新复制一份给当前方法的静态变量,这样就可以直接使用该静态变量获取系统加载的参数了。示例如下:

private static Map<String, String> ctxPropertiesMap;
@Override
protected void processProperties(
ConfigurableListableBeanFactory beanFactoryToProcess,
Properties props) throws BeansException {

super.processProperties(beanFactoryToProcess, props);

ctxPropertiesMap = new HashMap<String, String>();

for (Object key : props.keySet()) {
String keyStr = key.toString();
String value = props.getProperty(keyStr);
ctxPropertiesMap.put(keyStr, value);
}

}
public static String getContextProperty(String name) {
return ctxPropertiesMap.get(name);
}
第四种:
很简单,只要是使用PropertyPlaceholderConfigurer来管理加载了所有的配置文件,那么我们在某个spring管理的实例里的属性上,
在某个set方法上可以用@Value(“${db.driverclass}”)来完成注入,也可以在成员变量上注入。
例子:
例子代码如:
@Service
public class DatabaseInfo {
@Value(“${db.driverclass}”)①
private String driverClass;
//也可以在这里注入
@Value(“${db.driverclass}”)②
private void setDriverClass(String dc) {
this.driverClass = dc;
}
}
参考文献
《http://blog.csdn.net/achilles12345/article/details/38614387》
《http://jackyrong.iteye.com/blog/1330946》

linux系统下rz/sz 命令安装使用说明

对于经常使用Linux系统的人员来说,少不了将本地的文件上传到服务器或者从服务器上下载文件到本地,rz / sz命令很方便的帮我们实现了这个功能,但是很多Linux系统初始并没有这两个命令。今天,我们就简单的讲解一下如何安装和使用rz、sz命令。

1.软件安装

(1)编译安装

root 账号登陆后,依次执行以下命令:

1 cd /tmp
2 wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz
3 tar zxvf lrzsz-0.12.20.tar.gz && cd lrzsz-0.12.20
4 ./configure && make && make install

上面安装过程默认把lsz和lrz安装到了/usr/local/bin/目录下,现在我们并不能直接使用,下面创建软链接,并命名为rz/sz:

1 cd /usr/bin
2 ln -s /usr/local/bin/lrz rz
3 ln -s /usr/local/bin/lsz sz

(2)yum安装

root 账号登陆后执行以下命令:

1 yum install -y lrzsz

2.使用说明

sz命令发送文件到本地:

1 # sz filename

rz命令本地上传文件到服务器:

1 # rz

执行该命令后,在弹出框中选择要上传的文件即可。
说明:打开SecureCRT软件 -> Options -> session options -> X/Y/Zmodem 下可以设置上传和下载的目录。

参看文档地址《http://www.lihuai.net/linux/commands/558.html》

LinkedHashMap : 记录插入顺序的Map

今日做一个曲线图,用到map存储数据,开始习惯性的使用了hashmap,结果发现在计算出来结果展现的时候,日期并没有按照预计的顺序排列。比如,统计出来的数据是20150626和20150627两天的,真正在页面上展现的时候,反而是20150626在后面。
经过仔细观察,发现数据对应并没有错,也就是说,是一开始用来存储以天为key值的节点数据的时候顺序是混乱的,在遍历的时候并没有按照存入的顺序进行遍历。

由于日期与数据的列表时分开存储的,计算完成之后再按照日期排序的方法不可取。印象里linkedhashmap和treemap是有顺序的,从网上找资料确认一下,发现,linkedhashmap是可以保留存入的元素的顺序的,遍历的时候是按照存入的顺序遍历,这个符合我的要求。treemap是有个顺序,不过是默认按照key值进行排序,而非存储时候的顺序。但由于我在获取数据列表的时候已经按照时间排序,不需要再次进行排序,因此没有选择用treemap。

LinkedHashMap的实现整理如下:

参考文档地址《http://www.cnblogs.com/children/archive/2012/10/02/2710624.html》

1. LinkedHashMap概述:

LinkedHashMap是HashMap的一个子类,它保留插入的顺序,如果需要输出的顺序和输入时的相同,那么就选用LinkedHashMap。

LinkedHashMap是Map接口的哈希表和链接列表实现,具有可预知的迭代顺序。此实现提供所有可选的映射操作,并允许使用null值和null键。此类不保证映射的顺序,特别是它不保证该顺序恒久不变
LinkedHashMap实现与HashMap的不同之处在于,后者维护着一个运行于所有条目的双重链接列表。此链接列表定义了迭代顺序,该迭代顺序可以是插入顺序或者是访问顺序。
注意,此实现不是同步的。如果多个线程同时访问链接的哈希映射,而其中至少一个线程从结构上修改了该映射,则它必须保持外部同步。

 

根据链表中元素的顺序可以分为:按插入顺序的链表,和按访问顺序(调用get方法)的链表。

默认是按插入顺序排序,如果指定按访问顺序排序,那么调用get方法后,会将这次访问的元素移至链表尾部,不断访问可以形成按访问顺序排序的链表。  可以重写removeEldestEntry方法返回true值指定插入元素时移除最老的元素。

 

2. LinkedHashMap的实现:

对于LinkedHashMap而言,它继承与HashMap、底层使用哈希表与双向链表来保存所有元素。其基本操作与父类HashMap相似,它通过重写父类相关的方法,来实现自己的链接列表特性。下面我们来分析LinkedHashMap的源代码:

类结构:

  1. public class LinkedHashMap<K, V> extends HashMap<K, V> implements Map<K, V>

 

1) 成员变量:

LinkedHashMap采用的hash算法和HashMap相同,但是它重新定义了数组中保存的元素Entry,该Entry除了保存当前对象的引用外,还保存了其上一个元素before和下一个元素after的引用,从而在哈希表的基础上又构成了双向链接列表。看源代码:

 

  1. //true表示按照访问顺序迭代,false时表示按照插入顺序
  2.  private final boolean accessOrder;
  1. /**
  2.  * 双向链表的表头元素。
  3.  */
  4. private transient Entry<K,V> header;
  5. /**
  6.  * LinkedHashMap的Entry元素。
  7.  * 继承HashMap的Entry元素,又保存了其上一个元素before和下一个元素after的引用。
  8.  */
  9. private static class Entry<K,V> extends HashMap.Entry<K,V> {
  10.     Entry<K,V> before, after;
  11.     ……
  12. }

HashMap.Entry:

  1. static class Entry<K,V> implements Map.Entry<K,V> {
  2.         final K key;
  3.         V value;
  4.         Entry<K,V> next;
  5.         final int hash;
  6.         Entry(int h, K k, V v, Entry<K,V> n) {
  7.             value = v;
  8.             next = n;
  9.             key = k;
  10.             hash = h;
  11.         }
  12. }

 

2) 初始化:

通过源代码可以看出,在LinkedHashMap的构造方法中,实际调用了父类HashMap的相关构造方法来构造一个底层存放的table数组。如:

  1. public LinkedHashMap(int initialCapacity, float loadFactor) {
  2.     super(initialCapacity, loadFactor);
  3.     accessOrder = false;
  4. }

HashMap中的相关构造方法:

  1. public HashMap(int initialCapacity, float loadFactor) {
  2.     if (initialCapacity < 0)
  3.         throw new IllegalArgumentException(“Illegal initial capacity: “ +
  4.                                            initialCapacity);
  5.     if (initialCapacity > MAXIMUM_CAPACITY)
  6.         initialCapacity = MAXIMUM_CAPACITY;
  7.     if (loadFactor <= 0 || Float.isNaN(loadFactor))
  8.         throw new IllegalArgumentException(“Illegal load factor: “ +
  9.                                            loadFactor);
  10.     // Find a power of 2 >= initialCapacity
  11.     int capacity = 1;
  12.     while (capacity < initialCapacity)
  13.         capacity <<= 1;
  14.     this.loadFactor = loadFactor;
  15.     threshold = (int)(capacity * loadFactor);
  16.     table = new Entry[capacity];
  17.     init();
  18. }

我们已经知道LinkedHashMap的Entry元素继承HashMap的Entry,提供了双向链表的功能。在上述HashMap的构造器中,最后会调用init()方法,进行相关的初始化,这个方法在HashMap的实现中并无意义,只是提供给子类实现相关的初始化调用。
LinkedHashMap重写了init()方法,在调用父类的构造方法完成构造后,进一步实现了对其元素Entry的初始化操作。

  1. void init() {
  2.     header = new Entry<K,V>(-1nullnullnull);
  3.     header.before = header.after = header;
  4. }

3) 存储:

LinkedHashMap并未重写父类HashMap的put方法,而是重写了父类HashMap的put方法调用的子方法void recordAccess(HashMap m)   ,void addEntry(int hash, K key, V value, int bucketIndex) 和void createEntry(int hash, K key, V value, int bucketIndex),提供了自己特有的双向链接列表的实现。

HashMap.put:

 

  1. public V put(K key, V value) {
  2.         if (key == null)
  3.             return putForNullKey(value);
  4.         int hash = hash(key.hashCode());
  5.         int i = indexFor(hash, table.length);
  6.         for (Entry<K,V> e = table[i]; e != null; e = e.next) {
  7.             Object k;
  8.             if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
  9.                 V oldValue = e.value;
  10.                 e.value = value;
  11.                 e.recordAccess(this);
  12.                 return oldValue;
  13.             }
  14.         }
  15.         modCount++;
  16.         addEntry(hash, key, value, i);
  17.         return null;
  18.     }

重写方法:

  1. void recordAccess(HashMap<K,V> m) {
  2.             LinkedHashMap<K,V> lm = (LinkedHashMap<K,V>)m;
  3.             if (lm.accessOrder) {
  4.                 lm.modCount++;
  5.                 remove();
  6.                 addBefore(lm.header);
  7.             }
  8.         }

 

  1. void addEntry(int hash, K key, V value, int bucketIndex) {
  2.     // 调用create方法,将新元素以双向链表的的形式加入到映射中。
  3.     createEntry(hash, key, value, bucketIndex);
  4.     // 删除最近最少使用元素的策略定义
  5.     Entry<K,V> eldest = header.after;
  6.     if (removeEldestEntry(eldest)) {
  7.         removeEntryForKey(eldest.key);
  8.     } else {
  9.         if (size >= threshold)
  10.             resize(2 * table.length);
  11.     }
  12. }
  1. void createEntry(int hash, K key, V value, int bucketIndex) {
  2.     HashMap.Entry<K,V> old = table[bucketIndex];
  3.     Entry<K,V> e = new Entry<K,V>(hash, key, value, old);
  4.     table[bucketIndex] = e;
  5.     // 调用元素的addBrefore方法,将元素加入到哈希、双向链接列表。
  6.     e.addBefore(header);
  7.     size++;
  8. }
  1. private void addBefore(Entry<K,V> existingEntry) {
  2.     after  = existingEntry;
  3.     before = existingEntry.before;
  4.     before.after = this;
  5.     after.before = this;
  6. }

 

4) 读取:

LinkedHashMap重写了父类HashMap的get方法,实际在调用父类getEntry()方法取得查找的元素后,再判断当排序模式accessOrder为true时,记录访问顺序,将最新访问的元素添加到双向链表的表头,并从原来的位置删除。由于的链表的增加、删除操作是常量级的,故并不会带来性能的损失。

HashMap.containsValue:

  1. public boolean containsValue(Object value) {
  2.     if (value == null)
  3.             return containsNullValue();
  4.     Entry[] tab = table;
  5.         for (int i = 0; i < tab.length ; i++)
  6.             for (Entry e = tab[i] ; e != null ; e = e.next)
  7.                 if (value.equals(e.value))
  8.                     return true;
  9.     return false;
  10.     }

 

  1.  /*查找Map中是否包含给定的value,还是考虑到,LinkedHashMap拥有的双链表,在这里Override是为了提高迭代的效率。
  2.  */
  3. public boolean containsValue(Object value) {
  4.         // Overridden to take advantage of faster iterator
  5.         if (value==null) {
  6.             for (Entry e = header.after; e != header; e = e.after)
  7.                 if (e.value==null)
  8.                     return true;
  9.         } else {
  10.             for (Entry e = header.after; e != header; e = e.after)
  11.                 if (value.equals(e.value))
  12.                     return true;
  13.         }
  14.         return false;
  15.     }

 

 

  1. /*该transfer()是HashMap中的实现:遍历整个表的各个桶位,然后对桶进行遍历得到每一个Entry,重新hash到newTable中,
  2.  //放在这里是为了和下面LinkedHashMap重写该法的比较,
  3.  void transfer(Entry[] newTable) {
  4.         Entry[] src = table;
  5.         int newCapacity = newTable.length;
  6.         for (int j = 0; j < src.length; j++) {
  7.             Entry<K,V> e = src[j];
  8.             if (e != null) {
  9.                 src[j] = null;
  10.                 do {
  11.                     Entry<K,V> next = e.next;
  12.                     int i = indexFor(e.hash, newCapacity);
  13.                     e.next = newTable[i];
  14.                     newTable[i] = e;
  15.                     e = next;
  16.                 } while (e != null);
  17.             }
  18.         }
  19.     }
  20.  */
  21.  /**
  22.  *transfer()方法是其父类HashMap调用resize()的时候调用的方法,它的作用是表扩容后,把旧表中的key重新hash到新的表中。
  23.  *这里从写了父类HashMap中的该方法,是因为考虑到,LinkedHashMap拥有的双链表,在这里Override是为了提高迭代的效率。
  24.  */
  25.  void transfer(HashMap.Entry[] newTable) {
  26.    int newCapacity = newTable.length;
  27.    for (Entry<K, V> e = header.after; e != header; e = e.after) {
  28.      int index = indexFor(e.hash, newCapacity);
  29.      e.next = newTable[index];
  30.      newTable[index] = e;
  31.    }
  32.  }

 

  1. public V get(Object key) {
  2.     // 调用父类HashMap的getEntry()方法,取得要查找的元素。
  3.     Entry<K,V> e = (Entry<K,V>)getEntry(key);
  4.     if (e == null)
  5.         return null;
  6.     // 记录访问顺序。
  7.     e.recordAccess(this);
  8.     return e.value;
  9. }
  1. void recordAccess(HashMap<K,V> m) {
  2.     LinkedHashMap<K,V> lm = (LinkedHashMap<K,V>)m;
  3.     // 如果定义了LinkedHashMap的迭代顺序为访问顺序,
  4.     // 则删除以前位置上的元素,并将最新访问的元素添加到链表表头。
  5.     if (lm.accessOrder) {
  6.         lm.modCount++;
  7.         remove();
  8.         addBefore(lm.header);
  9.     }
  10. }

 

  1. /**
  2.          * Removes this entry from the linked list.
  3.          */
  4.         private void remove() {
  5.             before.after = after;
  6.             after.before = before;
  7.         }

 

 

  1. /**clear链表,设置header为初始状态*/
  2. public void clear() {
  3.  super.clear();
  4.  header.before = header.after = header;
  5. }

 

 

5) 排序模式:

LinkedHashMap定义了排序模式accessOrder,该属性为boolean型变量,对于访问顺序,为true;对于插入顺序,则为false。

  1. private final boolean accessOrder;

一般情况下,不必指定排序模式,其迭代顺序即为默认为插入顺序。看LinkedHashMap的构造方法,如:

  1. public LinkedHashMap(int initialCapacity, float loadFactor) {
  2.     super(initialCapacity, loadFactor);
  3.     accessOrder = false;
  4. }

这些构造方法都会默认指定排序模式为插入顺序。如果你想构造一个LinkedHashMap,并打算按从近期访问最少到近期访问最多的顺序(即访问顺序)来保存元素,那么请使用下面的构造方法构造LinkedHashMap:

  1. public LinkedHashMap(int initialCapacity,
  2.          float loadFactor,
  3.                      boolean accessOrder) {
  4.     super(initialCapacity, loadFactor);
  5.     this.accessOrder = accessOrder;
  6. }

该哈希映射的迭代顺序就是最后访问其条目的顺序,这种映射很适合构建LRU缓存。LinkedHashMap提供了removeEldestEntry(Map.Entry<K,V> eldest)方法。该方法可以提供在每次添加新条目时移除最旧条目的实现程序,默认返回false,这样,此映射的行为将类似于正常映射,即永远不能移除最旧的元素。

 

当有新元素加入Map的时候会调用Entry的addEntry方法,会调用removeEldestEntry方法,这里就是实现LRU元素过期机制的地方,默认的情况下removeEldestEntry方法只返回false表示元素永远不过期。

  1.   /**
  2.     * This override alters behavior of superclass put method. It causes newly
  3.     * allocated entry to get inserted at the end of the linked list and
  4.     * removes the eldest entry if appropriate.
  5.     */
  6.    void addEntry(int hash, K key, V value, int bucketIndex) {
  7.        createEntry(hash, key, value, bucketIndex);
  8.        // Remove eldest entry if instructed, else grow capacity if appropriate
  9.        Entry<K,V> eldest = header.after;
  10.        if (removeEldestEntry(eldest)) {
  11.            removeEntryForKey(eldest.key);
  12.        } else {
  13.            if (size >= threshold)
  14.                resize(2 * table.length);
  15.        }
  16.    }
  17.    /**
  18.     * This override differs from addEntry in that it doesn’t resize the
  19.     * table or remove the eldest entry.
  20.     */
  21.    void createEntry(int hash, K key, V value, int bucketIndex) {
  22.        HashMap.Entry<K,V> old = table[bucketIndex];
  23. Entry<K,V> e = new Entry<K,V>(hash, key, value, old);
  24.        table[bucketIndex] = e;
  25.        e.addBefore(header);
  26.        size++;
  27.    }
  28.    protected boolean removeEldestEntry(Map.Entry<K,V> eldest) {
  29.        return false;
  30.    }

此方法通常不以任何方式修改映射,相反允许映射在其返回值的指引下进行自我修改。如果用此映射构建LRU缓存,则非常方便,它允许映射通过删除旧条目来减少内存损耗。

例如:重写此方法,维持此映射只保存100个条目的稳定状态,在每次添加新条目时删除最旧的条目。

  1. private static final int MAX_ENTRIES = 100;
  2. protected boolean removeEldestEntry(Map.Entry eldest) {
  3.     return size() > MAX_ENTRIES;
  4. }

来源:http://zhangshixi.iteye.com/blog/673789

参考:http://hi.baidu.com/yao1111yao/blog/item/3043e2f5657191f07709d7bb.html

部分修改。

 

 

使用LinkedHashMap构建LRU的Cache

http://tomyz0223.iteye.com/blog/1035686

基于LinkedHashMap实现LRU缓存调度算法原理及应用

http://woming66.iteye.com/blog/1284326

 

 

其实LinkedHashMap几乎和HashMap一样,不同的是它定义了一个Entry<K,V> header,这个header不是放在Table里,它是额外独立出来的。LinkedHashMap通过继承hashMap中的Entry<K,V>,并添加两个属性Entry<K,V>  before,after,和header结合起来组成一个双向链表,来实现按插入顺序或访问顺序排序。

图形化压力测试工具Jmeter

Jmeter是一款强大的图形界面压力测试工具,完全用Java写成,关于Jmeter的介绍,网上其实有不少的文章,我原本是不想再重复写类似文章的,但我发现有些很关键性的,在我们测试中一定会用到的一些设置或操作很少见到有文章写清楚的,比如有这样的一个常见问题:如何对一个网站的多个链接进行压力测试?因为通常情况下,我们要测试的不是一个链接,假如我们测试的是某一网站的话,而这些链接我们通常都是写入到一个文本文件中,测试的过程中,会随机读取文件中的链接进行压力测试,我们所熟知的一些压力测试工具,例如Siege就可以这样干。

在我使用Jmeter的过程中,我发现我周围有之前使用过Jmeter的同事,但即使如此,他们对如何将多个链接写入到文本文件中并随机读取进行压力测试也不清楚,故我打算还是在有空的时候写一篇这样的文章,以方便使用者。

一、 官方网址

http://jakarta.apache.org/jmeter/

二、 运行

下载解压后,在目录jakarta-jmeter-2.4\bin下可以见到一个jmeter.bat文件,双击此文件,打开初始界面如下图:

Jmeter:图形界面压力测试工具

注意的是上面显示的是中文,如果你想使用其他语言,比如英文,那么通过菜单选项->选择语言->英文即可,当然转为中文也是同样操作。

三、 运行预准备

我们现在要对子猴博客来进行一番压力测试,压力测试对象为随机的几个网页链接,这几个链接是写在一个文本文件中的,在压力测试的时候会随机读取。

1、  建立一个线程组,如下图

Jmeter:图形界面压力测试工具

为什么要建立线程组?原因很简单,因为我们要模拟多个线程(用户)来访问网站。

线程组创建界面如下图:

名称可以随意填写,默认选中“继续”即可。

线程属性部分中,线程数是启动多少个线程,我这里填写的是60,Ramp-Up Period (in seconds)表示线程之间间隔多少时间允许,单位是秒,比如如果填写120,那么120/60=2表示60个线程间每隔2秒钟请求网站。

循环次数:60个线程运行完毕算是一次,循环次数就是这样的一个请求过程运行多少次,我这里填写的是1000.

每次修改一个设置后,别忘记了保存一下。

2、  设置请求服务器、压力链接等信息

接下来很自然的是,我们要测试的网站地址是什么?链接是什么?所以现在我们就来设置这些信息。

右键点击我们刚创建的线程组,在弹出的菜单中,选择添加->Sampler->Http请求,弹出如下图界面:

Jmeter:图形界面压力测试工具

名称:随意填写

注释:可有可无

服务器名称或IP:我这里填写 zihou.me

端口号:我这里填写80

Timesout部分可以不填

HTTP请求部分的协议:http,方法我选择的是GET,Content encoding我填的是UTF-8.

路径:

这里值得一提的就是这个路径,假如你只是对一个链接进行压力测试,那么这里就非常简单了,你就直接填写一个链接就够了,比如http://www.zihou.me,但很多情况下都不是这样的,我们这里需要多个链接,就如同刚开始讲到的那样,我们要将多个链接保存到一个文本文件中,然后随机读取进行压力测试。我们可以这么干,如图:

Jmeter:图形界面压力测试工具

Jmeter:图形界面压力测试工具

在选择一个功能下拉列表中选择_StringFromFile,然后在本机新建一个测试文件text.txt,在第一行(你也可以不在第一行)的值中填写测试文件的路径,如下图:

Jmeter:图形界面压力测试工具

然后点击“生成”按钮,在生成按钮的左边文本框中将生成一个字符串如:

${__StringFromFile(E:\test\test.txt,,,)}

在测试文件中,我们每行写一个URL链接,如下格式:

2011/03/26/3054

2011/03/26/3052

2011/03/26/3042

2011/03/25/3040

2011/03/25/3034

2011/03/24/3027

注意,每行前面并没有http://www.zihou.me这样的信息,因为我们在前面已经填写了服务器地址为zihou.me,这里就没必要再为每个url填写这个相同前缀了;另外,上面的url格式也只是个例子,表示域名后的部分,但很多时候url后面跟的都是各参数,比如http://www.zihou.me/p?a=1&b=3,如果是这种情况,则上面的链接可以写为:

a=1&b=3这样的形式。

现在我们可以来填写前面所说的路径了,如下:

/ ${__StringFromFile(E:\test\test.txt,,,)}

这样一来,当我们并非请求的时候,就会从test.txt中随机选择url来进行压力测试。

另外值得注意的一个地方是,如果参数中有中文的情况,运行的时候可能会出现乱码,这个时候就需要注意你在Jmeter中的编码设置与你要请求的网页编码是一致的。

路径文本框下面的选项,可以按默认的就成,Use multipart/form-data for HTTP POST是当请求中有附件的情况,一般情况下都不用选中的。

同请求一起发送参数部分:

如果你仅仅是对某一个固定的页面进行压力测试,那你就可以不用进行上面所说的在文本文件中设置URL的过程了,直接在这里设置就行了,这里的名称就是参数名,值就是参数值,在这里添加就OK了,但你如果是压力多个链接,那这里你可以不用填。

3、查看运行结果

上面设置好后,接下来很自然的想到如何查看运行结果呢?Jmeter在这方面提供了好些个查看方式,有表格形式,有曲线形式等等,我个人认为查看表格形式就足够了!

鼠标右键点击线程组,在弹出的菜单中选择添加->监听器->用表格查询结果,如下图:

Jmeter:图形界面压力测试工具

Jmeter:图形界面压力测试工具

当然,你也可以选择其他查看方式,你也可以看到在监听器菜单中,有好多种方式。

四、 运行

好了,现在我们终于可以运行了!

选择菜单项运行->启动,如下图:

Jmeter:图形界面压力测试工具

当然,在运行前,你得把所有修改都保存了。

运行后的结果表格如下:

Jmeter:图形界面压力测试工具

各属性如下:

Sample:每个请求的序号

Start Time:每个请求开始时间

Thread Name:每个线程的名称

Label:Http请求名称

Sample Time:每个请求所花时间,单位毫秒

Status:请求状态,如果为勾则表示成功,如果为叉表示失败。

Bytes:请求的字节数

如果Status为叉,那很显然请求是失败了,但如果是勾,也并不能认为请求就一定完全成功了,因为还得看Bytes的字节数是否是所请求网页的正常大小值,如果不是则说明发生了丢包现象,也不是完全成功。

在下面还有几个参数

样本数目:也就是上面所说的请求个数,成功的情况下等于你设定的并发数目乘以循环次数。

平均:每个线程请求的平均时间

最新样本:表示服务器响应最后一个请求的时间

偏离:服务器响应时间变化、离散程度测量值的大小,或者,换句话说,就是数据的分布(这个我不是很理解)。

在上面的参数中,我个人认为只要看Status和Bytes这两个就够了。

好了,主要的就介绍这么多了,其实Jmeter做压力测试的范围远远不止于对Web,它还可以用于Java小服务程序、CGI 脚本、Java 对象、数据库, FTP 服务器等等,更多的使用可以根据自己的需要去研究掌握。

最后还提到的一点是:你一定注意到了,HTTP请求和结果查看都是在线程组这一节点下创建的,其实,你也可以不用一定要在线程组下创建,你在测试计划下建立也可以,但创建在线程组下面可以使得我们的测试意图一目了然,也就是我们的HTTP请求和结果查看都是基于我们设定的线程组的。

转自链接《http://blog.sina.com.cn/s/blog_62192aed0101jdgi.html》

参考链接 Jmeter配置:《http://blog.sina.com.cn/s/blog_62192aed0101jdhb.html》

后端开发书架

<!– 以下部分转载 –>

自从技术书的书架设定为”床底下“之后,又多了很多买书的空间。中国什么都贵,就是书便宜。

不定期更新,在碎片化的阅读下难免错评。

书架主要针对Java后端开发,书单更偏爱那些能用简短流畅的话,把少壮不努力的程序员所需的基础补回来的薄书,而有些教课书可能很著名,但干涩枯燥,喋喋不休的把你带回到大学课堂上昏昏欲睡。

 

1. 操作系统与网络的书

《Linux内核设计与实现 – Linux Kernel Development》
Robert Love用最薄的篇幅,顺畅的文字将Linux内核主要的算法讲清楚了,比《深入理解Linux内核》《深入Linux内核架构》之类厚厚的全是代码的书强到不知哪里去,不是专门的内核程序员看这本足够了。

《Linux系统编程 – Linux System Programming》
继续是Robert Love,也是以薄见长,专门针对最重要的系统调用讲解,却甚至比APUE更详细。

《TCP/IP详解 卷1:协议 – TCP/IP Illustrated, Volume 1: The Protocols》
这么多年过去了,TCP的书好像还是只有这一本,有点旧了,看了也还是半懂不懂。后人在2011年写了第二版,看起来也清晰明了与时俱进了很多,机械工业正在翻译,英文好的建议直接看第二版。

《现代操作系统 – Modern Operating Systems》
如果看LKD未尽兴,可以回头看看这本基础概念,感觉比那本枯燥的《操作系统概念》(恐龙书)读起来舒服。

《深入理解计算机系统 – Computer Systems A Programmer’s perspective》
CSAPP,从巧妙的把程序设计及优化、数字电路基础、指令集体系、汇编语言、存储器体系结构等等这一摊来自各不同的学科的核心知识点搅和在一起,并以程序员的视角呈现,正确的直译书名是《程序员所需要了解的计算机知识》。
PS. 《UNIX环境高级编程》,APUE更多作为一本超厚工具书存在。《Unix 编程艺术》,扯的都是闲篇,厚厚的一本其实略读一下或看些精华笔记就行。

 

2. 算法的书

《数据结构与算法分析-Java语言描述》
够薄,数据结构与算法分析的点基本都涵盖了,而且示例代码还是Java写的。

《算法》
可与上一本对比着读,厚一些,也多些图,但知识点没上面的全,也是Java的。

《算法设计与分析基础》
数学系偏爱无比枯燥很多公式的《算法导论》,计算机系喜欢这本实用主义的典型。翻开就看到一段很文艺很贴心的话:“效率能用数学的严密性进行精确定义,而简单性就像“美”一样,很大程度取决于审视者的眼光。简单的算法更容易理解和实现,因而相应的程序也往往更少的Bug。当然对于简单性的美学诉求也是让人无法抗拒的。”
PS. 《数学之美》《编程珠玑》,都是专栏文章,讲得并不系统,可以当兴趣读物来看。

3. Java的书

《写给大忙人看的Java SE 8》
事实上,为了保持兼容性,很多项目都保持在JDK5/6上,这本书一次过将JDK7/JDK8的更新讲了,是本快捷的升级指南。

《Java并发编程实战》
人手一本不用多说了。

《深入理解 Java 虚拟机 第2版》
深入理解虚拟机并不是那么难,Java程序员都该看看,很多知识其实是必须的。
PS. 《Effective Java》外界一致推崇,但有点太过誉了。另外《Thinking in Java》有点旧了,新程序员得同时看两卷《Core Java》

 

4. 架构设计的书

《程序员必读之软件架构 – Software Architecture for Developers》

codingthearchitecture.com Simon Brown的书,不过叫“必读”有点过。这本书大概分两部分:
1. 编码的架构师:一直是我的职业模板,我记的笔记
2. 架构表达的文档模板: 当年我觉得RUP的基于4+1视图的机械架构文档模板不足以表达系统时,Simon Brown的模板给了很好的过渡范例。

《恰如其分的软件架构 – Just Enough Software Architecture: A Risk-Driven Approach》
由于人类与生俱来的惰性,计算机原本科学的、精准的设计方式,有了敏捷的借口之后就很难再维持了。本书就是在这种背景下,提出由风险来决定设计流程的度,当然,这个风险是广义的。

《发布!软件的设计与部署 – Release It!: Design and Deploy Production-Ready Software 》
关于高可靠性的软件,学校里不会教,出来社会却要面对的那部分,英文的原标题更清晰。

《大型网站技术架构:核心原理与案例分析》
淘宝出品,大型互联网站的科普入门书。

《大规模分布式存储系统》
继续淘宝出品,分布式文件系统与数据库的科普入门书。

《大数据日知录》
前几年参加各种技术会议,CAP,最终一致性,RWN,向量时钟,Paxos,一致性哈希,Gossip什么的能灌你一耳朵。而现在,你只要在家安安静静的看书就够了。不过这个领域发展太快,期望它可以持续出新版。
PS. 关于设计模式,我以前曾经有过很多很多本,GOF23啦,企业应用架构模式啦,EIP啦, POSA 5卷本啦,反模式啦,JavaEE/SOA/Restful的模式啦,但现在觉得对新人来说,一本Java写的《Head First 设计模式》,知道什么叫设计模式就够了。

 

5. 具体技术的书

《Redis设计与实现分析》
用Redis的工程师桌面必备吧,不用再多说了。

《从Paxos到Zookeeper》
Zookeeper的书,淘宝出品。

《Mastering Apache Cassandra 2nd》
2015年新出,当然来不及翻译,感觉Cassandra的书里相对最好的。

《Storm源码分析》
作为工具书在手边备一本,快速看一遍在文档之外多了解一些实现,毕竟那Clojure语言就不是给普通人看的。

《Storm分布式实时计算模式》
大概讲了下Storm如何结合其他开源项目实现一些场景,可以开拓眼界,但不直接指导我的项目的开发。
–在所有Storm书里,上面两本暂时是最推荐买的。

《Spark大数据处理技术》
在Spark的书里左挑右挑选了这本,不过是典型的多人合著的书。

 

6. 程序员的自我修养

PS. 最近没买什么新书,随便说点旧书:

《程序员修炼之道-从小工到专家》,Pragmatic Programmer-注重实效的程序员开山之作,翻译的马达维文笔也和熊节一样好。

《代码整洁之道》《程序员的职业素养》,英文名是很相近的《Clean Code》和 《Clean Coder》,应该接替《代码大全2-Code Complete2》成为必看的系列,因为后者太厚了,而且也有不少过时的东西,要自己去过滤。

《重构》很厚,但最有价值就是前面几章的洗脑篇,具体实作不如薄薄的《重构手册》

关于敏捷的书,最开始的那本《解析极限编程–拥抱变化》就很好,再随便找本Scrum的流程看看就够了,《敏捷开发的艺术》也不错。

《布道之道 – Driving Technical Change:Why People on Your Team Don’t Act on Good Ideas,and How to Convince Them They Should》,经常在组织里推行新技术的同学可以看下,七种怀疑论者模式,脑海中一幅幅熟悉的面孔。

《软件架构师的12项修炼》,架构师的软技能。
欢迎大家在评论里补充。
文章持续修订,转载请保留原链接: http://calvin1978.blogcn.com/articles/bookshelf.html

<!–  转载结束 –>

不能用evernote,这里继续记录自己要写的东西。

首先,自己明确一下,当前使用的后端是Java,那么必须在Java上有比较深入的研究后面才比较好发展。

感觉要提升的还是有很多。首先就是先搞定Java基础吧。根据上面说的和自己的当前状况,以及所有的资源,总结自己接下来要学习的东西:

Java相关:
《写给大忙人看的Java SE 8》《Java并发编程实战》《深入理解 Java 虚拟机 第2版》《Thinking in Java》,两卷《Core Java》

《程序员修炼之道-从小工到专家》,Pragmatic Programmer-注重实效的程序员开山之作,翻译的马达维文笔也和熊节一样好。看这个介绍,感觉是我现在比较需要的。从二手市场上估计不太好找,这个准备买新的了。

目前就这些。

转载:读取.properties配置文件

一、前言                              

Java工程中想log4j、数据库连接等配置信息一般都写在.properties文件中,那么如何读取这些配置信息呢?下面把相关方法记录下来供以后查阅。

 

二、.properties文件                        

配置文件的一种,内容以键值对的形式存在,且每个键值对独占一行。#号作为行注释的起始标志,中文注释会自动进行unicode编码。示例:

# ip and port of server socket
ip=127.0.0.1
port=9999
# error message
msg=I'm sorry, bye bye!

假设上述内容存储在config.properties文件下,且bin目录结果如下:

  bin

|– main

|– Demo.class

|– config.properties

后续章节的示例将以上述内容作为目标对象来操作。

 

三、通过 Properties对象 操作                    

读取属性,示例:

复制代码
public class Demo{
  public static void main(String[] args){
    Properties props = new Properties();
    
    InputStream in = Demo.class.getResourceAsStream("../config.properties");

    // 或使用文件输入流(不推荐),假设当前工作目录为bin
    //InputStream in = new FileInputStream("./config.properties");

    props.load(in);
    in.close();
    
    // 读取特定属性
    String key = "ip";
    String ip = props.getProperty(key);

    // 遍历所有属性,方式一
    Set keys = props.keySet();
    for (Interator it = keys.iterator(); it.hasNext();){
        String k = it.next();
        System.out.println(k + ":" + props.getProperty(k));
    }
     // 遍历所有属性,方式二
    Enumeration en = props.propertyNames();
    while (en.hasMoreElements()){
        String k = en.nextElement();
        System.out.println(k + ":" + props.getProperty(k));
    }
  }
}
复制代码

1. 通过 Demo.class.getResourceAsStream(“../config.properties”); 读取配置文件,配置文件的相对路径以类文件所在目录作为当前目录。

2. 通过 new FileInputStream(“./config.properties”); 读取配置文件,配置文件的相对路径以工作目录(可以通过 System.getProperty(“user.dir”) 获取工作目录)作为当前目录。

注意:上述两种方式获取的配置文件均没有被缓存。每次都要重新加载配置文件。

写属性,示例:

复制代码
Properties props = new Properties();
InputStream in = getClass().getResouceAsStream("properties文件相对于当前类加载路径的文件目录");
props.load(in);

OutputStream output = new FileOutputStream("properties文件路径");
props.setProperty("ip", "10.248.112.123"); // 修改或新增属性键值对
props.store(output, "modify ip value"); // store(OutputStream output, String comment)将修改结果写入输出流
output.close()
复制代码

 

四、通过 ResourceBundle对象 操作                    

通过该方式仅能读取配置文件而已,不能进行写操作。示例:

// ResourceBundle rb = ResourceBundle.getBundle("配置文件相对工程根目录的相对路径(不含扩展名)");
ResourceBundle rb = ResourceBundle.getBundle("config");
try{
    String name = rb.getString("name");
}
catch(MissingResourceException ex){

注意:上述方式会缓存配置文件信息,后续读取时均是读取缓存中的内容,若在此期间修改了配置内容是无法实时同步的

ResourceBundle有两个子类ListResourceBundle和PropertyResourceBundle,在读取properties文件时实际上是使用PropertyResourceBundle来处理。

题外话:

ResourceBundle主要用于解决国际化和本地化问题。通过资源命名定义各语言和方言的信息,然乎程序在运行时获取当前本地化信息,并根据本地化信息加载相应的资源完成本地化。

资源命名规范:

复制代码
// 仅含家族名
MyResource

// 含家族名和语言
MyResource_en

// 含家族名、语言和国家
MyResource_en_US
复制代码

对应的Java代码:

// ResourceBundle首先会根据语言和国家的本地化信息去查找资源(假设现在要查找MyResource_zh_CN),当找不到时就会找MyResource_zh,再找不到就用MyResource。
ResourceBundle rb = ResourceBundle.getBundle("MyResource", Locale.getDefault())

 

五、总结                              

当然方式不止这些啦,日后继续补充!

尊重原创,转载请注明来自:http://www.cnblogs.com/fsjohnhuang/p/3995386.html  ^_^肥仔John

 

六、参考                              

http://www.cnblogs.com/panjun-Donet/archive/2009/07/17/1525597.html