工作内容转变,企业发展方向转变

前几个月一直在做一个项目,一直也做的好好的,是整个后台部分的负责人。虽然说公司要转型互联网,但是总的来看,有些新组建的,做新业务的部门是有所改变,正在做一些互联网产品的东西;但是对于我们部门,一个在技术和经验上都没有什么互联网方面的积累的部门,转变不是一句话的事,也不是三两天能够完成的事。

一开始接过来这个项目的时候,几乎部门所有的人员,包括产品,设计,开发,仍然是把这个项目当作了一个外包项目在做。话说回来,虽然这个项目在公司层面上仍然是个外包的项目,但是里面的性质已经不一样了。之前 公司会做一些什么样的项目呢,比如给某企业开发一个内部办公系统,给某服务商开发一个子产品,等等。那种是完全人家什么需求基本都定了,然后要我们来做,我们出体力的民工,就是码农。

但是这个项目不一样了。这个项目是在智慧城市概念的引导下,房地产商想要在自身服务上做出突破和改变而产生的需求,他们有需求要做,要改变,但是,要做成什么样,要改变成什么样,他们也没有一个非常清晰明了的概念。这就是跟之前不一样的地方了。我们要参与设计,我们要创新,并且让客户接受,让客户的客户接受;我们不能只是站在一个体力劳动者的角度去考虑问题了,我们需要站在客户的位置,站在运营者的位置和角度,去考虑我们的产品如何设计能够更美,更合理,能更吸引用户,更方便用户,如何能让我们的产品做出来之后能够方便用户。

虽然做这个软件,做这个网站仍然是客户的需求,但是我们不能再把自己只是放在一个体力劳动者的位置去干活了。我们要转型,就必须转变心态,转变思维方式,转变角度。(虽然哪怕是做外包工作时候,想要把工作做好就要持有这个心态,但是现实总是比较骨干的,终于把大家想要好好设计产品,好好做出产品的心气磨灭了之后,现在又要我们把它捡起来。)

服务器内存溢出

昨天晚上发出来的邮件,有一台服务器又宕掉了,无法连接登录。今天去服务器上看了一下,发现服务器是正常的,但是jvm内存已经被使用完了,最后的log是java.lang.outofmemoryerror java heap space,时间是昨天晚上接近零点,就是说昨天晚上接收到这些请求报出这些 错误之后就不再处理请求了。

之前怀疑是由于jdk版本的原因,导致的是堆外内存泄露,从而导致我们的服务器宕机。然而现在从我们观察到的日志来看,并不是堆外内存导致的服务无法使用,而是Java虚拟机内部内存无法回收导致的(在JVM中如果98%的时间是用于GC且可用的 Heap size 不足2%的时候将抛出此异常信息)。那么也就是说,应该不是jdk版本中堆外内存回收机制的bug导致的我们系统崩溃,而是我们的代码中确实存在不合理的代码,导致Java虚拟机内存资源被持续占用得不到释放。

上面这个报出此异常的条件是从网上搜索得来的,需要从其他地方进行查证后再确认。

需要仔细研究一下Java虚拟机内存的分配、使用机制,对此足够的熟悉才能从这些现象中就找到触发这些问题的根本可能原因,不像现在两眼一抹黑,完全无头绪让人牵着走。这感觉太难受了。

之前的使用不同jdk版本进行压力测试的计划继续执行(原来这个计划应该是为了观察是否有高版本比低版本更好的堆外内存回收机制处理方法的,虽然我现在觉得这个测试已经意义不大,但是现在主导人将这个计划的目标定位为确定高版本jdk比低版本整个有更好的gc机制),正好这个计划执行期间有非常多的空余时间,我趁这个机会阅读一些Java虚拟机对于内存的管理方法相关的内容,尽量也了解一些Linux对于内存的管理机制。这两块都太不熟悉。

对于java.lang.outofmemoryerror java heap space这个错误的解决方案,这篇博文比国内搜到的大多数内容都好太多《http://blogs.opcodesolutions.com/roller/java/entry/solve_java_lang_outofmemoryerror_java》。

留:《http://outofmemory.cn/c/java-outOfMemoryError》

我之内存管理分析之不足

截止目前为止,对于我们正在做的性能测试有了一点概念,但是对于我们这次要做得到的东西仍然没有一个深刻的了解。原因有如下几个方面:
1、我之前只是听说过而没有接触过性能测试方面的东西,这次上来之后对于服务器上的一系列操作 ,查看,和压力测试工具的使用,以及内存分析工具在Linux上的安装和使用,都有些摸不到头绪。工具的安装还好,从网上找一下教程,然后针对本地服务器的情况做适当修改进行操作就行了。但是网上的教程也是基于一定的基础来做的,现在是我对这部分基础都了解的不够,这导致我拿起来一个软件,凑凑合合安装完成后,依然不知道怎么用,有的甚至卡在不知道怎么启动上面。wired。
2、对于系统,尤其是服务器方面的内存管理没有什么 概念。这要牵扯到我当时的操作系统本身 就学的不怎么样,现在不只是说jvm的内存管理,出的问题还是jvm的堆外内存溢出。这个概念我差不多就是第一次接触。在随后的接触和处理过程中,主逐渐发现,现在对于“jvm堆外内存溢出”这个结论也只是猜测而已,并没有定论。技术领导想要通过这次性能测试来判断是否是jvm堆外内存溢出,如果是,那么我们可以选择升级线网环境的jdk版本来fix之前出现的bug,如果不是,那么我们就得再使用其他角度进行性能测试,并争取复现bug,并解决。
3、对于Java虚拟机和Java内存个管理,没有进行过深入的研究。虽然自开始做开发,就是使用Java,jsp和Java的一些框架等,但是对于Java真正核心的jvm的机制,管理内存的方法等,都没有了解过。(好吧时间有点紧写的仓促一些)

问题已经发现,但是解决却不是一时半会就能解决的。长时间忽视自己Java基础的深入,以为能做普通开发,能顺畅使用Java(实际这个也没能)语言进行开发就可以了。这只是一个很初级的程序员能够干活的要求。想要成为更高层次的程序员,设计师,架构师,技术经理等,必须对更深入的问题有研究,有了解,能够理解并处理这些问题。

从这次处理这个问题开始,我需要了解的一些东西:
1、Java内存处理的机制,方法。
2、jvm运行机制和方法。实际上,貌似这两个应该是同一个。
3、压力测试的相关的一些基础。

从网上着一些资料,好好熟悉一下。

以下为部分需要参考文档

《http://wenku.baidu.com/view/2e3f652cb4daa58da0114a1a.html》

《http://wenku.baidu.com/view/b965f6c30c22590102029d60.html》

以及性能测试文档