0%

开题

hadoop-metrics2其实是hadoop-common工具包中的一个小模块,它设计了一个完整的metrics使用方案,工作中正好用到了,这里从代码层面分析下其设计思路,并不会贴大段大段的代码

代码分析

hadoop-metrics2的整个流程都被封装到了MetricsSystem中,随着这个类的启动,配置初始化->metrics生成->metrics投递的整个链路就串通了。

阅读全文 »

开题

3年前写爬虫的时候还是用的正则,而且都是用原生的库。最近貌似爬虫相关的文章比较多,于是我也想弄点资料玩一玩了。简单看了下scrapy的使用,发现用了xpath来定位爬取数据,确实比正则要简介方便。
但是在我进行页面分析的时候,发现网上居然没有xpath在线测试的工具,json格式化,正则测试,unix时间戳什么的倒是不少,于是花了一点时间做了一个很简单的网页版xpath在线测试,这样在对html进行分析的时候就方便多了。

阅读全文 »

2015年12月10日,入职阿里,不知不觉又过了一个春秋,无论是欢笑还是痛苦,都将成为满满的回忆


工作

来阿里这一年应该是我工作这三年中收获最大的一年,真切的觉得自己的眼界开阔了。

1.技能

  • 学习掌握了各种中间件,如:精卫metaqdiamondhsfTDDLeagleeye等,其中部分中间件做了深入了解,明白了一个中间件应该在何种场景下使用,使用上应该注意什么问题
  • 了解了各种平台,如:BCP全链路压测宙斯aoneGOCxflusharmory等,从底层的机房管理到上层软件的开发测试发布,阿里有自己的一套体系,并且正是这套体系维持着阿里现有生态环境。
  • 深入学习了solr+lucene,在进阿里之前面试官君山问我想做技术还是想做业务,我当然说搞技术了,没想到进来是搞搜索,而且一搞就是一年。由于是老业务,所以更多的精力放在了维护上,不过也因此深入的体会到了一个分布式系统应该注意的问题,也深入的体会到了一个数据型业务应该注意的问题。
    工作之余的研究学习使得我进一步掌握了solr的实现细节,明白了一个真正的搜索系统应该拥有哪些周边环节,仅仅靠lucene是不够的,仅仅拿来使用也是不够的,如果有定制化需求,你得知道怎么改才更符合公司的业务需求。
  • 了解了阿里的docker化体系。由于此前在云计算公司待过,做过类似swarm的管理工具,所以上手很容易。加上作为业务平台部门的docker专项负责人,推进了各个部门的docker化,从架构上明白了公司对于docker化的运用。
  • 参加了双十一,这个也算技能的原因是此前一直不知道双十一如此巨大的qps+tps到底应该怎么做,现在心里有杆秤了,不会再觉得那么虚无缥缈高不可攀了。
阅读全文 »

I-am-back
由于sae停止为开发者提供免费金币,经过一段时间付费发现原有博客那丢丢流量还是挺费钱的,所以干脆用github的好了,永远online,还能练习markdown
感谢github提供的免费空间,感谢hexo提供的blog支持,感谢NexT的主题
坑已挖好,准备开填(≧▽≦)/啦啦啦

最近工作中遇到了golang的项目,稍稍对其产生了点兴趣,打算认真学习下,正巧在搭建mysql主备环境的时候发现如果用一个代理程序的话自己测试会方便很多(主要还是为了造轮子),于是这个基于golang的tcp proxy项目就产生了

需求

  1. 由于是为了学习golang,所以要在实现代理基础功能的前提下尽可能的用到golang的各种基础知识
  2. 不可能真单纯的为了玩,学一个东西除了为充实大脑,更为了能有实际用途,所以有必要工程化
  3. 程序不要太繁杂,毕竟这是我的第一个golang工程,来日方长
阅读全文 »