今天同学说让我写个脚本统计日志。日志是一些ip的捕捉记录,根据协议的类型定义了一些ID和子ID。统计的需求是统计出各个类型的客户IP和服务IP。
日志统计脚本
海量数据处理总结
备战百度,在海量数据处理的主题上做一个总结。
详情来自cnblogs
1.Bloom Filter
将数据通过hash函数映射到位数组,比如hash(str)=3则将位数组第三位置为1
对每一条数据都用k个hash函数进行映射,也就是一条数据会将位数组的最多k位的值置1。
读取文件奇数行
今天处理“如何读取文件偶/奇数行”这个问题的时候,本来是打算用python来解决
python本身是很简单的,偶数代码如下:
|
|
奇数行代码如下:
历史的河流
历史的河流打算按照日记的样子重新流过
OpenVPN分析
OpenVPN 从架构上来看,OpenVPN在某种程度上和 tinc 或者和VTun 比较相近,它是一个基于用户模式(user-mode)的程序,通过 TUN/TAP 接口与 TCP/IP 栈进行通信。
