文档章节

高性能异步批量ping的golang实现

caucy
?caucy
发布于 09/30 22:42
字数 1005
阅读 768
收藏 9

一个监控项目有个需求,会对一批域名全国的边缘节点进行探测,这里包括,丢包率,http 响应时间,探测频率大概时间是2min 一个周期。这里的域名大概有几百个甚至上千。由于是golang 写的调度和agent, 所以,这里探测丢包率是一个有意思的问题。由于目前git 上没有一个好用的支持multi-ping 的库包,或者多ping 有bug,我自己实现了一个。

git 地址:https://github.com/caucy/batch_ping

1,icmp 协议介绍

icmp 的报文头部一共是2+2+4+4+4 个字节。

type ICMP struct {
	Type        uint8
	Code        uint8
	CheckSum    uint16
	Identifier  uint16
	SequenceNum uint16
	}

这里 type 是icmp 类型,常见有发送报文头 Echo, 回收报文头 Echo Reply 等,更多类型 见 https://tools.ietf.org/html/rfc792 。 Code 进一步划分ICMP的类型,该字段用来查找产生错误的原因;CheckSum 校验码部分,这个字段包含有从ICMP报头和数据部分计算得来的,用于检查错误的数据;而Identifier 通常为进程id,标识具体是哪个进程发送的icmp 包;SequenceNum 标识发送包的顺序id。

icmp 有个特点,listen 能收到其他进程ping 的结果,看下面例子:

package main

import (
	"log"

	"github.com/caucy/batch_ping"
)

func main() {
	ipSlice := []string{}
	// ip list should not more than 65535

	ipSlice = append(ipSlice, "3g.qq.com")

	bp, err := ping.NewBatchPinger(ipSlice, false) // true will need to be root

	if err != nil {
		log.Fatalf("new batch ping err %v", err)
	}
	bp.SetDebug(true) // debug == true will fmt debug log

	bp.SetCount(100)

	bp.Run()
}

启动上面的进程,会连续ping 3g.qq.com,同时,再启动一个进程ping www.baidu.com , 日志会显示,收到了220.181.38.150 的icmp 包。

2, 如何支持同时支持ping 多个addr

第一种是最简单的,也是大多数探针采用的方式:subprocess 。这个方式有个缺点,就是每个任务会fork 一个进程,非常耗费耗费资源。

第二种方式,我是这样想的,golang 有icmp 包,能够支持send and recive, 我直接起协程 去 收发,每个协程和subprocess 一样,先发后等,这样不就行了?然后起一组协程池,这样并发也能控制。然而,上面例子已经提到了,listen 后的conn 能收到其他进程 ping 的结果,这样实现挺麻烦。

第三种方式,一个协程收,一个协程发。最后选择的是这种方式。

一个协程收,一个协程发,有什么比较麻烦地方?因为icmp 层只能标识seq,所以会出现icmp 包头相同的情况,同时,批量收发,非常容易出现丢包的情况。

3,batch-ping 特性

  • 支持原地址控制
  • 支持ipv6 (操作系统本身支持“ip6:ipv6-icmp”,“udp6” dial )
  • 支持时间间隔控制
  • 支持发送方式控制
  • 支持多addr 控制
  • 支持 mac, linux

使用示例:

package main

import (
	"log"

	"github.com/caucy/batch_ping"
)

func main() {
	ipSlice := []string{}
	// ip list should not more than 65535

	ipSlice = append(ipSlice, "2400:da00:2::29") //support ipv6
	ipSlice = append(ipSlice, "baidu.com")

	bp, err := ping.NewBatchPinger(ipSlice, false) // true will need to be root

	if err != nil {
		log.Fatalf("new batch ping err %v", err)
	}
	bp.SetDebug(true) // debug == true will fmt debug log

	bp.SetSource("") // if hava multi source ip, can use one isp

	bp.OnFinish = func(stMap map[string]*ping.Statistics) {
		for ip, st := range stMap {
			log.Printf("\n--- %s ping statistics ---\n", st.Addr)
			log.Printf("ip %s, %d packets transmitted, %d packets received, %v%% packet loss\n", ip,
				st.PacketsSent, st.PacketsRecv, st.PacketLoss)
			log.Printf("round-trip min/avg/max/stddev = %v/%v/%v/%v\n",
				st.MinRtt, st.AvgRtt, st.MaxRtt, st.StdDevRtt)
			log.Printf("rtts is %v \n", st.Rtts)
		}

	}

	err = bp.Run()
	if err != nil {
		log.Printf("run err %v \n", err)
	}
	bp.OnFinish(bp.Statistics())
}

4,可能问题

因为icmp 基于udp,时间间隔非常小,发送机器非常多的时候,会出现非常严重丢包,内核参数需要优化。

最后,文章不易,希望大家点个star,试用。 https://github.com/caucy/batch_ping

? 着作权归作者所有

caucy
粉丝 53
博文 76
码字总数 48617
作品 0
东城
程序员
私信 提问
加载中

评论(2)

红薯
红薯
放码云上呗
caucy
caucy 博主
我研究下怎么弄
基于 libevent 开发的 C++ 11 高性能网络服务器--evpp

evpp是一个基于libevent开发的现代化C++11高性能网络服务器,自带TCP/UDP/HTTP等协议的异步非阻塞式的服务器和客户端库。 特性: 现代版的C++11接口 非阻塞异步接口都是C++11的functional/bi...

zieckey
2017/03/06
11.5K
18
高性能和轻量级网络库 - gnet

gnet 是一个基于 Event-Loop 事件驱动的高性能和轻量级网络库。这个库直接使用 epoll 和 kqueue 系统调用而非标准 Golang 网络包:net 来构建网络应用,它的工作原理类似两个bckbet怎么样的网络库:l...

潘少online
09/16
7K
8
Hprose for Go 2.0.0 发布,微服务首选引擎

Hprose 2.0 for Golang 终于发布了。这是一个里程碑版本,针对开发者进行了多项改进。 Hprose 2.0 for Golang 新增了许多特征: 更快更稳定的序列化。 增加了数据推送的支持。 oneway 调用支...

andot
2016/10/31
4.1K
18
Aliyun LOG Golang Producer 原理剖析

背景 aliyun-go-producer为运行在大数据、高并发场景下的 Java 应用量身打造的高性能写 LogHub 类库。相对于原始的 API 或 SDK,使用 producer 写数据能为您带来诸多优势,包括高性能、计算与...

Evan_晓航
05/14
0
0
Hprose for PHP 1.5.4 发布

Hprose 是高性能远程对象服务引擎(High Performance Remote Object Service Engine)的缩写。 它是一个先进的轻量级的跨语言跨平台面向对象的高性能远程动态通讯中间件。它不仅简单易用,而...

andot
2015/05/11
2.4K
9

没有更多内容

加载失败,请刷新页面

加载更多

canvas-a10isPointPath2.html

本文转载于:专业的前端网站?canvas-a10isPointPath2.html Document ......

前端老手
27分钟前
6
0
Spark sql流式处理的主流程分析

Spark sql支持流式处理,流式处理有Source,Sink。Source定义了流的源头,Sink定义了流的目的地,流的执行是从Sink开始触发的。 Dataset的writeStream定义了流的目的地并触发流的真正执行,所...

守望者之父
48分钟前
4
0
算法: 求第 N 个泰波那契数

泰波那契序列 Tn 定义如下: T0 = 0, T1 = 1, T2 = 1, 且在 n >= 0 的条件下 Tn+3 = Tn + Tn+1 + Tn+2 给你整数 n,请返回第 n 个泰波那契数 Tn 的值。 示例 1:输入:n = 4 输出:4 解释...

无名氏的程序员
58分钟前
4
0
git本地及远程分支回退

1.开始 远程master分支下代码被不小心提交了很多垃圾代码或项目删掉,想要回滚到以前的某一版本并删除commit log。怎么办 情景很简单。实现上面场景的代码如下: 1 2 3 4 5 6 vim A.txt git ...

rock912
今天
5
0
20191013 smartImageView的使用

SmartImageView主要是为了加速从网上加载图片,支持根据URL地址加载图片,支持异步加载图片,支持图片缓存等。 导包 layout文件中添加组件 注意组件全地址 <>

逆天游云
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部