你的位置:首页 > 操作系统

[操作系统]Linux2.6内核协议栈系列

在介绍tcp发送函数之前得先介绍很关键的一个结构sk_buff,在linux中,sk_buff结构代表了一个报文:

然后见发送函数源码,这里不关注硬件支持的分散-聚集:

/* sendmsg系统调用在TCP层的实现 */int tcp_sendmsg(struct kiocb *iocb, struct sock *sk, struct msghdr *msg,		size_t size){	struct iovec *iov;	struct tcp_sock *tp = tcp_sk(sk);	struct sk_buff *skb;/*一个报文*/	int iovlen, flags;	int mss_now;	int err, copied;	long timeo;	/* 获取套接口的锁 */	lock_sock(sk);	TCP_CHECK_TIMER(sk);	/* 根据标志计算阻塞超时时间 */	flags = msg->msg_flags;	timeo = sock_sndtimeo(sk, flags & MSG_DONTWAIT);	/* Wait for a connection to finish. */	if ((1 << sk->sk_state) & ~(TCPF_ESTABLISHED | TCPF_CLOSE_WAIT))/* 只有这两种状态才能发送消息 */		if ((err = sk_stream_wait_connect(sk, &timeo)) != 0)/* 其它状态下等待连接正确建立,超时则进行错误处理 */			goto out_err;	/* This should be in poll */	clear_bit(SOCK_ASYNC_NOSPACE, &sk->sk_socket->flags);	/* 获得有效的MSS,如果支持OOB,则不能支持TSO,MSS则应当是比较小的值 */	mss_now = tcp_current_mss(sk, !(flags&MSG_OOB));	/* Ok commence sending. */	/* 获取待发送缓冲区数组指针及其长度 */	iovlen = msg->msg_iovlen;	iov = msg->msg_iov;	/* copied表示从用户数据块复制到skb中的字节数。 */	copied = 0;	err = -EPIPE;	/* 如果套接口存在错误,则不允许发送数据,返回EPIPE错误 */	if (sk->sk_err || (sk->sk_shutdown & SEND_SHUTDOWN))		goto do_error;	while (--iovlen >= 0) {/* 处理所有待发送数据块 */		/*要分段缓冲区的指针和长度*/		int seglen = iov->iov_len;		unsigned char __user *from = iov->iov_base;		iov++;		while (seglen > 0) {/* 处理单个数据块中的所有数据 */			int copy;			/*取传输队列的上一个sk_buff指针,这下面一小段的目的是检查			传输队列是否有未满段,未满段是当前分段长度小于1mss。只有			当现有分段满负荷时,才能生成新的数据分段*/			skb = sk->sk_write_queue.prev;			/*队列是一个双向链表,通过队列头的prev来访问套接字最后一个分段。			首先检查传输队列头是否有数据分段,如果该值是NULL,就没必要			检查未满分段。*/			if (!sk->sk_send_head ||/* 发送队列为空,前面取得的skb无效 */				/* 如果skb有效,但是它已经没有多余的空间复制新数据了 */			  (copy = mss_now - skb->len) <= 0) {/*为用户数据创建一个新的分段*/new_segment:				/* 发送队列中数据长度达到发送缓冲区的上限,等待缓冲区 */				if (!sk_stream_memory_free(sk))					goto wait_for_sndbuf;				/*如果有足够的内存,就为TCP数据分段分配新缓冲区。如果硬件				支持分散-聚集技术,就分配一个数据页大小的缓冲区。否则就				分配大小为1mss的缓冲区。*/				skb = sk_stream_alloc_pskb(sk, select_size(sk, tp),							  0, sk->sk_allocation);/* 分配新的skb */				/* 分配失败,说明系统内存不足,等待内存释放 */				if (!skb)					goto wait_for_memory;				/* 根据路由网络设备的特性,确定是否由硬件执行校验和 */				if (sk->sk_route_caps &				  (NETIF_F_IP_CSUM | NETIF_F_NO_CSUM |				   NETIF_F_HW_CSUM))					skb->ip_summed = CHECKSUM_HW;				skb_entail(sk, tp, skb);/* 将SKB新分段添加到发送队列尾部 */				copy = mss_now;/* 本次需要复制的数据量是MSS */			}			/* 要复制的数据长度copy不能大于当前段剩余的长度,			seglen的减法在下面。*/			if (copy > seglen)				copy = seglen;			/* skb线性存储区底部还有空间 */			if (skb_tailroom(skb) > 0) {				/* 本次只复制skb存储区底部剩余空间大小的数据量 */				if (copy > skb_tailroom(skb))					copy = skb_tailroom(skb);				/* 从用户空间复制指定长度的数据到skb中,如果失败,则退出 */				if ((err = skb_add_data(skb, from, copy)) != 0)					goto do_fault;			} 			/* 线性存储区底部已经没有空间了,复制到分散/聚集存储区中 */			else {            ...//忽略            }			if (!copied)/* 如果没有复制数据,则取消PSH标志 */				TCP_SKB_CB(skb)->flags &= ~TCPCB_FLAG_PSH;			/* 更新发送队列最后一个包的序号 */			tp->write_seq += copy;			/* 更新当前数据分段skb的结尾序号,以使其能够包括当前段所			覆盖的全部序列。*/			TCP_SKB_CB(skb)->end_seq += copy;			skb_shinfo(skb)->tso_segs = 0;			/* 更新数据复制的指针,使其指向下一个要复制的数据起始位置,			然后更新要复制的字节数。*/			from += copy;			copied += copy;			/* 如果所有数据已经复制完毕则退出,会调用tcp_push()将传输			队列中的数据分段发送出去。*/			if ((seglen -= copy) == 0 && iovlen == 0)				goto out;			/* 走到这里说明还没有将全部用户缓冲区复制到套接字缓冲区,就检查			如果当前skb中的数据小于mss,说明可以往里面继续复制数据。			或者发送的是OOB数据,则也跳过发送过程,继续复制数据 */			if (skb->len != mss_now || (flags & MSG_OOB))				continue;			/* 走到这里说明当前数据段已满。就调用foced_push()来检查是否为			传输队列中的最后一个分段设置了强制push标志。如果设置了强制push			标志,需要告诉接收端应用程序首先处理该数据。			必须立即发送数据,即上次发送后产生的数据已经超过通告窗口值的一半 */			if (forced_push(tp)) {				/* 设置PSH标志后发送数据 */				tcp_mark_push(tp, skb);				/*然后根据Nagle算法、拥塞窗口、发送窗口调用此函数来启动				待发送分段的传输。*/				__tcp_push_pending_frames(sk, tp, mss_now, TCP_NAGLE_PUSH);			} 			/* 虽然不是必须发送数据,但是发送队列上只存在当前段,也将其发送出去 */			/*如果不能强制push该数据,并且传输队列中仅有一个数据段,就调用			tcp_push_one()来将该数据段push到传输队列中。*/			else if (skb == sk->sk_send_head)				tcp_push_one(sk, mss_now);			/*然后在内部循环迭代中对剩余的数据进行分段处理。*/			continue;wait_for_sndbuf:			/* 由于发送队列满的原因导致等待 */			set_bit(SOCK_NOSPACE, &sk->sk_socket->flags);wait_for_memory:			if (copied)/* 虽然没有内存了,但是本次调用复制了数据到缓冲区,调用tcp_push将其发送出去 */				tcp_push(sk, tp, flags & ~MSG_MORE, mss_now, TCP_NAGLE_PUSH);			/* 等待内存可用 */			if ((err = sk_stream_wait_memory(sk, &timeo)) != 0)				goto do_error;/* 确实没有内存了,超时后返回失败 */			/* 睡眠后,MSS可能发生了变化,重新计算 */			mss_now = tcp_current_mss(sk, !(flags&MSG_OOB));		}	}out:	if (copied)/* 从用户态复制了数据,发送它 */		tcp_push(sk, tp, flags, mss_now, tp->nonagle);	TCP_CHECK_TIMER(sk);	release_sock(sk);/* 释放锁以后返回 */	return copied;do_fault:	if (!skb->len) {/* 复制数据失败了,如果skb长度为0,说明是新分配的,释放它 */		if (sk->sk_send_head == skb)/* 如果skb是发送队列头,则清空队列头 */			sk->sk_send_head = NULL;		__skb_unlink(skb, skb->list);		sk_stream_free_skb(sk, skb);/* 释放skb */	}do_error:	if (copied)		goto out;out_err:	err = sk_stream_error(sk, flags, err);	TCP_CHECK_TIMER(sk);	release_sock(sk);	return err;}

详细的说明见注释。

注意几点主要的流程:

1.TCP以1mss为单元来发送数据,最大段大小基于MTU计算获得,MTU是一个链路层的特征参数,并且可以从tcp_current_mss()获取。

2.sk_stream_alloc_pskb()为TCP数据分配一个新的缓冲区,它的最小长度是1mss。

3.skb_entail()将报文发往传输缓存区排队,并计算已分配的缓冲区内存。

4.tcp_push_one()负责传输写队列中的一个数据段。__tcp_push_pending_frames()负责传输在写队列中排队的多个数据段。