千万并发的秘密-内核是问题的根本

C10M问题 —— 下一个十年

　　在不久的将来，服务器将需要处理数百万的并发连接。由于IPV6普及，连接到每一个服务器的潜在可能连接数目将达到数百万，所以我们需要进入下一个可扩张性阶段。

　　示例应用程序将会用到这类可扩张性方案：IDS/IPS，因为他们是连接到一台服务器的主干。另一个例子：DNS根服务器、TOR节点、Nmap互联网络、视频流、银行业务、NAT载体、网络语音电话业务PBX、负载均衡器、web缓存、防火墙、邮件接收、垃圾邮件过滤。

　　通常人们认为互联网规模问题是个人计算机而不是服务器，因为他们销售的是硬件+软件。你买的设备连接到你的数据中心。这些设备可能包含英特尔主板或网络处理器和用于加密的芯片、数据包检测，等等。

　　2013年2月40gpbs、32核、256gigs RAM X86在新蛋的售价为$5000。这种配置的服务器能够处理10K以上的连接。如果不能，这不是底层的硬件问题，那是因为你选错了软件。这样的硬件能够轻而易举的支持千万的并发连接。

10,000,000个并发连接挑战意味着什么

1. 10,000,000个并发连接

2. 每秒1,000,000个连接——每个连接大约持续10秒

3. 10千兆比特/每秒——快速连接到互联网。

4. 10,000,000包/每秒——预期当前服务器处理50,000包/每秒，这将导致更高的级别。服务器能够用来处理每秒100,000个中断和每个包引发的中断。

5. 10微秒延迟——可扩张的服务器也许能够处理这样的增长，但是延迟将会很突出。

6. 10微秒上下跳动——限制最大延迟

7. 10个一致的CPU内核——软件应该扩张到更多内核。典型的软件只是简单的扩张到四个内核。服务器能够扩张到更多的内核，所以软件需要被重写以支持在拥有更多内核的机器上运行。

我们学的是Unix而不是网络编程（Network Programming） 

• 一代代的程序员通过W. Richard Stevens所著的《Unix网络编程》（Unix Networking Programming）学习网络编程技术。问题是，这本书是关于Unix的，并不是网络编程。它讲述的是，你仅需要写一个很小的轻量级的服务器就可以让Unix做一切繁复的工作。然而内核并不是规模的（规模不足）。解决方案是，将这些繁复的工作转移到内核之外，自已处理。
• 一个颇具影响的例子，就是在考虑到Apache的线程每个连接模型（is to consider Apache’s thread per connection model）。 这就意味着线程调度器根据到来的数据（on which data arrives）决定调用哪一个（不同的）read()函数（方法）。把线程调度系统当做（数据）包调度系统来使用（我非常喜欢这一点，之前从来没听说过类似的观点）。
• Nginx宣称，它并不把线程调度当作（数据）包调度来用使用，它自已做（进行）包调度。使用select来查找socket，我们知道数据来了，于是就可以立即读取并处理它，数据也不会堵塞。
• 经验：让Unix处理网络堆栈，之后的事情就由你自已来处理。