Posts

阅读目的 弄清楚项目是如何完成代理的功能，因此重点弄懂 Proxy 部分的代码 项目地址 https://github.com/goproxyio/goproxy 从项目启动开始，我们的重点就是下面的这个参数 flag.StringVar(&proxyHost, "proxy", "", "next hop proxy for Go Modules, recommend use https://gopropxy.io") 我们将这个参数设置为国内可以访问的 https://goproxy.cn ，并且尝试一下是否能跑通整个服务，这里使用的是 Powershell，换成 Linux Shell 的时候其实也是一样的流程 # 单独开启一个终端启动服务 $ $CacheDIR = "G:\\GomodDebug" $ mkdir -p $CacheDIR\pkg\mod\cache\download\github.com\goproxyio\goproxy\@v\ $ go run . -proxy https://goproxy.cn -listen 127.0.0.1:8085 -cacheDir $CacheDIR goproxy.io: ProxyHost https://goproxy.cn goproxy.io: ------ --- /github.com/@v/list [proxy] goproxy.io: ------ --- /github.com/goproxyio/goproxy/@v/list [proxy] goproxy.io: ------ --- /github.com/goproxyio/@v/list [proxy] goproxy.io: 0.344s 404 /github.com/@v/list goproxy.io: 0.548s 200 /github....

本篇文章仅供技术交流，请遵循相关国家法律法规，作者不提供任何技术支持 没啥思路，文章暂时搁置 - 2022-03-02 前言 Socks5 协议 在编写相关代码之前，我们需要先将 Socks5 协议给了解一下 使用 WireShark 抓取 Socks5 报文 $ curl --socks5 157.90.140.29:1080 ip.sb 同时我也将 WireShark 抓取到的报文片段截取下来了，可以点击 下载 后，使用相同的软件进行本地分析 分析Go-Shadowsocks2的源码 tcp.go // Create a SOCKS server listening on addr and proxy to server. func socksLocal(addr, server string, shadow func(net.Conn) net.Conn) { logf("SOCKS proxy %s <-> %s", addr, server) tcpLocal(addr, server, shadow, func(c net.Conn) (socks.Addr, error) { return socks.Handshake(c) }) } // Create a TCP tunnel from addr to target via server....

这里汇集了平常学习和工作中遇到的一些小小的疑难杂症 Linux Service Nginx xxx.so is not binary compatible in /etc/nginx/nginx.conf 这个通常发生在编译 Nginx 模块后，我们通过 load_module 加载该模块发出的报错，针对这种的解决方案也很简单，加上 --with-compat 即可，例如 ./configure --with-http_image_filter_module=dynamic --with-compat Kubernetes 数据库中间件问题 MongoDB ReplicaSetNoPrimary 问题 错误日志： server selection error: server selection timeout, current topology: { Type: ReplicaSetNoPrimary, Servers: [{ Addr: xxx:27017, Type: Unknown, Last error: connection() error occured during connection handshake: connection(xxx:27017[-127]) socket was unexpectedly closed: EOF }, { Addr: xxx:27017, Type: Unknown, Last error: connection() error occured during connection handshake: connection(xxx:27017[-128]) socket was unexpectedly closed: EOF }, ] } 从表面上看，代码 SDK 连接到了 Mongo 后，Mongo 返回来一个 ReplicaSet 集合，其中里面没有我可以访问的地址（返回了集群 POD 的 Name），其主要的原因是使用的 SDK 较老，那时候还没有集群化管理这种东西，不具备服务发现的功能 解决方案： In contrast to the mongo-go-driver, by default it would perform server discovery and attempt to connect as a replica set....

这篇文章，将会从网络原理开始，一直到 Linux Kernel 的相关配置对于网络性能的影响，算是一个偏整体的知识学习 文章非常长，这里将大纲列出来 网卡收发包队列技术优化 单网卡队列 RPS / RFS 原理 TCP Socket 建立连接相关内核参数优化 TCP 连接拥塞控制相关内核参数优化 TCP 拥塞控制算法 - BBRv2 原理 TCP 显式拥塞通知 ECN 算法原理 TCP 快速启动解决方案 概念梳理 学习过程中可能会碰到非常多的概念和术语，在此先对这些进行一个梳理，也算是一个复习 中断和软中断 首先我们需要对中断和软中断有个起码的认知，中断一般是指硬件中断，多由系统自身或与之链接的外设（如键盘、鼠标、网卡等）产生，中断首先是处理器提供的一种响应外设请求的机制，是处理器硬件支持的特性，一个外设通过产生一种电信号通知中断控制器，中断控制器再向处理器发送相应的信号。处理器检测到了这个信号后就会打断自己当前正在做的工作，转而去处理这次中断。而内核收到信号后会调用一个称为中断处理程序（interrupt handler）或中断服务例程（interrupt service routine）的特定程序。中断处理程序或中断服务例程可以在中断向量表中找到，这个中断向量表位于内存中的固定地址中。CPU处理中断后，就会恢复执行之前被中断的程序。 整个流程可以归纳为：硬件设备 （产生中断）-> 中断控制器（通知） -> CPU -> 中断内核 -> do_IRQ() -> handler_IRQ_event -> 中断控制器（收到恢复通知）-> IRQ_exit 现在我们对于基本的中断有了个理解，从实际场景来说中断请求的处理程序应该要短且快，这样才能减少对正常进程运行调度地影响，而且中断处理程序可能会暂时关闭中断，这时如果中断处理程序执行时间过长，可能在还未执行完中断处理程序前，会丢失当前其他设备的中断请求。 所以 Linux 系统为了解决中断处理程序执行过长和中断丢失的问题，将中断过程分成了两个阶段，分别是 上半部分 和 下半部分 上半部用来快速处理中断，一般会暂时关闭中断请求，主要负责处理跟硬件紧密相关或者时间敏感的事情。 下半部用来延迟处理上半部未完成的工作，一般以 内核线程 的方式运行。 例如网卡收包这里，网卡收到网络包后，会通过硬件中断通知内核有新的数据到了，于是内核就会调用对应的中断处理程序来响应该事件，这个事件的处理也是会分成上半部和下半部。 上部分要做到快速处理，所以只要把网卡的数据读到内存中，然后更新一下硬件寄存器的状态，比如把状态更新为表示数据已经读到内存中的状态值。接着，内核会触发一个软中断，把一些处理比较耗时且复杂的事情，交给「软中断处理程序」去做，也就是中断的下半部，其主要是需要从内存中找到网络数据，再按照网络协议栈，对网络数据进行逐层解析和处理，最后把数据送给应用程序。 所以，中断处理程序的上部分和下半部可以理解为： 上半部直接处理硬件请求，也就是硬中断，主要是负责耗时短的工作，特点是快速执行 下半部是由内核触发，也就说软中断，主要是负责上半部未完成的工作，通常都是耗时比较长的事情，特点是延迟执行 网卡收发过程 网卡的收发其实重点应该在中断的下半部，我们一拍脑袋，想到接收数据包的一个经典过程: 数据到达网卡 网卡产生一个中断给内核 内核使用I/O指令，从网卡I/O区域中去读取数据 但是这种方法有一个很大的问题，就是当大流量数据到来时候，网卡会产生大量的中断，内核在处理中断上下文中，会浪费大量资源来处理中断本身。所以，NAPI 技术被提出来，所谓的 NAPI 技术，其实就是先将内核屏蔽，然后每隔一段时间去轮询网卡是否有数据。不过相应的，如果数据量少，轮询本身也会占用大量不必要的 CPU 资源，所以需要进行抉择判断。...

要求说明： Kafka Brokers 不管是互相通信，对外认证，还是和 Zookeeper 的交互进行，都需要使用 SASL/PLAIN 进行认证 思路： Kafka 的 bin 目录下面，包含了 Zookeeper 和 Kafka Server 的启动脚本，我们只需要在脚本运行之前，通过环境变量 KAFKA_OPTS 指定对应的 JAAS 认证文件，最后启动 properties 文件即可，理清了整个环节之后还是非常简单的 操作开始 目录结构 首先需要编写 Dockerfile 作为环境变量声明的地方，不然配置文件就没法使用模板进行编排了 FROM openjdk:8-jre-slim RUN set -eux; \ apt -y update && apt -y install procps; \ apt clean WORKDIR / ENV STORE_DATA="/kafka_2.12-1.1.1/store/data" \ STORE_LOGS="/kafka_2.12-1.1.1/store/logs" \ ZOO_USER="ZookeeperUsername" \ ZOO_PASS="ZookeeperPassword" \ ZOO_QUORUM_USER="QuorumUserName" \ ZOO_QUORUM_PASS="QuorumUserPassword" \ KAFKA_USER="KafkaUsername" \ KAFKA_PASS="KafkaPassword" \ KAFKA_CLIENT_BROKER_USER="KafkaClientBrokerUsername" \ KAFKA_CLIENT_BROKER_PASS="KafkaClientBrokerPassword" \ ZOOKEEPER_CONNECT="localhost:2181" \ MODE="" \ # create multiple users with different permissions # operation attribute: Read Write * # KAFKA_ACCOUNT_GROUP "user1|password|* readonlyuser|password|Read" KAFKA_ACCOUNT_GROUP="" \ # each pod contains a zk and a kafka # so their number of nodes and information should be the same CLUSTER_NODE="" # CLUSTERNODE "node0|0|127....

生产环境案例 场景分析 我们需要对三个集群进行监控，分别是 开发-测试集群 : blackbox-dev 预发布集群 : blackbox-pre 生产集群 : blackbox-pro Blackbox Exporter 配置 首先需要使用 BlackBox Exporter 实现一个探测 Module ，这个 Module 可以包含 HTTP、HTTPS、SSH 等方案，我们对目标进行监控的时候，可以直接使用 Prometheus 传入 Targets 以调用 Module 运行 Blackbox Exporter 时，需要用户提供探针的配置信息，这些配置信息可能是一些自定义的 HTTP 头信息，也可能是探测时需要的一些 TSL 配置，也可能是探针本身的验证行为，在 Blackbox Exporter 每一个探针配置称为一个 module，并且以 YAML 配置文件的形式提供给 Blackbox Exporter 如果我们想调用集群中的某个服务，必须先经过一个 API 网关，这个 API 网关兼备了访问控制的功能，每个用户需要在 Request 请求头中添加一个 Bearer Token —— 这取决于网关的具体配置，我们的探针也不例外，下面是 BlackBox Exporter 的配置示例 blackbox.yml modules: http_2xx: prober: http timeout: 5s http: preferred_ip_protocol: ip4 headers: Host: "probe....

因为 Echo 框架本身是没有 Main 入口的，我们只能通过官方给的一个小的基础 Demo，作为源码阅读的起点 Demo - Hello World package main import ( "net/http" "github.com/labstack/echo/v4" ) func main() { e := echo.New() e.GET("/", func(c echo.Context) error { return c.String(http.StatusOK, "Hello, World!") }) e.Logger.Fatal(e.Start(":1323")) } 解析 入口 - New func New() (e *Echo) { e = &Echo{ Server: new(http.Server), TLSServer: new(http.Server), AutoTLSManager: autocert.Manager{ Prompt: autocert.AcceptTOS, }, Logger: log.New("echo"), colorer: color.New(), maxParam: new(int), ListenerNetwork: "tcp", } e.Server.Handler = e e.TLSServer.Handler = e e....