Prometheus和Grafana介绍 系统监控 gopsutil：做系统监控信息的采集，写入influxDb，使用grafana作展示 prometheus：采集性能指标数据，使用grafana作展示 Prometheus 普罗米修斯：专用于服务监控，主动去拉取数据
阅读全文
Kibana介绍和使用
Kibana介绍和使用 注意 Kibana和ElasticSearch配合使用的时候，需要确保两者的版本号一直，不然可能出现无法正常使用的问题 下载 官网下载Kibana，下载完成后，解压缩文件，修改对应的配置
阅读全文
Kafka消费示例
Kafka消费示例 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展等特点。本文介绍了如何使用Go语言发送和接收kafka消息。
阅读全文
ES介绍和使用
ES介绍和使用 来源 https://www.liwenzhou.com/posts/Go/go_elasticsearch/ 今日内容 Logtransfer 从Kafka里面把日志取出来，写入ES，使用Kibana做可视化展示 系统监控 psutil：采集系统信息的，写入到influxDB，使用
阅读全文
etcd介绍
etcd介绍 前言 etcd：目前比较火的开源库，docker和k8s都是使用的它 目标：使用etcd优化日志收集项目 介绍 etcd是使用Go语言开发的一个开源的、高可用的分布式key-value存储系统，可以用于配置共享和服务的注册和发现，类似项目有Zookeeper和consul
阅读全文
日志收集项目架构设计及Kafka介绍
日志收集项目架构设计及Kafka介绍 项目背景 每个业务系统都有日志，当系统出现问题时，需要通过日志信息来定位和解决问题。当系统机器比较少时，登陆到服务器上查看即可满足当系统机器规模巨大，登陆到机器上查看几乎不现实（分布式的系统，一个系统部署在十几台机器上）
阅读全文
Go Context的使用
Go Context的使用 在 Go http包的Server中，每一个请求在都有一个对应的 goroutine 去处理。请求处理函数通常会启动额外的 goroutine 用来访问后端服务，比如数据库和RPC服务。用来处理一个请求的
阅读全文
Go的依赖管理Go Module
Go的依赖管理Go Module 来源 https://www.liwenzhou.com/posts/Go/go_dependency/ 历史遗留问题 如果是使用Go1.11和Go1.12版本，需要手动开启Go module支持 为什么需要依赖管理
阅读全文
Go操作消息队列
Go操作消息队列 NSQ是目前比较流行的一个分布式的消息队列，本文主要介绍了NSQ及Go语言如何操作NSQ。 使用消息队列的主要目的，异步、解耦、削峰 NSQ介绍
阅读全文
Go操作Redis
Go操作Redis 来源 https://www.liwenzhou.com/posts/Go/go_redis/ cache缓存 简单的队列 排行榜 介绍 Redis是一个开源的内存数据库，Redis提供了多种不同类型的数据结构，很多业务场景下的问题都可以很自然地映射到这些数据结构上。除此之外，通过复制、持久化和客户端分片等特性，我们可以很方便地将Redis扩展成一个能够包含数百GB数据、每秒处
阅读全文