https改造剩下最后一些不好啃的域名(全站HTTPS改造注意事项及解决方案)，包括支付、微服务网关等，服务太重要，需要排查http请求的调用方，通过公司es来查nginx代理的日志，但是最后发现数据量略大，导不出来，只能调接口了。golang中操作elastic主要有以下两个库：
olivere/elastic
第三方开发者维护的库 olivere/elastic
go-elasticsearch
官方的Golang客户端 go-elasticsearch
> Elasticsearch Guide | ES Python API Documentation
olivre/elastic这个库封装的比官方的好，先看这个：
package main
import (
"context"
"fmt"
"github.com/olivere/elastic/v7"
"log"
"os"
"reflect"
"time"
)
// 查询结果定义
type QueryInfo struct {
Domain string `json:"domain"` // 查询域名
ClientIP string `json:"client_ip"` // 来源IP
Scheme string `json:"scheme"` // 协议类型
Referer string `json:"referer"` // 请求来源
Url string `json:"url"` // 请求url
HttpCode string `json:"http_code"` // 返回状态码
Method string `json:"method"` // 请求方法
}
// 初始化变量
var (
queryInfo QueryInfo
indexName = "chegva_ngx_proxy_log"
// es集群地址列表：https://sgp.api.es.che/product/es/cluster-list
apiAddresses = []string{"http://sgp.api.es.che"} // elasticsearch 服务地址，多个服务地址使用逗号分隔
username, password = "anzhihe", "anzhihe"
client *elastic.Client
res *elastic.SearchResult
err error
ctx context.Context
)
func init() {
// 连接es集群
client, err = elastic.NewClient(
elastic.SetURL(apiAddresses...),
elastic.SetBasicAuth(username, password),
// 允许您指定弹性是否应该定期检查集群（默认为真）
elastic.SetSniff(false),
// 设置监控检查时间间隔
elastic.SetHealthcheckInterval(10*time.Second),
// 设置错误日志输出
elastic.SetErrorLog(log.New(os.Stderr, "ELASTIC ", log.LstdFlags)),
// 设置info日志输出
elastic.SetInfoLog(log.New(os.Stdout, "", log.LstdFlags)))
if err != nil {
fmt.Println("连接失败：%v\n", err)
panic(err)
}
fmt.Println("连接成功", client)
}
// 查询日志
func Search() {
// 执行ES请求需要提供一个上下文对象
ctx = context.Background()
// 创建bool组合查询；must条件类似SQL的and；must_not与must作用相反；should类似SQL中的or，只要匹配区中一个就行
//boolQuery := elastic.NewBoolQuery().Must()
// 创建查询
// term精确查询；terms多值查询类似SQL的in查询
domainQuery := elastic.NewTermQuery("domain", "api.pay.chegva.com")
// Match查询，匹配单个字段
urlQuery := elastic.NewMatchQuery("url", "/pay/")
// Ranges范围查询
timeQuery := elastic.NewRangeQuery("timestamp").
Gte("2022-02-22").
Lte("now").
Format("yyyy-MM-dd")
// Filter 多重条件筛选
boolSearch := elastic.NewBoolQuery().
Filter(domainQuery).
Filter(urlQuery).
Filter(timeQuery)
// 设置bool查询的must条件, 组合了两个子查询
//boolQuery.Must(domainQuery, timeQuery)
res, err = client.Search().
Index(indexName).
Query(boolSearch).
From(0).Size(10). // 拿前10个结果，默认不能大于10000
Pretty(true).
Do(ctx) // 执行
if err != nil {
panic(err)
}
total := res.TotalHits()
fmt.Printf("Found %d results\n", total)
if total > 0 {
printQueryInfo(res, err)
} else {
fmt.Println("Not found!")
}
}
// 打印查询到的输出
func printQueryInfo(res *elastic.SearchResult, err error) {
if err != nil {
print(err.Error())
return
}
// 通过Each方法，将es结果的json结构转换成struct对象
for _, item := range res.Each(reflect.TypeOf(queryInfo)) { //从搜索结果中取数据的方法
if q, ok := item.(QueryInfo); ok {
fmt.Printf("%#v\n", q)
}
}
}
func main() {
Search()
}输出结果：
连接成功 http://sgp.api.es.che [dead=false,failures=0,deadSince=<nil>]
2022/02/22 11:20:30 POST http://sgp.api.es.che/chegva_ngx_proxy_log/_search?pretty=true [status:200, request:0.283s]
Found 9795 results
main.QueryInfo{Domain:"api.pay.chegva.com", ClientIP:"110.96.00.11", Scheme:"http", Referer:"https://hk.chegva.com/", Url:"/pay/000/79", HttpCode:"302", Method:"POST"}
main.QueryInfo{Domain:"api.pay.chegva.com", ClientIP:"112.74.233.44", Scheme:"http", Referer:"https://chegva.com/tw/buy/confirm/110", Url:"/pay/111/59", HttpCode:"200", Method:"POST"}官方库go-elasticsearch使用：
package main
import (
"bytes"
"encoding/json"
"fmt"
"github.com/elastic/go-elasticsearch/v7"
"log"
)
func main() {
cfg := elasticsearch.Config{
Addresses: []string{
"http://sgp.api.es.che",
},
Username: "anzhihe",
Password: "anzhihe",
}
var buf bytes.Buffer
query := map[string]interface{}{
"query": map[string]interface{}{
"match": map[string]interface{}{
"domain": "api.pay.chegva.com",
},
},
}
if err := json.NewEncoder(&buf).Encode(query); err != nil {
log.Fatalf("Error encoding query: %s", err)
}
es, _ := elasticsearch.NewClient(cfg)
log.Println(es.Info())
result, err := es.Search(es.Search.WithIndex("chegva_ngx_proxy_log"), es.Search.WithBody(&buf))
if err != nil {
fmt.Println(err)
}
fmt.Println(result)
}但是发现返回的scheme字段值都是http，原因是业务nginx代理前面还接了一层slb，http和https流量先打到slb上，slb转到后端nginx代理都是走的http，所以查出来的数据筛不出http流量请求来源ip，脚本白写了，坑~！
参考：
