我的go练手项目--使用go获取东方财富网站基金净值数据

佚名 4年前 (2020-07-26) go 1090人围观抢沙发百度已收录

代码我放在https://github.com/kingstarer/kingstarer/tree/master/go/getFundValue

这里简单介绍一下思路和关键代码

SRE实战互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

浏览东财网站时，按f12，可以发现东财使用的是前后端分离技术：用户访问网页时，只下载基本的网页数据，通过ajax技术在网页加载完后使用js异步获取基金净值数据

净值数据是json串，所以我们只需要使用net/http提供的http客户端发起请求并使用encoding/json对json做解析即可

稍微需要注意的是，东方限制了浏览器类型，并且有防盗链机制，所以记得设置好http请求头的信息。

（各位如果也想从东财抓数据，请注意程序访问频率，免得给人家服务器造成太大压力，别上演“公地悲剧”）

//用来存储从东方财富获取的基金数据
var FundInfoObject JsonFundList

func GetFundValue(fundCode, startDate, endDate string) (err error) {
	if len(startDate) != 8 || len(endDate) != 8 {
		return errors.New(fmt.Sprintf("开始结束日期必须是yyyymmdd格式"))
	}

	//拼装请求网址
	realStartDate := fmt.Sprintf("%s-%s-%s", startDate[0 : 4], startDate[4 : 6], startDate[6 : 8])
	realEndDate := fmt.Sprintf("%s-%s-%s", endDate[0 : 4], endDate[4 : 6], endDate[6 : 8])
	realUrl := fmt.Sprintf(FundConfig.URL, fundCode, realStartDate, realEndDate)

	//准备发送请求
	client := &http.Client{}
	reqest, err := http.NewRequest("GET", realUrl, nil)
	if err != nil {
		return err
	}

	//必须设置好http头 不然返回会失败
	reqest.Header.Add("Referer", "http://fundf10.eastmoney.com/")
	reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
	//获取出返回的报文
	fmt.Println("开始获取数据:", realUrl)
	resp, err := client.Do(reqest)
	defer resp.Body.Close()
	body, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		fmt.Println(err)
	}

	strBody, bodyLen := string(body), len(body)

	//取出返回报文里面的Json
	nJsonStartPos := strings.Index(strBody, FundConfig.JsonStartKey) + len(FundConfig.JsonStartKey)
	nJsonEndPos := strings.LastIndex(strBody, FundConfig.JsonEndKey)

	if nJsonStartPos >= bodyLen || nJsonEndPos <= 0 || nJsonStartPos >= nJsonEndPos {
		return errors.New(fmt.Sprintf("返回报文中截取Json失败 起始位置%d %d", nJsonStartPos, nJsonEndPos))
	}

	//解析json
	err = parseFundJson(body[nJsonStartPos : nJsonEndPos])
	if err != nil {
		return err
	}

	return nil
}