莫方教程网

之前有一个需求需要抓取网络上公开的网页数据，网页的代码大致如下：

需要抓取的数据一共4处，结构并没有什么规律，而且分散。但是使用golang却可以很轻松地获取到所需要的数据，而且代码量很少。

doc, _ := goquery.NewDocumentFromReader(strings.NewReader(string(resp.Body())))
		doc.Find("span[class='keyword']").Each(func(i int, s *goquery.Selection) {
			fmt.Println(s.Text())
		})

		doc.Find("div[class='baav']").Each(func(i int, s *goquery.Selection) {
			s.Find("span[class='phonetic']").Each(func(i int, s *goquery.Selection) {
				fmt.Println(s.Text())
			})
		})

		doc.Find("div[class='trans-container']").Each(func(i int, s *goquery.Selection) {
			if i == 0 {
				s.Find("li").Each(func(i int, s *goquery.Selection) {
					fmt.Println(s.Text())
				})
			}

		})

输出结果：

其实实现的原理很简单，只需要找到当前数据所在的html标签进行逐级获取即可，做过前端开发的小伙伴应该很熟悉这种写法，类似jquery选择器。

主要用到的工具包是：
https://github.com/PuerkitoBio/goquery