go语言下用chromedp框架编写爬虫程序实现网站登录及内容抓取

某网站，年久失修，使用chromedp开发自动登录及内容抓取程序时面临一系列问题，为了后人少走弯路，简单记录一下整体实现过程。

js错误问题：

chrome 打开登录页面时有如下提示，找不到jquery框架文件：

我们需要自己写代码修复一下网站里面的js错误,解决方法如下：

var executed *runtime.RemoteObject
err = chromedp.Run(ctx, chromedp.Tasks{
    chromedp.Evaluate(`var jq = document.createElement('script'); jq.src = "https://cdn.bootcss.com/jquery/1.4.2/jquery.js"; document.getElementsByTagName('head')[0].appendChild(jq);`,&executed),
})

其他的还是直接看代码吧,

package main

import (
  "context"
  "github.com/chromedp/cdproto/emulation"
  "github.com/chromedp/cdproto/runtime"
  "github.com/chromedp/chromedp"
  "io/ioutil"
  "log"
  "strings"
  "time"
)

func main()  {
  var buf []byte

  // create chrome instance
  ctx, cancel := chromedp.NewContext(
    context.Background(),
    chromedp.WithDebugf(log.Printf),
  )
  defer cancel()

  // create a timeout
  ctx, cancel = context.WithTimeout(ctx, 50*time.Second)
  defer cancel()

  // run task list
  var res string
  var err error

  width, height := 1920, 1080
  err=chromedp.Run(ctx, chromedp.Tasks{
    emulation.SetDeviceMetricsOverride(int64(width), int64(height), 1.0, false),
  })

  loginUrl:=`http://a.b.c.d/login`

  var executed *runtime.RemoteObject
  username:="yourusername"
  password:="yourpassword"
  err = chromedp.Run(ctx, chromedp.Tasks{
    chromedp.Navigate(loginUrl),
    chromedp.Sleep(5 * time.Second),
    chromedp.Evaluate(`var jq = document.createElement('script'); jq.src = "https://cdn.bootcss.com/jquery/1.4.2/jquery.js"; document.getElementsByTagName('head')[0].appendChild(jq);`,&executed),
    chromedp.Sleep(5 * time.Second),
    chromedp.WaitVisible(`#mypassword`, chromedp.ByID),
    chromedp.SendKeys (`input[name="username"]`, username,chromedp.NodeVisible),
    chromedp.SendKeys(`#mypassword`, password, chromedp.ByID),
    chromedp.Sleep(2 * time.Second),
    chromedp.Click(`#login_btn`, chromedp.ByID),
    chromedp.Sleep(5 * time.Second),
    chromedp.CaptureScreenshot(&buf),
  })

  if err != nil {
    log.Fatal(err)
  }
  if err := ioutil.WriteFile("1.png", buf, 0644); err != nil {
    log.Fatal(err)
  }

  indexPageUrl:=`http://a.b.c.d/somepage`

  err = chromedp.Run(ctx, chromedp.Tasks{
    chromedp.Navigate(indexPageUrl),
    chromedp.Sleep(5 * time.Second),
    chromedp.CaptureScreenshot(&buf),
    chromedp.WaitVisible(`#somehtmlid`,chromedp.ByID),
  })
  if err != nil {
    log.Fatal(err)
  }
  if err := ioutil.WriteFile("2.png", buf, 0644); err != nil {
    log.Fatal(err)
  }

  log.Printf("got: `%s`", strings.TrimSpace(res))

}