​​ScrapySharp​​是一个帮助我们快速实现网页数据采集的库，它主要提供了如下两个功能

  2. 从Url获取Html数据
  3. 提供CSS选择器的方式解析Html节点

安装：

ScrapySharp可以直接从Nuget上下载，直接从Package Console里面输入如下命令即可：

PM> Install-Package ScrapySharp

Html下载

首先我们来看看它的Html下载功能，它是通过ScrapingBrowser类来实现的：

    var browser = new ScrapingBrowser();

    var html = browser.DownloadString(new Uri("http://www.cnblogs.com/"));

这个只是一个简单的示例，实际上ScrapingBrowser的功能还是非常全面的，常见的功能如：Charset探测，AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表单提交等都支持得非常好，用它来获取网页比HttClient要方便很多。

Html解析

ScrapySharp的Html解析是基于大名鼎鼎的HtmlAgilityPack来实现的，它主要提供了两个扩展函数CssSelect和CssSelect：

    static IEnumerable<HtmlNode> CssSelect(this HtmlNode node, string expression);

    static IEnumerable<HtmlNode> CssSelect(this IEnumerable<HtmlNode> nodes, string expression);

    static IEnumerable<HtmlNode> CssSelectAncestors(this HtmlNode node, string expression);

    static IEnumerable<HtmlNode> CssSelectAncestors(this IEnumerable<HtmlNode> nodes, string expression);

相比HtmlAgilityPack提供的层级式解析和Xpath方式的解析比起来，CSS选择器的更为简单快捷，这里以解析博客园的首页标题为例，首先用开发者工具定位标题，可以看到其HTML结构的方式如下：

使用ScrapySharp快速从网页中采集数据_数据

解析的代码如下：

    var doc = new HtmlDocument();

    doc.LoadHtml(html);


    var docNode = doc.DocumentNode;


    var nodes = docNode.CssSelect(".titlelnk");

    foreach (var htmlNode in nodes)

    {

        Console.WriteLine(htmlNode.InnerText);

    }

其中关键代码只有docNode.CssSelect(".titlelnk")一句，非常简洁。另外，由于CSS方式比较灵活，如下方式也能获取到标题

    var nodes = docNode.CssSelect(".post_item_body > h3");

    var nodes = docNode.CssSelect("div#post_list").CssSelectAncestors("h3");

最后，列举一下常用的CSS查询，以方便后续的使用：

    html.CssSelect("div"); //all div elements

    html.CssSelect("div.content"); //all div elements with css class 'content'

    html.CssSelect("div.widget.monthlist"); //all div elements with the both css class

    html.CssSelect("#postPaging"); //all HTML elements with the id postPaging

    html.CssSelect("div#postPaging.testClass");     // all HTML elements with the id postPaging and css class testClass

    html.CssSelect("div.content > p.para");     //p elements who are direct children of div elements with css class 'content'

    html.CssSelect("input[type = text].login");     // textbox with css class login

更多的CSS选择器使用方法可以参看W3的网页：​​CSS 选择器参考手册​​


你们的评论、反馈，及对你们有所用，是我整理材料和博文写作的最大的鼓励和唯一动力。欢迎讨论和关注！

没有整理与归纳的知识，一文不值！高度概括与梳理的知识，才是自己真正的知识与技能。 永远不要让自己的自由、好奇、充满创造力的想法被现实的框架所束缚，让创造力自由成长吧！ 多花时间，关心他（她）人，正如别人所关心你的。理想的腾飞与实现，没有别人的支持与帮助，是万万不能的。