每周一，我们会爬取「京东」、「当当」、「互动出版网」和「中国图书网」的图书7日销量数据并做一份榜单，已经持续一段时间了，从后台阅读量的统计数据来看，对辅助大家选购计算机类书籍还是有帮助的。如果大家对这份榜单有什么新的玩儿法，可以给我留言，相互交流，选择好的想法，我来写代码实现啊。
今天我就为大家介绍一下如何利用 C#语言 爬取「中国图书网 - 计算机与互联网图书销量榜」的数据。
首先，我们来确定爬取网页的地址。
中图原网页
通过观察，我们发现该畅销榜由多个页面构成，第一页的网址如下：
http://www.bookschina.com/24hour/27000000/7_0_1/
第二页的网址如下：
http://www.bookschina.com/24hour/27000000/7_0_2/
可见，页码由最后一位数字决定，这样我们就确定了爬取网页的 Url 地址。
其次，我们看一下网页的 HTML 源码，以便寻找数据的具体位置。
中图源代码
从源码中，我们可以发现图书的信息存放在 boolList 类的 li 标签内，通过遍历每个 li 标签内的数据我们可以得到每本书的书名、作者、出版社数据。
最后，我们选择开源的 Jumony 工具，来获取所爬取网页的 HTML DOM TREE。该工具可在 Git 上下载，对应网址为：
https://github.com/Ivony/Jumony
Jumony下载
关于 Jumony 的使用，我在这里就不详细说明了，要是有读者对这套开源代码感兴趣，接下来我再写几篇图文来介绍这个工具。
分析部分，到此就介绍完了，下面来看具体的代码实现。
1. 构造存储图书的结构 Book，包括销量排名，书名，作者，出版社等。
public class Book{ /// <summary> /// 获取或设置 销量排名 /// </summary> public int Num { get; set; } /// <summary> /// 获取或设置 书名 /// </summary> public string Title { get; set; } /// <summary> /// 获取或设置 作者 /// </summary> public string Author { get; set; } /// <summary> /// 获取或设置 出版社 /// </summary> public string Press { get; set; } /// <summary> /// Book实例的格式化输出 /// </summary> /// <returns>Markdown格式文本</returns> public override string ToString() { string num = Num.ToString().PadLeft(2, '0'); string temp = "**Top" + num + "：" + Title.Trim() + "**" + Environment.NewLine + "- 作 者：" + Author + Environment.NewLine + "- 出版社：" + Press; return temp; }}
2. 根据网址，获取「中国图书网 - 计算机与互联网图书销量榜」网页的 HTML DOM TREE。
public static IHtmlDocument GetHtmlDocumentZt(int page){ string url = @"http://www.bookschina.com/24hour/27000000" + @"/7_0_" + page + @"/"; IHtmlDocument document; try { document = new JumonyParser().LoadDocument(url); } catch { document = null; } return document;}
3. 获取「中国图书网 - 计算机与互联网图书销量榜」的图书集合List<Book>。
public static List<Book> GetBooksZt(int page){ IHtmlDocument doc = GetHtmlDocumentZt(page); if (doc == null) return null; List<Book> result = new List<Book>(); List<IHtmlElement> lists = doc.Find(".bookList li").ToList(); int count = lists.Count <= 20 ? lists.Count : 20; for (int i = 0; i < count; i++) { Book book = new Book(); book.Num = i + 1; List<IHtmlElement> title = lists[i].Find(".name a").ToList(); book.Title = title[0].InnerHtml().Trim(); //得到书的名字 List<IHtmlElement> author = lists[i].Find(".author a").ToList(); book.Author = author[0].InnerHtml().Trim(); //得到作者的名字 List<IHtmlElement> press = lists[i].Find(".publisher a").ToList(); book.Press = press[0].InnerHtml().Trim(); //得到出版者的名字 result.Add(book); } return result;}
4. 获取「中国图书网 - 计算机与互联网图书销量榜」的 Markdown 格式文本。
private string GetReport(string name, List<Book> lst){ string result = Environment.NewLine + "---" + Environment.NewLine + "### " + name + Environment.NewLine; for (int i = 0; i < lst.Count; i++) { result += Environment.NewLine + lst[i] + Environment.NewLine; } return result;}
5. 对 Markdown 格式文本进行 HTML 渲染。
渲染结果
到此为止，构成 每周一 推送图文的所有技术内容就全部介绍完了，我做了一个 WinForm 窗体来集成这些代码。由于是辅助自己写图文来用的，样子有些丑啊。勿嫌弃！！！
今天就到这里吧！See You！
软件截图
版权声明：本文转载于今日头条，版权归作者所有，如果侵权，请联系本站编辑删除