用TypeScript开发爬虫程序

全局安装typescript：

创新互联成立10年来，这条路我们正越走越好，积累了技术与客户资源，形成了良好的口碑。为客户提供成都网站建设、成都网站设计、网站策划、网页设计、域名申请、网络营销、VI设计、网站改版、漏洞修补等服务。网站是否美观、功能强大、用户体验好、性价比高、打开快等等，这些对于网站建设都非常重要，创新互联通过对建站技术性的掌握、对创意设计的研究为客户提供一站式互联网解决方案，携手广大客户，共同发展进步。

 
 
    
  
  
  1. npm install -g typescript
    2.

目前版本2.0.3，这个版本不再需要使用typings命令了。但是vscode捆绑的版本是1.8的，需要一些配置工作，看本文的处理办法。

测试tsc命令：

 
 
    
  
  
  1. tsc
    2.

创建要写的程序项目文件夹：

 
 
    
  
  
  1. mkdir test-typescript-spider
    2.

进入该文件夹：

 
 
    
  
  
  1. cd test-typescript-spider
    2.

初始化项目：

 
 
    
  
  
  1. npm init
    2.

安装superagent和cheerio模块：

 
 
    
  
  
  1. npm i --save superagent cheerio
    2.

安装对应的类型声明模块：

 
 
    
  
  
  1. npm i -s @types/superagent --save 
    2. 
  
  
  2. npm i -s @types/cheerio --save 
    3.

安装项目内的typescript(必须走这一步)：

 
 
    
  
  
  1. npm i --save typescript
    2.

用vscode打开项目文件夹。在该文件夹下创建tsconfig.json文件，并复制以下配置代码进去：

 
 
    
  
  
  1. {
    2. 
  
  
  2.     "compilerOptions": {
    3. 
  
  
  3.         "target": "ES6",
    4. 
  
  
  4.         "module": "commonjs",
    5. 
  
  
  5.         "noEmitOnError": true,
    6. 
  
  
  6.         "noImplicitAny": true,
    7. 
  
  
  7.         "experimentalDecorators": true,
    8. 
  
  
  8.         "sourceMap": false,
    9. 
  
  
  9.      // "sourceRoot": "./",
    10. 
  
  
  10.         "outDir": "./out"
    11. 
  
  
  11.     },
    12. 
  
  
  12.     "exclude": [
    13. 
  
  
  13.         "node_modules"
    14. 
  
  
  14.     ]
    15. 
  
  
  15. } 
    16.

在vscode打开“文件”-“***项”-“工作区设置”在settings.json中加入(如果不做这个配置，vscode会在打开项目的时候提示选择哪个版本的typescript)：

 
 
    
  
  
  1. {
    2. 
  
  
  2.    "typescript.tsdk": "node_modules/typescript/lib"
    3. 
  
  
  3. } 
    4.

创建api.ts文件，复制以下代码进去：

 
 
    
  
  
  1. import superagent = require('superagent');
    2. 
  
  
  2. import cheerio = require('cheerio');
    3. 
  
  
  3. 
  
  
  4. export const remote_get = function(url: string) {
    5. 
  
  
  5. 
  
  
  6.     const promise = new Promise(function (resolve, reject) {
    7. 
  
  
  7.         superagent.get(url)
    8. 
  
  
  8.             .end(function (err, res) {
    9. 
  
  
  9.                 if (!err) {
    10. 
  
  
  10.                     resolve(res);
    11. 
  
  
  11.                 } else {
    12. 
  
  
  12.                     console.log(err)
    13. 
  
  
  13.                     reject(err);
    14. 
  
  
  14.                 }
    15. 
  
  
  15.             });
    16. 
  
  
  16.     });
    17. 
  
  
  17.     return promise;
    18. 
  
  
  18. } 
    19.

创建app.ts文件，书写测试代码：

 
 
    
  
  
  1. import api = require('./api');
    2. 
  
  
  2. const go = async () => {
    3. 
  
  
  3.     let res = await api.remote_get('http://www.baidu.com/');
    4. 
  
  
  4.     console.log(res.text);
    5. 
  
  
  5. }
    6. 
  
  
  6. go(); 
    7.

执行命令：

 
 
    
  
  
  1. tsc
    2.

然后：

 
 
    
  
  
  1. node out/app
    2.

观察输出是否正确。

现在尝试抓取http://cnodejs.org/的***页文章链接。

修改app.ts文件，代码如下：

 
 
    
  
  
  1. import api = require('./api');
    2. 
  
  
  2. import cheerio = require('cheerio');
    3. 
  
  
  3. 
  
  
  4. const go = async () => {
    5. 
  
  
  5.     const res = await api.remote_get('http://cnodejs.org/');
    6. 
  
  
  6.     const $ = cheerio.load(res.text);
    7. 
  
  
  7.     let urls: string[] = [];
    8. 
  
  
  8.     let titles: string[] = [];
    9. 
  
  
  9.     $('.topic_title_wrapper').each((index, element) => {
    10. 
  
  
  10.         titles.push($(element).find('.topic_title').first().text().trim());
    11. 
  
  
  11.         urls.push('http://cnodejs.org/' + $(element).find('.topic_title').first().attr('href'));
    12. 
  
  
  12.     })
    13. 
  
  
  13.     console.log(titles, urls);
    14. 
  
  
  14. }
    15. 
  
  
  15. go(); 
    16.

观察输出，文章的标题和链接都已获取到了。

现在尝试深入抓取文章内容

 
 
    
  
  
  1. import api = require('./api');
    2. 
  
  
  2. import cheerio = require('cheerio');
    3. 
  
  
  3. 
  
  
  4. const go = async () => {
    5. 
  
  
  5.     const res = await api.remote_get('http://cnodejs.org/');
    6. 
  
  
  6.     const $ = cheerio.load(res.text);
    7. 
  
  
  7.     $('.topic_title_wrapper').each(async (index, element) => {
    8. 
  
  
  8.         let url = ('http://cnodejs.org' + $(element).find('.topic_title').first().attr('href'));
    9. 
  
  
  9.         const res_content = await api.remote_get(url);
    10. 
  
  
  10.         const $_content = cheerio.load(res_content.text);
    11. 
  
  
  11.         console.log($_content('.topic_content').first().text());
    12. 
  
  
  12.     })
    13. 
  
  
  13. 
  
  
  14. }
    15. 
  
  
  15. go(); 
    16.

可以发现因为访问服务器太迅猛，导致出现很多次503错误。

解决：

添加helper.ts文件：

 
 
    
  
  
  1. export const wait_seconds = function (senconds: number) {
    2. 
  
  
  2.     return new Promise(resolve => setTimeout(resolve, senconds * 1000));
    3. 
  
  
  3. } 
    4.

修改api.ts文件为：

 
 
    
  
  
  1. import superagent = require('superagent');
    2. 
  
  
  2. import cheerio = require('cheerio');
    3. 
  
  
  3. 
  
  
  4. export const get_index_urls = function () {
    5. 
  
  
  5.     const res = await remote_get('http://cnodejs.org/');
    6. 
  
  
  6.     const $ = cheerio.load(res.text);
    7. 
  
  
  7.     let urls: string[] = [];
    8. 
  
  
  8.     $('.topic_title_wrapper').each(async (index, element) => {
    9. 
  
  
  9.         urls.push('http://cnodejs.org' + $(element).find('.topic_title').first().attr('href'));
    10. 
  
  
  10.     });
    11. 
  
  
  11.     return urls;
    12. 
  
  
  12. }
    13. 
  
  
  13. export const get_content = async function (url: string) {
    14. 
  
  
  14.     const res = await remote_get(url);
    15. 
  
  
  15.     const $ = cheerio.load(res.text);
    16. 
  
  
  16.     return $('.topic_content').first().text();
    17. 
  
  
  17. }
    18. 
  
  
  18. 
  
  
  19. export const remote_get = function (url: string) {
    20. 
  
  
  20. 
  
  
  21.     const promise = new Promise(function (resolve, reject) {
    22. 
  
  
  22. 
  
  
  23.         superagent.get(url)
    24. 
  
  
  24.             .end(function (err, res) {
    25. 
  
  
  25.                 if (!err) {
    26. 
  
  
  26.                     resolve(res);
    27. 
  
  
  27.                 } else {
    28. 
  
  
  28.                     console.log(err)
    29. 
  
  
  29.                     reject(err);
    30. 
  
  
  30.                 }
    31. 
  
  
  31.             });
    32. 
  
  
  32.     });
    33. 
  
  
  33.     return promise;
    34. 
  
  
  34. }
    35.

修改app.ts文件为：

 
 
    
  
  
  1. import api = require('./api');
    2. 
  
  
  2. import helper = require('./helper');
    3. 
  
  
  3. import cheerio = require('cheerio');
    4. 
  
  
  4. 
  
  
  5. const go = async () => {
    6. 
  
  
  6.     let urls = await api.get_index_urls();
    7. 
  
  
  7.     for (let i = 0; i < urls.length; i++) {
    8. 
  
  
  8.         await helper.wait_seconds(1);
    9. 
  
  
  9.         let text = await api.get_content(urls[i]);
    10. 
  
  
  10.         console.log(text);
    11. 
  
  
  11.     }
    12. 
  
  
  12. }
    13. 
  
  
  13. go();
    14.

观察输出可以看到，程序实现了隔一秒再请求下一个内容页。

现在尝试把抓取到的东西存到数据库中。安装mongoose模块：

 
 
    
  
  
  1. npm i mongoose --save
    2. 
  
  
  2. npm i -s @types/mongoose --save 
    3.

然后建立Scheme。先创建models文件夹：

 
 
    
  
  
  1. mkdir models
    2.

在models文件夹下创建index.ts：

 
 
    
  
  
  1. import * as mongoose from 'mongoose';
    2. 
  
  
  2. 
  
  
  3. mongoose.connect('mongodb://127.0.0.1/cnodejs_data', {
    4. 
  
  
  4.     server: { poolSize: 20 }
    5. 
  
  
  5. }, function (err) {
    6. 
  
  
  6.     if (err) {
    7. 
  
  
  7.         process.exit(1);
    8. 
  
  
  8.     }
    9. 
  
  
  9. });
    10. 
  
  
  10. 
  
  
  11. // models
    12. 
  
  
  12. export const Article = require('./article'); 
    13.

在models文件夹下创建IArticle.ts:

 
 
    
  
  
  1. interface IArticle {
    2. 
  
  
  2.     title: String;
    3. 
  
  
  3.     url: String;
    4. 
  
  
  4.     text: String;
    5. 
  
  
  5. }
    6. 
  
  
  6. export = IArticle;
    7.

在models文件夹下创建Article.ts:

 
 
    
  
  
  1. import mongoose = require('mongoose');
    2. 
  
  
  2. import IArticle = require('./IArticle');
    3. 
  
  
  3. interface IArticleModel extends IArticle, mongoose.Document { }
    4. 
  
  
  4. 
  
  
  5. const ArticleSchema = new mongoose.Schema({
    6. 
  
  
  6.     title: { type: String },
    7. 
  
  
  7.     url: { type: String },
    8. 
  
  
  8.     text: { type: String },
    9. 
  
  
  9. });
    10. 
  
  
  10. 
  
  
  11. const Article = mongoose.model("Article", ArticleSchema);
    12. 
  
  
  12. export = Article; 
    13.

修改api.ts为：

 
 
    
  
  
  1. import superagent = require('superagent');
    2. 
  
  
  2. import cheerio = require('cheerio');
    3. 
  
  
  3. import models = require('./models');
    4. 
  
  
  4. const Article = models.Article;
    5. 
  
  
  5. 
  
  
  6. export const get_index_urls = async function () {
    7. 
  
  
  7.     const res = await remote_get('http://cnodejs.org/');
    8. 
  
  
  8. 
  
  
  9.     const $ = cheerio.load(res.text);
    10. 
  
  
  10.     let urls: string[] = [];
    11. 
  
  
  11.     $('.topic_title_wrapper').each((index, element) => {
    12. 
  
  
  12.         urls.push('http://cnodejs.org' + $(element).find('.topic_title').first().attr('href'));
    13. 
  
  
  13.     });
    14. 
  
  
  14.     return urls;
    15. 
  
  
  15. 
  
  
  16. }
    17. 
  
  
  17. export const fetch_content = async function (url: string) {
    18. 
  
  
  18.     const res = await remote_get(url);
    19. 
  
  
  19. 
  
  
  20.     const $ = cheerio.load(res.text);
    21. 
  
  
  21.     let article = new Article();
    22. 
  
  
  22.     article.text = $('.topic_content').first().text();
    23. 
  
  
  23.     article.title = $('.topic_full_title').first().text().replace('置顶', '').replace('精华', '').trim();
    24. 
  
  
  24.     article.url = url;
    25. 
  
  
  25.     console.log('获取成功：' + article.title);
    26. 
  
  
  26.     article.save();
    27. 
  
  
  27. 
  
  
  28. }
    29. 
  
  
  29. export const remote_get = function (url: string) {
    30. 
  
  
  30. 
  
  
  31.     return new Promise((resolve, reject) => {
    32. 
  
  
  32.         superagent.get(url)
    33. 
  
  
  33.             .end(function (err, res) {
    34. 
  
  
  34.                 if (!err) {
    35. 
  
  
  35.                     resolve(res);
    36. 
  
  
  36.                 } else {
    37. 
  
  
  37.                     reject(err);
    38. 
  
  
  38.                 }
    39. 
  
  
  39.             });
    40. 
  
  
  40.     });
    41. 
  
  
  41. } 
    42.

修改app.ts为：

 
 
    
  
  
  1. import api = require('./api');
    2. 
  
  
  2. import helper = require('./helper');
    3. 
  
  
  3. import cheerio = require('cheerio');
    4. 
  
  
  4. 
  
  
  5. (async () => {
    6. 
  
  
  6. 
  
  
  7.     try {
    8. 
  
  
  8.         let urls = await api.get_index_urls();
    9. 
  
  
  9.         for (let i = 0; i < urls.length; i++) {
    10. 
  
  
  10.             await helper.wait_seconds(1);
    11. 
  
  
  11.             await api.fetch_content(urls[i]);
    12. 
  
  
  12.         }
    13. 
  
  
  13.     } catch (err) {
    14. 
  
  
  14.         console.log(err);
    15. 
  
  
  15.     }
    16. 
  
  
  16. 
  
  
  17.     console.log('完毕！');
    18. 
  
  
  18. 
  
  
  19. })(); 
    20.

执行

 
 
    
  
  
  1. tsc
    2. 
  
  
  2. node out/app 
    3.

观察输出，并去数据库检查一下可以发现入库成功了!

补充：remote_get方法的改进版，实现错误重试和加入代理服务器.放弃了superagent库，用的request库，仅供参考：

 
 
    
  
  
  1. //config.retries = 3;
    2. 
  
  
  2. let current_retry = config.retries || 0;
    3. 
  
  
  3. export const remote_get = async function (url: string, proxy?: string) {
    4. 
  
  
  4.     //每次请求都先稍等一下
    5. 
  
  
  5.     await wait_seconds(2);
    6. 
  
  
  6.     if (!proxy) {
    7. 
  
  
  7.         proxy = '';
    8. 
  
  
  8.     }
    9. 
  
  
  9.     const promise = new Promise(function (resolve, reject) {
    10. 
  
  
  10.         console.log('get: ' + url + ',  using proxy: ' + proxy);
    11. 
  
  
  11.         let options: request.CoreOptions = {
    12. 
  
  
  12.             headers: {
    13. 
  
  
  13.                 'Cookie': '',
    14. 
  
  
  14.                 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36',
    15. 
  
  
  15.                 'Referer': 'https://www.baidu.com/'
    16. 
  
  
  16.             },
    17. 
  
  
  17.             encoding: 'utf-8',
    18. 
  
  
  18.             method: 'GET',
    19. 
  
  
  19.             proxy: proxy,
    20. 
  
  
  20.             timeout: 3000,
    21. 
  
  
  21.         }
    22. 
  
  
  22.         request(url, options, async function (err, response, body) {
    23. 
  
  
  23.             console.log('got:' + url);
    24. 
  
  
  24.             if (!err) {
    25. 
  
  
  25.                 body = body.toString();
    26. 
  
  
  26.                 current_retry = config.retries || 0;
    27. 
  
  
  27.                 console.log('bytes:' + body.length);
    28. 
  
  
  28.                 resolve(body);
    29. 
  
  
  29.             } else {
    30. 
  
  
  30.                 console.log(err);
    31. 
  
  
  31.                 if (current_retry <= 0) {
    32. 
  
  
  32.                     current_retry = config.retries || 0;
    33. 
  
  
  33.                     reject(err);
    34. 
  
  
  34.                 } else {
    35. 
  
  
  35.                     console.log('retry...(' + current_retry + ')')
    36. 
  
  
  36.                     current_retry--;
    37. 
  
  
  37.                     try {
    38. 
  
  
  38.                         let body = await remote_get(url, proxy);
    39. 
  
  
  39.                         resolve(body);
    40. 
  
  
  40.                     } catch (e) {
    41. 
  
  
  41.                         reject(e);
    42. 
  
  
  42.                     }
    43. 
  
  
  43.                 }
    44. 
  
  
  44.             }
    45. 
  
  
  45.         });
    46. 
  
  
  46.     });
    47. 
  
  
  47.     return promise;
    48. 
  
  
  48. } 
    49.

另外，IArticle.ts和Article.ts合并为一个文件，可能更好，可以参考我另一个model的写法：

 
 
    
  
  
  1. import mongoose = require('mongoose');
    2. 
  
  
  2. 
  
  
  3. interface IProxyModel {
    4. 
  
  
  4.     uri: string;
    5. 
  
  
  5.     ip: string;
    6. 
  
  
  6.     port:string;
    7. 
  
  
  7.     info:string;
    8. 
  
  
  8. }
    9. 
  
  
  9. export interface IProxy extends IProxyModel, mongoose.Document { }
    10. 
  
  
  10. 
  
  
  11. const ProxySchema = new mongoose.Schema({
    12. 
  
  
  12.     uri: { type: String },//
    13. 
  
  
  13.     ip: { type: String },//
    14. 
  
  
  14.     port: { type: String },//
    15. 
  
  
  15.     info: { type: String },//
    16. 
  
  
  16. });
    17. 
  
  
  17. export const Proxy = mongoose.model("Proxy", ProxySchema); 
    18.

导入的时候这么写就行了：

 
 
    
  
  
  1. import { IProxy, Proxy } from './models';
    2.

其中Proxy可以用来做new、find、where之类的操作:

 
 
    
  
  
  1. let x = new Proxy();
    2. 
  
  
  2. let xx = await Proxy.find({});
    3. 
  
  
  3. let xxx = await Proxy.where('aaa',123).exec(); 
    4.

而IProxy用于实体对象的传递，例如

 
 
    
  
  
  1. function xxx(p:IProxy){
    2. 
  
  
  2. } 
    3.

网站题目：用TypeScript开发爬虫程序
本文地址：http://www.csdahua.cn/qtweb/news33/405433.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

ChatGPT知识

各行业网站

温江网站建设　　 　电商网站建设方案　　 　重庆app软件开发　　 　成都平面广告设计　　 　网络推广公司　　 　SSL认证　　 　小程序开发　　 　成都400电话办理　　 　西信服务器托管　　 　南充网站制作　　 　食品包装设计　　 　简阳电信机房　　 　大英网站建设　　 　丹棱网站建设　　 　营销型网站建设　　 　簇桥薇薇新娘　　 　简阳网站制作　　 　眉山主机托管　　 　金融行业网站建设方案　　 　四川成都网站建设