package.json文件的用法：

定义了项目的各种元信息，包括项目的名称，git repo地址，作者等等，定义了项目的依赖，这样项目在部署的时候不需要将node_modules目录也上传到服务器，npm install即可。

安装依赖的具体步骤:

1. npm init。初始化项目并帮我吗创建一个package.json文件；
2. npm install express utility --save。安装依赖，同时--save命令会帮助我们把依赖写入package.json文件。

这里分不清http的query和body了，所以还是翻了《自顶向下》，有空了应该把这本再看一遍…query实际上就是URL上带着的para参数。

这里记录网络中应用层里几个之前有疑惑的点：

• HTTP一定使用TCP支撑运输协议。
• HTTP请求报文：

1
2
3
4
5
6
7
8

GET /somedir/page.html HTTP/1.1 
/* request line 请求行:方法字段，URL字段，HTTP版本字段 */
----------------------------------------------------
/* header line 首部行 */
Host: www.someschool.com
Connection: close /* 非持续连接 */
User-Agent: Mozilla/5.0
Accept-language: fr

• HTTP响应报文：

1
2
3
4
5
6
7
8
9
10
11

/* 状态行 */
HTTP/1.1 200 OK
/* 首部行 */
Connection: close
Date: Tue, 09 Aug 2011 15:44:04 GMT
Server: Apache/2.2.3 (CentOS)
Last-Modified: Tur, 09 Aug 2011 15:11:03 GMT
Content-Length: 6821
Content-Type: text/html
/* 实体行 */
(data data data data data...)

这一部分的代码就不贴出来了。

• superagent是一个http库，可以发起get或者post请求
• cheerio用来从网页中以css selector取数据

这一段代码不是很理解，所以研究了一下cheerio这个库到底在干嘛，先贴代码：

1
2
3
4
5
6
7
8
9

var $ = cheerio.load(sres.text);
var items = [];
$('#topic_list .topic_title').each(function(inx, element){
  var $element = $(element);
  items.push({
     title: $element.attr('title'),
       href: $element.attr('href')
  });
});

以上代码做的其实是以下几件事：

1. 装载html文件。
2. 选择器：$(selelctor,[context],[root])。选择器在context范围内进行搜索，context又在root范围内搜索。
3. attr(name, value)获得和修改属性。在匹配的元素中只能获得第一元素的属性，如果设置一个属性的值为null，则移除这个属性。只传第一个参数，则获得属性；传两个参数，则是修改属性。

Node.js的异步并发是一大亮点。eventproxy这个库是用来管理异步操作是否完成，监听异步操作，在他们都被完成之后自动调用提供的处理函数，并将抓取到的数据当参数传出来。

哈哈哈哈哈，这一段好逗，贴出来乐一下：

个人觉得js这种随意的语言，真的非常不符合我的严谨型人格…

这里解读一下eventproxy的用法（先会用再理解吧）：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

var ep = new eventproxy;
ep.after('topic_html', topicURLs.length, function(topics){
   topics = topics.map(function(topicPair){
      var topicURL = topicPair[0];
        var topicHTML = topicPair[1];
       var $ = cheerio.load(topicHTML);
        return ({
           title: $('.topic_full_title').text().trim(),
         herf: topicURL,
          comment: $('.reply_content').eq(0).text().trim(),
        });
  });
  console.log('final:');
 console.log(topics);
});
topicURLs.forEach(function(topicurl){
  superagent.get(topicurl)
     .end(function(err, res){
          console.log('fetch '+topicurl+' successful');
          ep.emit('topic_html', [topicurl, res.text]);
     });
});

当发起请求过多时，大部分网站会因此禁止恶意请求而封IP，因此需要控制并发数量。

async常用的控制并发数量的接口：mapLimit(arr, limit, iterator, callback)。另一个常用的控制并发数量的接口queue(worker, concurrency)。

这里用到setTimeout(function, delay)这个函数，是在等待delay毫秒后执行function。

直接上代码，用来跑测试用例：

1
2
3
4
5

describe('test/main.test.js', function () {
  it('should equal 55 when n === 10', function () {
    main.fibonacci(10).should.equal(55);
  });
});

总结一下这几个工具：

• islanbul：js代码股概率测试工具npm i istanbul -g
• mocha：测试框架，即运行测试的工具，使用describe和it方法对不同的测试情况进行分组npm install mocha -g
• chai：mocha本身不提供assert断言，chai是一个断言库
• phantomjs：帮助搭建测试需要的前端浏览器环境npm i -g mocha-phantomjs

这里运行phantomjs出现了问题，运行mocha-phantomjs index.html --ssl-protocol=any --ignore-ssl-errors=true显示phantomjs terminated with signal SIGSEGV，随后执行mocha-phantomjs --path /usr/local/lib/node_modules/mocha-phantomjs/node_modules/phantomjs ./index.html抛出错误An error occurred trying to launch phantomjs at "/usr/local/lib/node_modules/mocha-phantomjs/node_modules/phantomjs": TypeError: Cannot read property 'pipe' of undefined.

官网上显示：PhantomJS development is suspended until further notice.

不再提供支持了。所以这里不再追究了，没有进行进一步的调研，直接进入下一节学习。

supertest和superagent的API一模一样，superagent是用来抓取页面的，supertest是专门用来配合express进行集成测试的。

这里区别一下npm install的时候--save</code>–save-dev的区别：