為網(wǎng)站構(gòu)建自己的Aleax查詢服務(wù)

原創(chuàng) 2015-10-26 13:41:41

開發(fā)

前端

云計(jì)算

開發(fā)工具 Alexa網(wǎng)站排名被業(yè)界普通的認(rèn)可，排名數(shù)據(jù)會(huì)經(jīng)常地被引用，每次都在網(wǎng)站上查詢就會(huì)顯得不方便。Amazon提供的Alexa的API，讓開發(fā)者可以構(gòu)建自己的Alexa查詢的應(yīng)用。

前言

每個(gè)網(wǎng)站的站長都會(huì)想盡辦法提升網(wǎng)站的流量，從而獲得更高的廣告收入。那么評(píng)判一個(gè)網(wǎng)站好壞的標(biāo)準(zhǔn)，如Google的PR(PageRank)，百度權(quán)重等。從PV(Page View)流量的角度，一個(gè)非常重要指標(biāo)就是Alexa網(wǎng)站排名。

同全球的網(wǎng)站相比，你就能了解到自己網(wǎng)站的位置，讓我們先擠進(jìn)全球前10萬的排名吧，不然都不好意思跟同行說，“自己有一個(gè)網(wǎng)站”。

目錄

1. Alexa介紹

2. 用Node開發(fā)Alexa服務(wù)

3. 作者介紹

1. Alexa介紹

Alexa (??http://www.alexa.com/??)是一家發(fā)布世界網(wǎng)站排名的網(wǎng)站，以搜索引擎起家的Alexa創(chuàng)建于1996年4月（美國），目的是讓互聯(lián)網(wǎng)網(wǎng)友在分享虛擬世界資源的同時(shí)，更多地參與互聯(lián)網(wǎng)資源的組織。Alexa每天在網(wǎng)上搜集超過1TB的信息，不僅給出多達(dá)幾十億的網(wǎng)址鏈接，而且為其中的每一個(gè)網(wǎng)站進(jìn)行了排名?？梢哉f，Alexa是當(dāng)前擁有URL數(shù)量最龐大，排名信息發(fā)布最詳盡的網(wǎng)站。

1999年，Alexa被美國電子商務(wù)旗艦企業(yè)“亞馬遜”收購，成為后者的全資子公司。2002年春，Alexa放棄了自己的搜索引擎，轉(zhuǎn)而與Google合作。

Alexa提供了網(wǎng)站流量統(tǒng)計(jì)的服務(wù)，對(duì)全球有域名的網(wǎng)站進(jìn)行流量記錄。也就是說，只要你申請(qǐng)了域名，在Alexa中就可以查詢到你的網(wǎng)站的排名。Alexa的網(wǎng)站排名是按照每個(gè)特定網(wǎng)站的被瀏覽率進(jìn)行排名的。瀏覽率越大，排名越靠前。

通常情況，如果你的域名剛剛注冊(cè)，排名在1千萬以上；接下來，你每天都經(jīng)心運(yùn)營網(wǎng)站，小有起色時(shí)，排名會(huì)進(jìn)入前1百萬；然后，你繼續(xù)發(fā)布優(yōu)質(zhì)內(nèi)容，堅(jiān)持了一段時(shí)間，排名會(huì)升至前50萬；當(dāng)你的網(wǎng)站在某一領(lǐng)域小有名氣時(shí)，排名可以到達(dá)10萬，如??粉絲日志???122616(2015-10-25)，這時(shí)就會(huì)有廣告主愿意來投放廣告了；如果你做的是以盈利為目的的網(wǎng)站，那么你需要再加油，進(jìn)入到前1萬，這個(gè)時(shí)候你的流量已經(jīng)可以為你帶來生意了；如果能做的更好，排名進(jìn)入前2000，像??雪球???排名到2109(2015-10-25)，那么你將會(huì)有一個(gè)很高的估值了；如果能趕上一個(gè)天大的機(jī)遇，你的網(wǎng)站排名到了前100，那么你的網(wǎng)站將給你帶來上市公司的價(jià)值，如??京東???105(2015-10-25)；如果你是天才型的CEO，網(wǎng)站進(jìn)了前10名，那么你將會(huì)成為一個(gè)產(chǎn)業(yè)的***，甚至是某個(gè)區(qū)域的首富，如??百度??4(2015-10-25)。

站長們，加油！

2. 用Node開發(fā)Alexa服務(wù)

2.1 Alexa開放API

Alexa網(wǎng)站排名被業(yè)界普通的認(rèn)可，排名數(shù)據(jù)會(huì)經(jīng)常地被引用，每次都在網(wǎng)站上查詢就會(huì)顯得不方便。Amazon提供的Alexa的API，讓開發(fā)者可以構(gòu)建自己的Alexa查詢的應(yīng)用。

Alexa有2個(gè)主要的數(shù)據(jù)API服務(wù)。

? ??Alexa Web Information Service??，查詢單個(gè)網(wǎng)站的排名信息

? ??Alexa Top Sites??，查詢網(wǎng)站的綜合排名

通常情況，只需要調(diào)用UrlInfo數(shù)據(jù)接口，就可以獲得網(wǎng)站的流量數(shù)據(jù)了。當(dāng)然，這個(gè)接口的定義，并不像我之前想象的那么好用，而且開放出來的數(shù)據(jù)有限。

UrlInfo接口的API。
 ? 

官方提供了多語言的SDK工具包，我覺得還是Node.js最方便。我構(gòu)建的一個(gè)Alexa數(shù)據(jù)查詢服務(wù)，??http://fens.me/alexa??

?? 

#p#

2.2 創(chuàng)建AWS的API密鑰

我們?cè)谑褂肁WS的API之前，需要先創(chuàng)建密鑰，類似于OAuth2的訪問的機(jī)制。

1. 注冊(cè)AWS賬號(hào)，請(qǐng)大家自己完成。??注冊(cè)??

2. 進(jìn)入AWS賬號(hào)管理控制臺(tái)，??控制臺(tái)??

3. 從控制臺(tái)選擇“安全證書”

?? 

4. 創(chuàng)建訪問密鑰（訪問密鑰 ID 和私有訪問密鑰）

我們一會(huì)寫程序的時(shí)候，需要輸入創(chuàng)建的訪問密鑰 ID 和私有訪問密鑰。

2.3 用Node開發(fā)Alexa服務(wù)

接下來，介紹用Node構(gòu)建一個(gè)Alexa的項(xiàng)目。

我的系統(tǒng)環(huán)境

? Win10 64bit

? Node v0.12.3

? NPM 2.9.1

創(chuàng)建項(xiàng)目

~ D:\workspace\nodejs>mkdir nodejs-alexa && cd nodejs-alexa

新建Node項(xiàng)目配置文件：package.json

~ vi package.json

{
"name": "alexa-demo",
"version": "0.0.1",
"description": "alexa web demo",
"license": "MIT",
"dependencies": {
"awis": "0.0.8"
}
}

安裝awis包

~ D:\workspace\nodejs\nodejs-alexa>npm install
npm WARN package.json alexa-demo@0.0.1 No repository field.
npm WARN package.json alexa-demo@0.0.1 No README data
alexarank@0.1.1 node_modules\alexarank
├── xml2js@0.4.13 (sax@1.1.4, xmlbuilder@3.1.0)
└── request@2.30.0 (forever-agent@0.5.2, aws-sign2@0.5.0, qs@0.6.6, tunnel-agent@0.3.0, oauth-sign@0.3.0, json-stringify-safe@5.0.1, mime@1.2.11, node-uuid@1.4.3, tough-cookie@0.9.15, form-data@0.1.4, hawk@1.0.0, http-signature@0.10.1)

awis@0.0.8 node_modules\awis
├── xml2js@0.4.13 (sax@1.1.4, xmlbuilder@3.1.0)
├── lodash@3.10.1
└── request@2.65.0 (aws-sign2@0.6.0, forever-agent@0.6.1, caseless@0.11.0, stringstream@0.0.4, oauth-sign@0.8.0, tunnel-agent@0.4.1, isstream@0.1.2, json-stringify-safe@5.0.1, extend@3.0.0, node-uuid@1.4.3, qs@5.2.0, tough-cookie@2.2.0, combined-stream@1.0.5, mime-types@2.1.7, form-data@1.0.0-rc3, http-signature@0.11.0, hawk@3.1.0, bl@1.0.0, har-validator@2.0.2)

新建文件alexa.js，調(diào)用AWS Alexa網(wǎng)站排名API。

~ vi alexa.js

// 定義AWS密鑰
var key = 'xxxxxxxxxxxxxxx';
var sercet = 'xxxxxxxxxxxxxxx';

// 創(chuàng)建awis實(shí)例化對(duì)象
var awis = require('awis');
var client = awis({
key: key,
secret: sercet
});

// 調(diào)用UrlInfo接口
console.log("=============UrlInfo=================");
client({
'Action': 'UrlInfo',                         //UrlInfo接口
'Url': 'fens.me',                            //查詢的網(wǎng)站
'ResponseGroup': 'TrafficData,ContentData'   //需要的數(shù)據(jù)組
}, function (err, data) {
if(err) console.log(err);
console.log(data);
});

運(yùn)行程序node alexa.js

~ D:\workspace\nodejs\nodejs-alexa>node alexa.js
=============UrlInfo=================
{ contentData:
{ dataUrl: 'fens.me',
siteData:
{ title: '粉絲日志',
description: '跨界的IT博客|Hadoop家族, R, RHadoop, Nodejs, AngularJS, NoSQL, IT金融' },
speed: { medianLoadTime: '982', percentile: '70' },
adultContent: '',
language: '',
linksInCount: '198',
keywords: '',
ownedDomains: '' },
trafficData:
{ dataUrl: 'fens.me',
rank: '122616',
usageStatistics: { usageStatistic: [Object] },
contributingSubdomains: { contributingSubdomain: [Object] } } }

簡(jiǎn)簡(jiǎn)單單地幾行代碼，都獲得了Alexa的排名信息。后臺(tái)打印時(shí)Object沒有轉(zhuǎn)到成對(duì)象，我做了一個(gè)服務(wù)，可以通過HTTP輸出查看完整的返回。http://api.fens.me/alexa/fens.me

我們查檢一下awis包的源代碼可以發(fā)現(xiàn)，其實(shí)AWS Alexa服務(wù)返回是XML，awis的自動(dòng)幫我們做了JSON的轉(zhuǎn)型處理，如果想查看原始的返回值，可以修改awis包中index.js文件parse()函數(shù)。

function parse(xml, req, cb) {
console.log(xml); //打印

....
}

運(yùn)行程序

D:\workspace\nodejs\nodejs-alexa>node alexa.js
=============UrlInfo=================

1e7d8406-4b62-3460-27fb-325fc3dc3e85


fens.me

粉絲日志
跨界的IT博客|Hadoop家族, R, RHadoop, Nodejs, AngularJS, NoSQL, IT金融


982
70



198




fens.me
122616



3


122616
+28849



110056
+25785


12.5
-24.68%




0.27
-24.84%


194189
43945


1.9
0%





1


102621
-30257



95663
-20326


15
+20%




0.37
+60%


153976
-69981


2.2
+30%





7


114709
+32390



103552
+27312


14
-28.59%




0.3
-37.28%


188124
58655


2.0
-12.11%





1


74860
-93163



70563
-54001


20
+60%




0.6
+300%


111541
-210757


2
+100%






blog.fens.me

1


99.19%


99.64%
2.2



OTHER

1


0


0.36%
0




Success

除了UrlInfo接口還有幾個(gè)接口可以使用。

#p#

TrafficHistory接口

console.log("=============TrafficHistory=================");
client({
'Action': 'TrafficHistory',
'Url': 'fens.me',
'ResponseGroup': 'History'
}, function (err, res) {
if(err) console.log(err);
console.log(res.trafficHistory);
console.log(res.trafficHistory.range);
console.log(res.trafficHistory.site);
console.log(res.trafficHistory.start);
console.log(res.trafficHistory.historicalData);
console.log(res.trafficHistory.historicalData.data);
console.log(res.trafficHistory.historicalData.data.length);
res.trafficHistory.historicalData.data.forEach(function (item) {
console.log(item.date);
console.log(item.pageViews);
console.log(item.rank);
console.log(item.reach);
});
});

運(yùn)行程序

~ D:\workspace\nodejs\nodejs-alexa>node alexa.js
=============TrafficHistory=================
{ range: '31',
site: 'fens.me',
start: '2015-09-23',
historicalData:
{ data:
[ [Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object] ] } }

// 省略輸出

SitesLinkingIn接口

console.log("=============SitesLinkingIn=================");
client({
'Action': 'SitesLinkingIn',
'Url': 'fens.me',
'ResponseGroup': 'SitesLinkingIn'
}, function (err, data) {
if(err) console.log(err);
console.log(data);
});

運(yùn)行程序

~ D:\workspace\nodejs\nodejs-alexa>node alexa.js
=============SitesLinkingIn=================
{ sitesLinkingIn:
{ site:
[ [Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object],
[Object] ] } }

CategoryBrowse接口

console.log("=============CategoryBrowse=================");
client({
'Action': 'CategoryBrowse',
'Url': 'fens.me',
'Path': 'Top/china',
'ResponseGroup': 'LanguageCategories'
}, function (err, data) {
if(err) console.log(err);
console.log(data);
});

運(yùn)行程序

~ D:\workspace\nodejs\nodejs-alexa>node alexa.js
=============CategoryBrowse=================
{ categoryBrowse: { languageCategories: '' } }

***，我們只需要把這個(gè)程序用web封裝一下，就可以提供對(duì)用戶的服務(wù)了，參考我的網(wǎng)站??http://fens.me/alexa ??。

本文對(duì)應(yīng)的代碼請(qǐng)通過github進(jìn)行下載，下載地址為：??https://github.com/bsspirit/nodejs-alexa ??。

Alexa網(wǎng)站排名以第三方的視角給全球的每個(gè)網(wǎng)站進(jìn)行了排名，甚至是定價(jià)。做為一個(gè)優(yōu)秀的網(wǎng)長，我們要使用好Alexa工具，了解自己的網(wǎng)站和競(jìng)爭(zhēng)對(duì)手的網(wǎng)站，才能網(wǎng)站脫穎而出，成為成功的站長！

3. 作者介紹

張丹，??況客科技(北京)有限公司??，創(chuàng)始人/CTO。

《??R的極客理想???》系列圖書作者，個(gè)人博客: ??http://blog.fens.me??

從程序員開始到架構(gòu)師，再到金融量化創(chuàng)業(yè)者，倡導(dǎo)跨學(xué)科思維，多語言編程！我認(rèn)為這是技術(shù)復(fù)合人才未來的發(fā)展方向。抓住機(jī)會(huì)??！程序員，加油！

分享標(biāo)題：為網(wǎng)站構(gòu)建自己的Aleax查詢服務(wù)
文章路徑：http://www.dlmjj.cn/article/djegoge.html