贝索斯的技术员编写的是一种纯自动化的爬虫脚本。
在互联网时代,一切讲究的是效率和速度,但是有时候,单纯的效率会催生出巨大的隐患。
任何网站的负载都是有限的,如果一个网站的登陆访问请求超过某个上限值,比如一秒钟几万次的登陆请求,那么整个网站都会宕机,数据量再加大的话,服务器甚至有可能烧。
而黑客最常用的攻击方式,就是写一个自动化的登陆脚本去不断的请求登陆。
为了防黑客,一些程序员大佬发明了一种验证人机的办法——验证码!
没错,大家最讨厌的验证码,其实是为了防黑客的!
因为验证码是动态变化的,每一次都不一样,黑客编写的纯自动化脚本没办法识别。
贝索斯的技术团队开发的这种纯自动化爬虫脚本,就类似于黑客的那种脚本。
它可以做到一秒钟采集10万次数据!
而掏宝的服务器是能够承载千万人同时在线流量的“怪物”,这点数据采集数量,根本不会引起掏宝的怀疑。
1秒钟10万次,贝索斯甚至可以在半小时内把淘宝网的所有页面数据全部采集完!
到了凌晨12点的时候。
乔恩兴奋的找到眼圈发黑的贝索斯,激动的道:“boss,我们的爬虫已经开始爬数据了,爬完数据后,技术团队会把数据上传到咱们自己的数据库!”
“嘿嘿,陈默肯定不知道,掏宝斥巨资辛辛苦苦搞的数千万的卖家页面数据,咱们爬虫爬了半个小时就能爬完。这给咱们省了一大笔钱呢!”
贝索斯立刻起身,开心道:“nice!告诉技术团队,这件事搞定以后,我给他们发奖金!”
顿了顿,贝索斯又道:“对了,ip一定要勤换着点,在爬完数据之前,千万别被对方的程序大牛给逮到!”
乔恩立刻点了点头:“好!我这就去吩咐!”
自动更换ip功能很好做,甚至有现成的软件,不需要技术员现场编写,直接下载一个拿过来用就是了。
12点5分,贝索斯的爬虫正式出动对掏宝的页面数据进行大量的采集。
此刻,马福报正在掏宝亲自坐镇加班。
虽然反作弊功能和水印logo功能都可以自动开启。
但是为了能窃取乐掏一部分流量,马福报让技术员暂时关闭了这俩功能,听从他的指挥。
只要马福报一声令下,这两个功能就能瞬间开启,把所有被爬虫爬走的数据变成脏数据!
当乐掏的爬虫开始肆无忌惮的采集掏宝数据时,掏宝的技术员早就发现了异常!
“马总,对方行动了!而且爬虫的速度非常快,不用半小时就能爬走咱们全部的数据!”
技术总监说道。
“听我命令,反作弊功能开启!”
马福报朗声道。
“是!”
技术总监立刻敲下了一行命令,反作弊功能开启,一瞬间,把所有掏宝的页面数据变成了脏数据。
半小时后。
乔恩兴奋的汇报:“boss,所有数据已经爬完上传到咱们乐掏了!”
“不光是答应跟咱们合作的掏宝卖家的店能全部在乐掏复制了,其他所有的掏宝卖家,只要他们想,也能一键在咱这边开店,没有任何成本!”
贝索斯双眼发亮:“好!非常好!”
“告诉那些答应来咱们这开店的掏宝店主,今晚我们就开始搞,就趁着陈默睡觉给他来个出其不意!”
“另外,马上去通知那些流量网站给咱们的乐掏店倒流,现在就支付尾款!快去!”
“是!”
乔恩也明白,时不我待。
马上大手一挥,让手下支付给流量网站尾款。
而那些倒流网站,也很给力,拿过来乐掏给的网店网址,开始倒流。
庞大的流量,从全国各种流量网站涌来!
“嘿嘿,很快,掏宝的中小型卖家就全部在乐掏开店了,等他们尝到甜头后,就是掏宝死亡的开始!”
贝索斯得意道。
然而,几个小时过去后……
一直在后台观察数据的贝索斯发现了不对劲。
怎么一点流量没导入进来?
“乔恩,你钱给那些网站打过去了吗?”贝索斯问道。
“打过去了啊,那些网站还把倒流的网址贴给咱们了,我检查网址了,没有错啊!”乔恩道。
“可是后台一丁点流量都没进来,这是怎么回事?”贝索斯疑惑道。
乔恩问技术员,技术员也说没发现问题,对接的网站也没搞错。
“我可是花了大价钱买流量的,而且这些网店都是经过掏宝验证过的,优秀网店,没道理不吸量啊?”
“而且就算再不吸量,也没道理一定点流量也没有吧?”
贝索斯郁闷了。
到底问题出在哪儿了?
就在这时,一名技术员突然惊呼道:“偶买噶!怎么会这样?”
“怎么了?”
贝索斯皱眉问道。
“boss,不知道怎么回事,新在咱们乐掏开的那些店,全部转链接去了掏宝!”
技术员汗颜道。
“什么?!”
贝索斯赶紧上网,随便找了一家合作的导航网址,在最显眼的位置找到了自己购买的流量导入口。
那是一件女士上衣的链接。
正常来说,用户点进去,是直接进入这件衣服所在的乐掏网店页面的,
可是此刻贝索斯点进去,却吃惊的发现……
这他妈居然跑到掏宝这边来了!!!
贝索斯又再找了几个合作的流量网站,发现全都是这样!
所有挂出去的乐掏网店商品,居然都转链接到掏宝那边去了!
这不等于是自己花钱给掏宝买流量吗?
“这到底是怎么回事?谁能告诉我!!!”
贝索斯愤怒的咆哮道。
乔恩赶紧去让技术总监查。
结果这一查,技术总监冷汗直流。
原来他们采集到的数据,带有反作弊代码,一旦挂到掏宝以外的网站上,无论是乐掏也好,还是其他网站也罢,全都会转链接回到掏宝!
也就是说,他们辛辛苦苦用爬虫爬来的数据,全是脏数据,不但没用,而且还是在给掏宝做嫁衣!
贝索斯的技术员编写的是一种纯自动化的爬虫脚本。
在互联网时代,一切讲究的是效率和速度,但是有时候,单纯的效率会催生出巨大的隐患。
任何网站的负载都是有限的,如果一个网站的登陆访问请求超过某个上限值,比如一秒钟几万次的登陆请求,那么整个网站都会宕机,数据量再加大的话,服务器甚至有可能烧。
而黑客最常用的攻击方式,就是写一个自动化的登陆脚本去不断的请求登陆。
为了防黑客,一些程序员大佬发明了一种验证人机的办法——验证码!
没错,大家最讨厌的验证码,其实是为了防黑客的!
因为验证码是动态变化的,每一次都不一样,黑客编写的纯自动化脚本没办法识别。
贝索斯的技术团队开发的这种纯自动化爬虫脚本,就类似于黑客的那种脚本。
它可以做到一秒钟采集10万次数据!
而掏宝的服务器是能够承载千万人同时在线流量的“怪物”,这点数据采集数量,根本不会引起掏宝的怀疑。
1秒钟10万次,贝索斯甚至可以在半小时内把淘宝网的所有页面数据全部采集完!
到了凌晨12点的时候。
乔恩兴奋的找到眼圈发黑的贝索斯,激动的道:“boss,我们的爬虫已经开始爬数据了,爬完数据后,技术团队会把数据上传到咱们自己的数据库!”
“嘿嘿,陈默肯定不知道,掏宝斥巨资辛辛苦苦搞的数千万的卖家页面数据,咱们爬虫爬了半个小时就能爬完。这给咱们省了一大笔钱呢!”
贝索斯立刻起身,开心道:“nice!告诉技术团队,这件事搞定以后,我给他们发奖金!”
顿了顿,贝索斯又道:“对了,ip一定要勤换着点,在爬完数据之前,千万别被对方的程序大牛给逮到!”
乔恩立刻点了点头:“好!我这就去吩咐!”
自动更换ip功能很好做,甚至有现成的软件,不需要技术员现场编写,直接下载一个拿过来用就是了。
12点5分,贝索斯的爬虫正式出动对掏宝的页面数据进行大量的采集。
此刻,马福报正在掏宝亲自坐镇加班。
虽然反作弊功能和水印logo功能都可以自动开启。
但是为了能窃取乐掏一部分流量,马福报让技术员暂时关闭了这俩功能,听从他的指挥。
只要马福报一声令下,这两个功能就能瞬间开启,把所有被爬虫爬走的数据变成脏数据!
当乐掏的爬虫开始肆无忌惮的采集掏宝数据时,掏宝的技术员早就发现了异常!
“马总,对方行动了!而且爬虫的速度非常快,不用半小时就能爬走咱们全部的数据!”
技术总监说道。
“听我命令,反作弊功能开启!”
马福报朗声道。
“是!”
技术总监立刻敲下了一行命令,反作弊功能开启,一瞬间,把所有掏宝的页面数据变成了脏数据。
半小时后。
乔恩兴奋的汇报:“boss,所有数据已经爬完上传到咱们乐掏了!”
“不光是答应跟咱们合作的掏宝卖家的店能全部在乐掏复制了,其他所有的掏宝卖家,只要他们想,也能一键在咱这边开店,没有任何成本!”
贝索斯双眼发亮:“好!非常好!”
“告诉那些答应来咱们这开店的掏宝店主,今晚我们就开始搞,就趁着陈默睡觉给他来个出其不意!”
“另外,马上去通知那些流量网站给咱们的乐掏店倒流,现在就支付尾款!快去!”
“是!”
乔恩也明白,时不我待。
马上大手一挥,让手下支付给流量网站尾款。
而那些倒流网站,也很给力,拿过来乐掏给的网店网址,开始倒流。
庞大的流量,从全国各种流量网站涌来!
“嘿嘿,很快,掏宝的中小型卖家就全部在乐掏开店了,等他们尝到甜头后,就是掏宝死亡的开始!”
贝索斯得意道。
然而,几个小时过去后……
一直在后台观察数据的贝索斯发现了不对劲。
怎么一点流量没导入进来?
“乔恩,你钱给那些网站打过去了吗?”贝索斯问道。
“打过去了啊,那些网站还把倒流的网址贴给咱们了,我检查网址了,没有错啊!”乔恩道。
“可是后台一丁点流量都没进来,这是怎么回事?”贝索斯疑惑道。
乔恩问技术员,技术员也说没发现问题,对接的网站也没搞错。
“我可是花了大价钱买流量的,而且这些网店都是经过掏宝验证过的,优秀网店,没道理不吸量啊?”
“而且就算再不吸量,也没道理一定点流量也没有吧?”
贝索斯郁闷了。
到底问题出在哪儿了?
就在这时,一名技术员突然惊呼道:“偶买噶!怎么会这样?”
“怎么了?”
贝索斯皱眉问道。
“boss,不知道怎么回事,新在咱们乐掏开的那些店,全部转链接去了掏宝!”
技术员汗颜道。
“什么?!”
贝索斯赶紧上网,随便找了一家合作的导航网址,在最显眼的位置找到了自己购买的流量导入口。
那是一件女士上衣的链接。
正常来说,用户点进去,是直接进入这件衣服所在的乐掏网店页面的,
可是此刻贝索斯点进去,却吃惊的发现……
这他妈居然跑到掏宝这边来了!!!
贝索斯又再找了几个合作的流量网站,发现全都是这样!
所有挂出去的乐掏网店商品,居然都转链接到掏宝那边去了!
这不等于是自己花钱给掏宝买流量吗?
“这到底是怎么回事?谁能告诉我!!!”
贝索斯愤怒的咆哮道。
乔恩赶紧去让技术总监查。
结果这一查,技术总监冷汗直流。
原来他们采集到的数据,带有反作弊代码,一旦挂到掏宝以外的网站上,无论是乐掏也好,还是其他网站也罢,全都会转链接回到掏宝!
也就是说,他们辛辛苦苦用爬虫爬来的数据,全是脏数据,不但没用,而且还是在给掏宝做嫁衣!