23
Nov
一淘网( www.etao.com )于2010年10月9日10:39正式上线,很多同学和同行对一淘的系统架构和面临的关键技术问题都很感兴趣,这篇短文希望能给予简要的介绍。
一淘的系统架构如上图所示。可以看到,一淘有三个数据来源:互联网、外部合作方和淘宝主站。其中,互联网数据通过crawl的方式获得,而后两者则通过feed的方式提供。
抓取系统的功能包括:网页抓取、抓取调度、域名解析、死链检测、JavaScript执行等。目前,一淘的资讯、话题、问答combo中的大部分数据都是通过抓取系统从互联网获得的。它是一淘一个重要的“原料厂”。
离线处理系统是一个功能众多、可灵活定制的Pipeline,其主要功能有:网页编码识别与转换、网页解析与内容抽取、购物相关站点发现、列表页识别、网页分类与消重、链接提取与合并、关键词提取、众多网页静态feature的提取。它是一淘的“加工厂”。
存储系统负责存储抓取系统和离线处理系统的产出,同时向这两个“厂”提供高性能、大容量的存取服务。目前我们采用的是Hadoop+HBase的体系结构,将网页、链接、图片进行了分类存放。存储系统是一淘存放原料、半成品的“核心仓库”。
一淘的系统架构如上图所示。可以看到,一淘有三个数据来源:互联网、外部合作方和淘宝主站。其中,互联网数据通过crawl的方式获得,而后两者则通过feed的方式提供。
抓取系统的功能包括:网页抓取、抓取调度、域名解析、死链检测、JavaScript执行等。目前,一淘的资讯、话题、问答combo中的大部分数据都是通过抓取系统从互联网获得的。它是一淘一个重要的“原料厂”。
离线处理系统是一个功能众多、可灵活定制的Pipeline,其主要功能有:网页编码识别与转换、网页解析与内容抽取、购物相关站点发现、列表页识别、网页分类与消重、链接提取与合并、关键词提取、众多网页静态feature的提取。它是一淘的“加工厂”。
存储系统负责存储抓取系统和离线处理系统的产出,同时向这两个“厂”提供高性能、大容量的存取服务。目前我们采用的是Hadoop+HBase的体系结构,将网页、链接、图片进行了分类存放。存储系统是一淘存放原料、半成品的“核心仓库”。
23
Nov
中文购物搜索引擎一淘:今日火爆招募对外商家
分类:一淘(etao)SEO 出处:本站原创
刚刚从一淘网官方微博上得到的消息:一淘火爆招募外部商家,想立即登陆一淘?立即点击http://open.s.taobao.com/,分享亿万用户资源哦
招商网站整个页面内容看介绍了关于合作商家的解释、外部商家入驻申请资质和申请流程
在这之前,一淘低调内测对接站外B2C商家 迪信通钻石小鸟等首批入驻。今日一淘正式开启开放搜索(opensearch)大门广招天下合作商家
什么是合作商家?
合作商家是淘宝外部合作电子商务网站的统称,合家商家可以将自身网站的商品通过一淘
搜索展现在广大买家用户面前,实现用户共享,与淘宝一起成长
入驻申请资质:
招商网站整个页面内容看介绍了关于合作商家的解释、外部商家入驻申请资质和申请流程
在这之前,一淘低调内测对接站外B2C商家 迪信通钻石小鸟等首批入驻。今日一淘正式开启开放搜索(opensearch)大门广招天下合作商家
什么是合作商家?
合作商家是淘宝外部合作电子商务网站的统称,合家商家可以将自身网站的商品通过一淘
搜索展现在广大买家用户面前,实现用户共享,与淘宝一起成长
入驻申请资质:
22
Nov
阿里巴巴校园招聘1000人多数是技术,看马云布局
分类:业界&关注 出处:本站原创
阿里巴巴频繁推出阿里搜索,一淘,首页也频繁改版,而且招聘居然说招1000个技术,my god!一个创业团队3-5人,多的话20左右技术很牛很牛了,看样子有大动作。
从我对阿里巴巴的了解,分析可能会有以下几个动作
1.阿里搜索:阿里搜索相关已经上新闻很多次了,但是搜索不是几个人的事儿,阿里招聘中间,好像招聘了很多数据挖掘等方面的学生,那这一块显而易见。
2.围脖:马云和卫哲迟迟没有开围脖,而阿里早已经将PHPwind收入囊中,目前还在进行收购,早有传言,阿里巴巴要收购围脖网站嘀咕,目前看来围脖成为很多网站的标配,不用说,显然是在进行自己的围脖开发。
3.下一代电子商务平台:目前有两个信息可以证明,a.阿里巴巴CEO卫哲在大学生招聘时,谈到要招募学生进阿里巴巴要做下一代电子商务平台;;a.中国供应商提升到29800时,提到马上要推出下一代电子商务平台
从我对阿里巴巴的了解,分析可能会有以下几个动作
1.阿里搜索:阿里搜索相关已经上新闻很多次了,但是搜索不是几个人的事儿,阿里招聘中间,好像招聘了很多数据挖掘等方面的学生,那这一块显而易见。
2.围脖:马云和卫哲迟迟没有开围脖,而阿里早已经将PHPwind收入囊中,目前还在进行收购,早有传言,阿里巴巴要收购围脖网站嘀咕,目前看来围脖成为很多网站的标配,不用说,显然是在进行自己的围脖开发。
3.下一代电子商务平台:目前有两个信息可以证明,a.阿里巴巴CEO卫哲在大学生招聘时,谈到要招募学生进阿里巴巴要做下一代电子商务平台;;a.中国供应商提升到29800时,提到马上要推出下一代电子商务平台
17
Nov
淘一淘商品搜索关键词看一淘是如何对接站外B2C网站的?
分类:一淘(etao)SEO 出处:本站原创
打开一淘网搜索框左上角点击选择中“商品”功能选项,淘一淘商品搜索关键词“三星“;搜索结果显示导航上看出有啥变化了没?
在搜索结果显示导航“二手”的右边并行出现了“合作商家”标签!筛选排序可供选择的分别有价格从低高到、从高到低、销量从高到低,其中还有供顾客输入价格范围查询
再者,一淘网首页在默认综合功能选项下输入关键词“三星”。搜索结果页第一个分类显示网址直达“三星”中国网站
最后的感言:2010年,对于搜索引擎而言注定是不同寻常的一年。
自从2010 年3 月 23 日谷歌宣布谷歌搜索退出中国市场之后,国内搜索引擎的“后谷歌时代”迅速到来,百度成为最大赢家。
国内搜狗、有道、搜搜等二线军团也纷纷重拳出击,角力搜索引擎市场。人民网、新华网等“国字号”也“义无反顾”地试水搜索引擎市场,像央视CCTV的“央视搜索”(http://search.cctv.com/)、《人民日报》社和人民网联合推出的“人民搜索”(http://goso.cn/)、新华网的“新华搜索”(http://search.news.cn/)。
如今,谷歌欲“王者归来”,以求夺回失去的市场份额,国内搜索引擎市场格局必将面临重新洗牌。究竟谁将是真正的王者,我们将拭目以待。不过有一点是肯定的,网友有了更多的选择。
在搜索结果显示导航“二手”的右边并行出现了“合作商家”标签!筛选排序可供选择的分别有价格从低高到、从高到低、销量从高到低,其中还有供顾客输入价格范围查询
再者,一淘网首页在默认综合功能选项下输入关键词“三星”。搜索结果页第一个分类显示网址直达“三星”中国网站
最后的感言:2010年,对于搜索引擎而言注定是不同寻常的一年。
自从2010 年3 月 23 日谷歌宣布谷歌搜索退出中国市场之后,国内搜索引擎的“后谷歌时代”迅速到来,百度成为最大赢家。
国内搜狗、有道、搜搜等二线军团也纷纷重拳出击,角力搜索引擎市场。人民网、新华网等“国字号”也“义无反顾”地试水搜索引擎市场,像央视CCTV的“央视搜索”(http://search.cctv.com/)、《人民日报》社和人民网联合推出的“人民搜索”(http://goso.cn/)、新华网的“新华搜索”(http://search.news.cn/)。
如今,谷歌欲“王者归来”,以求夺回失去的市场份额,国内搜索引擎市场格局必将面临重新洗牌。究竟谁将是真正的王者,我们将拭目以待。不过有一点是肯定的,网友有了更多的选择。
15
Nov
11月15日上午消息,淘宝独立搜索引擎一淘网etao.com今日正式对外测试其“开放搜索(OPEN SEARCH)”功能,一淘网负责人张谦表示,一淘网面向全网商品,并且愿意和腾讯拍怕及百度乐酷天等进行对接。
根据淘宝网的开放搜索功能,淘宝网站外的B2C商家可以通过现有的淘宝网数据开放平台,向一淘搜索引擎传送数据。据悉,目前首批开放搜索测试的垂直B2C网站已经有十多家,包括迪信通旗下购物网站北京手机网、专业迪斯尼童装网站小主人等垂直B2C商家。
值得注意的是,当当、京东、卓越等大型的综合类平台并未出现在一淘网搜索结果中。张谦坦言目前处于刚刚推出阶段,主要合作对象是一些垂直类B2C网站,但已经与当当等开始接触。















