📌 导读:这是批量采集系列教程的第二篇,以 Lazada 平台的产品列表/内容页为例,演示用火车采集器分析页面规则、批量获取产品数据的思路。需要提醒的是,本文写于较早时期,如今 Lazada 等主流平台的页面结构与反爬机制已大幅升级(动态渲染、加密参数、风控验证等),文中具体的链接规则与操作步骤很可能已失效,仅供理解采集思路参考;实际操作时请务必遵守目标平台的服务条款与 robots 协议、相关法律法规,不要抓取或滥用他人受保护的数据。
上次讲了如何批量抓取 Tophatter 平台的产品数据,第一次接触这个套路的读者可能并不能理解抓取实现过程,没关系,我在 会员区 中专门录制了采集讲解视频,或许有所帮助。掌握批量采集这项技能,我们可以获得很多有价值的数据,比如抓取出最受买家欢迎的产品,产品的平均销售价格,产品的评价情况。结合这些细节信息,深度挖据,开发出目标产品。当然,Tophatter 上大部分是中国卖家,大部分产品在 1688 上都能找到,理论上可以把平台上的产品来个”乾坤大挪移”快速搬迁到其他平台,早年的暴力铺货就是这么来的(提醒:盗图、搬运他人产品涉嫌侵权,平台与法律均不允许,请合规经营)。
这次来抓取Lazada平台上的产品。如果你是跨境电商行业的老卖家,或多或少知道一些平台对于SKU数量要求的套路。应该说在大部分平台上,新开店铺时,都会被客户经理要求至少要上多少多少数量的SKU,越多越好,尽可能的多。很多新卖家纠结于这300-500个SKU,因为按照原始方式,手动编辑上传,要编的吐血。所以,还是得开动脑筋,找方法,找捷径。Lazada即是如此,甚至还屡次举办上传产品竞赛活动。当然,SKU数量越多,卖家的订单数量并不一定会越多,但或许能让Lazada看起来规模庞大,能卖个好价钱,所以,我想lazada以20亿美元卖给了阿里巴巴,或许有你有我的一份功劳。废话少说,开始采集。
一、分析
考虑到直接采集某一卖家的店铺SKU做演示,会把我骂得狗血淋头。这次还是从分类来采集。打开 https://www.lazada.com.my 网站,在Categories中,随便找一个分类,比如Women Bags为例进行演示。进入到 https://www.lazada.com.my/shop-women-bags/
(再次提醒:下面的页面规则与参数为成文时的情况,Lazada 现已升级反爬与页面结构,以下步骤大概率已不适用,仅作思路演示。)
第一步,分析出列表页规则,找出列表页和内容页之间的关联。因为最终目标是采集产品内容页上的数据,但我们无法直接获得内容页访问地址,所以,列表页的作用就是找到内容页访问地址。
老样子,打开 Chrome 浏览器,按 F12,观察 XHR 一栏的变化。我们点击列表页最下面的页面数字,每点一次页面数字,就会看到 XHR 上出现一个 JSON 数据包链接,
https://www.lazada.com.my/shop-women-bags/?ajax=true&page=91
按照之前的方法,在浏览器中打开这个 JSON 数据包链接,一堆乱码,老样子,把这些数据粘贴到 JSON 格式化工具(如 www.json.cn)格式化,找下规律。我们试着提出一个内容页链接地址,去批量查找,发现高达235条记录,但仔细算下一页列表中只有40个产品,显然这不是我们需要的内容。似乎,通过这种方式找到对应内容页链接地址有些麻烦。我们换个方式。
直接打开https://www.lazada.com.my/shop-women-bags/?page=91这个页面的原代码,鼠标反敲右键,查看网页源代码,继续找链接。找个内容页链接地址复制进去搜索,可以看到如下图。
好像有点眉目了。我们继续缩小范围, 最后找到这段代码:
productUrl”:”//www.lazada.com.my/products/bagsociety-mg-saffiano-effect-shell-bag-tote-bag-crossbody-sling-bag-black-i135436360-s153414723.html?search=1
二、采集
我们测试下是否符合要求,打开火车采集器。新建任务,命名lazada。在地址格式栏中填入列表页地址,page=后面的数字是变量,这里用地址参数替换,因为这个类目一共有102页,如果要全部采集就写上102.
在手动设置规则获取栏中,填入:
Url”:”//www.lazada.com.my/products/bagsociety-mg-saffiano-effect-shell-bag-tote-bag-crossbody-sling-bag-black-i135436360-s153414723.html?search=1
中间的链接地址是个变量,用[参数]替换掉。
得到Url”:”[参数]?search=1
拼接地址得到[参数1]
我们测试下能否顺利获得内容页地址,得到结果如下图,每页40个链接,正是我们需要的内容。
接下来,可以开始采集产品内容页的内容了。这里仍然以采集产品标题为例,其他字段数据以此类推。复制产品标题文字内容,在源代码中搜索,得到如下图,找出规律。
在内容采集规则中,新建一个字段,我们采用前后截取方法,获得标题文字。绿色(*)为通配符,可以替换任何文字。
找到桌面上的数据文件,打开,所有数据已经保存在里面了。
至此,Lazada平台的产品批量采集任务已经搞定,参考这个演示,同样可以将尺寸、重量、图片、描述、亮点等信息完整采集下来。我想,用这种思路应对平台对 SKU 数量的要求,理论上可以省不少力气(但还是要强调:上传产品须确保拥有合法授权,切勿盗图、盗用他人产品信息,并遵守平台规则)。
还是那句话,批量采集不是什么黑科技,确切地说,这是一项从事跨境电商的基本技能。数据是基础,分析处理是方法。采集一大堆数据给到你,可能这是一堆垃圾,但如果结合分析处理,巧妙筛选提取出有价值的内容,可能就是一款爆款产品的线索,也可能是产品改进的需求分析,值得尝试。最后再强调一句:采集要在合规前提下进行,遵守平台条款与法律法规,重在分析洞察,而非搬运侵权。
https://youtu.be/-gTYWgcGQaI









