网淘那些事第169篇：无货源店群如何快速有效的采集同行商品？

网淘那些事- · 2020-3-28 21:18:30

对于很多无货源店群的新手朋友来说，采集上传同行有销量的商品是一种简单有效的方法，相对直接选择上家商品来说，风险更低，非常受欢迎。如何采集同行的数据呢，以前很多人用软件抓取，现在要么就是不能用了，要么就是频繁提示限制。而用手工采集的方式，又不知道如何去找同行店铺。今天，网淘那些事就和大家来聊一聊，如何能够快速有效的采集到无货源店群同行的店铺以及数据。

我在教学员方法的时候，更喜欢让大家知其然，更知其所以然。解决问题固然重要，但是搞明白背后的原因，相似的问题就都可以解决了。而不是只说个操作方法，换个软件或者平台就又玩不转了。

采集同行商品也一样，为什么用软件采集同行的店铺或者商品会被平台限制呢？这背后的根本原因有两个：其一，任何平台都不希望自己的数据被第三方抓取统计，说好听点这是商业机密，说难听点，容易被打脸，容易和自己官方披露的统计结果不一致；其二，频繁的抓取平台数据会对服务器造成非常大的压力，影响正常客户的使用体验！

大家应该有体会，每年在双十一的时候，凌晨0点开始，我们经常会遇到无法购买，或者购买后无法付款的情况，这就是服务器压力太大所致。就好比过桥，正常情况下，人流不多，依次通过就好，突然之间涌来了数十倍数百倍的人，这时候大家就会挤在桥头，通行效率变低。

那怎么办呢，这时候平台就像道路指挥员一样，一边有序的疏通人群，一边把堵在桥头的人群给强制遣返。禁止他们堵在桥头，安排他们到后边排队去，排到前边又堵到一起过不去了，就让你继续掉头回去排队，直到能顺利过桥为止。

这些方法治标不治本，只能临时解决问题，最本质的关键点在于桥是否够宽，如果足够宽，那么自然就解决了这个问题。所以，那么多年淘宝也好，拼多多也罢，一直在“修桥”，试图让他们的服务器更加的强大和健壮。

可这些都是需要成本代价的，平台在高效和成本之间需要找个平衡点，既能保证日常数据流通的顺畅，又能兼顾控制成本。所以，在正常情况下，每天平台正常的访客对于数据的存取，服务器应付起来是轻松有余的。

可是做无货源的抓取数据和正常人不一样啊，正常人搜索一个产品关键词，系统返回一个搜索结果到浏览器页面，也就是几十款商品而已。可是软件抓取动辄需要服务器在几秒内提供几百甚至几千款商品的信息。而且，有时候是批量导入关键词来抓取，几十上百个关键词，每个词抓取几百上千个商品，这个频率是正常一个客户请求数据频率的几十甚至几百倍！

如果无货源店群软件这种抓取数据的行为越来越多，那么势必会消耗掉大量的平台服务器资源，一定会影响正常的用户体验。所以，不管是淘宝还是拼多多，都会对软件频繁、大量的抓取平台数据做出限制。

这地方大家注意我说的两个重点，一个是频繁，一个是大量！

所以有人问我，为什么软件别人能用，自己不能用呢？关键就在这地方。一旦你大量，或者频繁的使用软件抓取平台数据，那么平台就会启动自我保护的机制。对你的账号进行限制，并且记录下你的IP地址，从服务器端口对来自这个IP地址的数据请求进行屏蔽。

这个时候，你的软件就抓取不了任何数据了。怎么办呢？最简单的方法是换个账号，换个IP。如果你用的宽带猫拨号上网的方式，正常情况下，重启宽带猫重新拨号，就可以获得一个与原来不同的IP地址。这样就可以继续使用软件重新采集数据了，但是要注意，一定不要大量，频繁的采集。

对于个人来说，我有的时候非常搞不懂，为什么你明明只有一个店铺，非要采集几万条商品数据呢？在精细化模式下，我们不需要那么多商品数据，设置筛选条件，精准的挑选一些商品，比撒网似的什么数据都抓要有效的多。况且，有些商品变化非常快，你抓取过来不用，过一段时间再想上传，可能商品已经下架了，白白浪费了。

如果你的宽带无法更换，那么使用采集软件的时候，一旦被限制，只有购买代理IP，很多软件都是可以设置代理IP的。代理IP就是访问服务器不从你本地的IP地址直接去访问，而是通过网络上另外一个IP地址中转一下，让服务器认为抓取数据的请求是这个中转的IP地址发出的。

正常情况下一个代理IP也就是0.1-0.3元不等，很多代理IP的购买网站都是让你先充值，然后你就可以在网站上分批提取，一般一次性提取10-20个，把这些代理IP地址，按照软件的格式导入数据采集软件中。

当某个IP采集不了数据的时候，软件就会自动切换使用另外一个IP地址去采集，这样就避开了平台对某个IP地址访问的限制。等到这个IP地址被限制了，再换一个，不停的更换，直到这批IP地址全部被限制为止。

当然了，平台限制IP地址不是给你判死刑，不是永久不给你访问了，相当于给你关小黑屋，是有个期限的，期限一过，这个IP地址又可以访问了。所以，很多人当天采集不了数据后，放置一段时间，第二天或者第三天又可以采集了。

除了IP地址以外，平台也会对你的账号做出限制，这点拼多多平台尤为严格。很多时候，你换了IP依然采集不了拼多多的数据，这就是因为你的账号被限制了。这时候你就需要去购买一个叫做token的东西，这是啥呢，术语叫做访问令牌，直白的说，就是每一个token代表一个访问拼多多的用户。

任何一个登录拼多多平台的用户，平台都会给他生成唯一的一个token，每一次登录token都是不同的。token也是可以购买的，很多卡商会专门提供对外售卖token，一个大概0.3-0.35元左右。买来导入到拼多多的数据采集软件中，就可以继续采集数据了。具体的导入方式，不同的软件设置不同，基本上都是把token保存成文本文件，直接批量导入就行。

如果你的店铺数量不多，那么没有必要购买代理IP和token去采集数据，完全可以用人工方式来手动采集。方法也很简单，其实软件也是通过提前设定的一个流程去采集的。你只要知道这个操作流量，就可以无需软件，手动的去采集！

我们先拿淘宝来说，如果我们想采集同行店铺，有两种方法，一种通过关键字直接搜索店铺，例如搜索百货这个关键词，然后在搜索框选择结果是店铺，而不是默认的商品。在出来的店铺列表中直接把商品数量超过2000的店铺给挑选出来，这些店铺大概率的就是无货源店铺。很多软件都是通过这种方式挑选的，只不过商品数量多少、店铺销量多少可以在软件中自己设置，速度较人工更快罢了。

这种方法的缺点就是找出来的店铺有时候不够精准，很多销售某些商品的同行店铺，店名或者旺旺名称是不包含商品名称的，这样就无法通过搜索店铺名称来把他们找出来。

还有一种方式更精准，就是通过搜索产品关键词，在搜索出来商品结果中，对每一个商品来进行找同款，接着在找同款的页面中，把该商品有销量的店铺拿来分析，如果商品数量大于1000或者2000，店铺商品比较杂乱，风格不统一，就一定是无货源店铺了！

例如，我们通过搜索“春装2020款女韩版”这个长尾词，在商品结果页中，我们随便找一款商品，点击图片上的找同款，就可以进入到该款商品的同款页。

在这个页面，我们按照销量排序，有销量的商品，一一点击进入查看，如果发现店铺商品数量比较多，风格还不统一的，那这个就是无货源店铺了。

这种方式找同行非常精准，而且可以找到同行销量较好的产品，抓取过来精细同行截流。

拼多多的玩法就相对简单些，直接在拼多多上搜索某个产品关键词，或者用拍照搜索功能搜索某个产品图片。然后点击按照销量排序，尽量往下拉，到最下边，找那些0销量或者1-2个销量的商品，点击进去后看店铺的商品数量，一般超过1000以上的基本都是无货源店铺。

搜索的过程中要注意，尽量用长尾词，不要用大词热词，很多大词热词搜索出来的相关产品销量比较大，页面滑动到最后都有几百上千的销量，这些店铺是无货源的可能性很低。所以，要找那些长尾词，商品不多的，最后出来没有销量或者销量很低的多数都是无货源店铺的商品。

这种方法虽然看起来效率比较低，但是可以同时找出来很多无货源同行店铺，而且和你搜索的商品都非常匹配，精准度比较高。如果你是个人，手头店铺数量不多的话，用这种方式寻找同行无疑非常有效，并且永远不用担心受平台限制抓取不到数据。

店铺抓取出来后，店铺里有销量的商品自然也就可以获取到了，点击APP上的分享，复制商品或者店铺链接，发送给自己手机上微信的文件传输助手，一天获取上百个商品都是轻而易举的事情。