登录

跨境电商独立站SEO优化必知,用Meta Robot tags还是Robots.txt?

2022-03-07
2140
119

作者:蓝海亿观网
来源: 蓝海亿观

news-ad

出海资讯跨境电商独立站SEO优化必知,用Meta Robot tags还是Robots.txt?

Robots meta标签,元标签(meta tags)是一段代码,帮助搜索引擎抓取或索引独立站页面和内容。蓝海亿观网了解到,有三种类型的robots meta指令:

1.Robots.txt:如果需要控制浏览器在独立站上抓取的内容,则使用Robots.txt。

2.Robots meta tags:如果需要控制单个HTML页面在SERPs(搜索结果页面)上的显示方式,则使用Robots meta tags。

3.X-Robots-Tag HTTP headers:如果需要控制非HTML内容在SERPs上的显示方式,则使用X-Robots-Tag HTTP headers。(文末扫码入跨境电商独立站精英卖家交流群)

Robots meta tags是什么

Robots meta tags是网页页面HTML代码的一部分,以代码元素的形式出现在页面的<head>部分。

这些标签(tags)通常用来给独立站的特定区域,提供抓取指令。

独立站卖家在不同的抓取程序,使用robots meta tags,则需要为每个程序,创建单独的tags。

Robots.txt有什么用

Robots.txt文件告诉搜索引擎,可以以及不能在独立站抓取的页面和文件。这主要是避免独立站超载。

在更新或迁移网站后,确保Robots.txt文件的SEO配置正确,因为他们可能阻止搜索引擎抓取独立站内容,导致独立站无法进入SERP排名。

虽然Robots.txtSEO优化的必要组件,但依然有些限制:

1.可能不是所有的搜索引擎,都支持Robots.txt文件,虽然Robots.txt为搜索引擎抓取程序提供了说明,但最终取决于搜索引擎程序是否遵循这些说明。

2.虽然搜索引擎程序将遵循Robots.txt文件中设置的参数,但每个抓取程序对参数的解释可能不同,或者无法理解某些参数。

3.即便一个页面链接到另一个网站,Robots.txt也仍然能被索引。虽然谷歌不会抓取或索引Robots.txt文件阻止的内容,但这些内容可能会链接到网络上的其他页面。如果是这样,页面上的URL或其他可用信息仍然可以出现在SERPs上。

Meta RobotsRobots.txt的术语

使用正确的技术语法是很重要的,错误语法可能会对独立站的呈现,及其在SERP的排名产生影响。

Meta Robots Tags的常见索引参数(indexing parameters):

1.All:一个默认元标签(meta tag),对索引和内容不产生限制,对搜索引擎的工作没有产生真正影响。

2.Noindex:告诉搜索引擎不要索引一个页面。

3.Index:告诉搜索引擎索引一个页面,这是一个默认元标签,独立站卖家无需将其添加到网页。

4.Follow:即使页面没有被索引,也告知搜索引擎应该跟随页面上的所有链接,并将权益或链接权限,传递给链接页面。

5.Nofollow:告知搜索引擎不要在一个页面上,跟随或传递任何链接。

6.Noimageindex:告诉搜索引擎不要索引页面上的任何图像。

7.None:相当于同时使用NoindexNofollow标签。

8.Noarchive:告诉搜索引擎不要在SERP上显示这个页面的缓存链接。

9.Nocache:基本与Noarchive相同,但只要IE火狐(Firefox)Nocache

10.Nosnippet:告诉搜索引擎不要在SERP上显示该页面的snippet或meta描述。

11.Notranslate:告诉搜索引擎不要在SERP中提供该页面的翻译。

12.Max-snippet:为元描述创建最大字符分配。

13.Max-video-preview:设置视频预览的秒数时长。

14.Max-image-preview:设置一个最大尺寸的图片预览。

15.Unavailable_after:告诉搜索引擎在某个特定日期后,不要索引这个页面。

下图是使用meta robots tags的示例:

b2b跨境电商独立站SEO优化必知,用Meta Robot tags还是Robots.txt? 

Robots.txt不提供索引指令,其常见的术语如下:

1.User-agent:指的是应该遵循指令的特定网络抓取,应当出现在Robots.txt文件的第一行。

2.Disallow:告诉user-agents(用户代理)不要抓取这个网页,每个URL只能包含一个disallow line。

3.Allow:这个指令只适用于Googlebot(谷歌机器人),即使父页面(parent page)不允许,Allow将告诉Googlebot可以访问一个特定的网页。

4.Crawl-delay:爬行器(crawler)在抓取内容之前需要等待多长时间。Googlebot不承认这个术语,但独立站卖家需要在谷歌搜索控制台(Google Search Console),为网页设置抓取率。

5.Sitemap:站点地图用于指出,与特定URL相关的任何XML站点地图的位置。这个指令只被谷歌、Ask、必应Bing、雅虎Yahoo承认。

6.$:可以匹配URL的结尾。

7.*:作为一个通配符(wildcard),来表示任何字符序列。

跨境电商物流跨境电商独立站SEO优化必知,用Meta Robot tags还是Robots.txt? 

Meta RobotsRobots.txt哪一个更好

蓝海亿观网获悉,Meta RobotsRobots.txt,二者对独立站SEO都很重要。

但二者不可互换,卖家需要用他们为独立站抓取程序,提供正确的参数。

例如,如果卖家想要在谷歌SERP中降低排名,可以使用一个“Noindex”meta robots tag,而不是robots.txt指令。

如果独立站卖家想要阻止在SERP上显示独立站的整个部分,则使用disallow robots.txt文件比Meta Robots要好。(跨境电商新媒体-蓝海亿观网egainnews)文末扫码独立站精英卖家交流群,对接跨境电商优质资源。沃尔玛、CoupangWayfair MercadoLibre等平台入驻品牌文案策划及全网推广、电商培训和孵化等服务,请联系我们。不得擅自改写、转载、复制、裁剪和编辑全部或部分内容。

文章内容由作者创作,作者负责内容的真实性、准确性和合法性。出海易倡导尊重与保护知识产权,未经作者和/或本网站许可,不得复制、转载、或以其他方式使用本网站内容。如发现本站文章存在版权问题,烦请联系chuhaiyi@baidu.com,我们将及时核实处理。文章来源:蓝海亿观,本文为作者独立观点,不代表出海易立场。