整合网站重复内容 优化搜索引擎的抓取和索引.
    处理网站上的重复内容是一项非常困难的工作。随着网站的发展，必须不断增加、改变或删除各种功能；与此同时，不同的网站内容来了又去。一段时间后，许多网站都会有以多个URL网址形式存在的系统化垃圾代码，这些URL都返回同样的内容。在一般情况下，除了会增加搜索引擎的抓取和索引内容的难度以外，你的网站上存在重复内容并不构成问题。此外，通过导入链接而得到的PageRank以及类似信息可能会在我们尚未确定为重复内容的网页间扩散，导致你的首选网页在谷歌中的排名降低。
    处理你的网站内部重复内容的步骤
    识别网站上的重复内容。
    识别你网站上的重复内容是处理重复内容的第一步，也是最重要的一步。使用一种简单的方法可以实现这个目的，即从网页中选取一段独特的文本代码，然后搜索这段文本，并使用谷歌的site:query将搜索结果限制为自己网站上的网页。如此以来，搜索出的含有同样内容的多个结果就是你需要处理的重复内容。
    确定你需要的首选URL网址。
    在处理重复内容之前，必须确保你的首选URL网址结构。惠州seo理解是：为网站提供生态式的自我营销解决方案，让网站在行业内占据领先地位，从而获得品牌收益；SEO包含站外SEO和站内SEO两方面；SEO是指为了从搜索引擎中获得更多的免费流量，从网站结构、内容建设方案、用户互动传播、页面等角度进行合理规划，使网站更适合搜索引擎的索引原则的行为。对于这段内容，你希望使用哪一个URL网址？
    保持网站内部的统一性。
    选择首选网址之后，确保在你的网站内所有可能的位置上使用他们。
    在必要和可能的情况下使用301永久重定向。惠州网络公司是突然出现的一个技术，而是和搜索引擎同步发展起来的，两者的关系虽然不能说是“矛和盾”的关系，但是可以肯定的是，因为有SEO才使得搜索引擎技术能够变得更完善。惠州seo理解是：为网站提供生态式的自我营销解决方案，让网站在行业内占据领先地位，从而获得品牌收益；SEO包含站外SEO和站内SEO两方面；SEO是指为了从搜索引擎中获得更多的免费流量，从网站结构、内容建设方案、用户互动传播、页面等角度进行合理规划，使网站更适合搜索引擎的索引原则的行为。
    可能的话，可以使用301代码将重复网址重新定向为你选择的网址。此举能够帮助用户和搜索引擎在访问重复URL网址时找到你的首选URL网址。如果你的网站有数个域名，可选择一个域名，使用将其他域名301重定向到这个域名，同时还要确保其转向正确的特定网页，而不仅是域根目录。如果网站同时支持、Bing和Yahoo！等主要搜索引擎都支持这种链接标签的使用。
    可能的情况下，在Google网站站长工具中使用URL参数处理工具
    如果部分或全部网站重复内容带有查询参数的URL网址，则此工具将帮助你将URL内的重要参数和不相关参数通知我们。有关此工具的详细信息可参网站管理员新参数处理工具助您减少重复内容 。
    怎样处理robots.txt文件？
    使用robots.txt文件来禁止对重复内容进行抓取不在我们推荐的方法之内。我们建议你不要使用robots.txt文件或其他方式来禁止对你网站上的重复内容的访问。你可以使用rel= 链接标签、URL参数处理工具或301重定向。如果完全阻止了对重复内容的访问，搜索引擎必须将这些URL作为独立的不同网页处理，因为它们无法分辨出这些URL其实只是指向相同内容的不同网址。更好的解决方法是允许对其进行抓取，同时用我们推荐的方法将这些URL网址明确标记为重复内容。如果你允许我们访问这些URL网址，Google抓取机器人将学会通过查看URL确定其是否为