Navegação facetada e SEO: um olhar mais profundo


A complexa teia de fatores que determinam a contagem de páginas para um site com navegação facetada. É sobre o SEO, pessoal

tl: dr: Pule para cada seção "Takeaways" se você quiser algumas idéias para lidar com navegação facetada e SEO. Mas faça isso por sua conta e risco. O "porquê" é tão importante quanto o "o quê".

Útil trouxe um ponto excelente, perguntando se sabemos que os mecanismos de busca realmente geram e rastreiam essas páginas facetadas. A resposta é "sim". Mas não tome nossa palavra: o Googlebot é inconstante e todo site é diferente. Revise seus arquivos de registro, filtrando pelo Googlebot. Isso mostrará se o Googlebot está atingindo todas as páginas finas ou sem conteúdo geradas pela navegação facetada.

Se você já comprou algo on-line, viu a navegação facetada. Esta é a lista de opções clicáveis, geralmente no painel esquerdo, que podem ser usadas para filtrar os resultados por marca, preço, cor, etc. A navegação facetada torna possível misturar e combinar opções em qualquer combinação que o usuário desejar. É popular em grandes lojas on-line, pois permite ao usuário detalhar com precisão apenas as coisas em que está interessado.

Um exemplo de navegação facetada

Mas isso pode causar grandes problemas para os mecanismos de pesquisa, pois gera bilhões de páginas inúteis quase duplicadas. Isso desperdiça o orçamento de rastreamento, reduz as chances de todo o conteúdo real ser indexado e dá aos mecanismos de pesquisa a mensagem de que o site é principalmente páginas de baixa qualidade (porque, neste momento, é).

Muitos artigos falam sobre navegação facetada e como mitigar os problemas de SEO que ela causa. Esses são reativo estratégias: Como evitar que os mecanismos de pesquisa rastreiem e indexem os bilhões de páginas que sua navegação facetada criou.

Este não é um desses artigos de instruções.

Em vez disso, são as decisões que criam duplicação maciça e como evitá-las desde o início. É sobre as opções aparentemente inofensivas de UX e suas conseqüências não intencionais. Meu objetivo é fornecer uma compreensão mais profunda de como cada decisão afeta a rastreabilidade e a contagem final de páginas. Espero que isso forneça a você o conhecimento que você pode usar, tanto para evitar problemas antes de começar como para mitigar problemas que não podem ser evitados.

Tipos de correspondência e agrupamento

A navegação facetada é normalmente dividida em grupos, com uma lista de opções clicáveis ​​em cada grupo. Pode haver um grupo para nomes de marca, outro para tamanhos, outro para cores, etc. As opções em um grupo podem ser combinadas de algumas maneiras diferentes:

  • Correspondência "AND" – Com este tipo de correspondência, a loja só mostra um item se corresponder a todos das opções selecionadas. A correspondência "AND" é usada com mais frequência para os recursos do produto, onde se assume que o comprador está procurando por uma combinação específica de recursos e só está interessado em um produto se tiver todos deles. (por exemplo, fones de ouvido sem fio e cancelamento de ruído)
  • Correspondência "OR" – Com este tipo de correspondência, a loja mostra itens que correspondem qualquer das opções selecionadas. Isso pode ser usado para listas de nomes de marcas, tamanhos, cores, faixas de preço e muitas outras coisas. A suposição aqui é que o usuário está interessado em algumas coisas diferentes e quer ver uma lista combinada que inclua todas elas. (por exemplo, todos os chapéus de esqui disponíveis em vermelho, rosa ou amarelo).
  • Correspondência de "botão de rádio" – Com este tipo de correspondência, apenas uma opção pode ser selecionada de cada vez. Selecionar uma opção desmarca todas as outras. A suposição aqui é que as opções são 100% mutuamente exclusivas e ninguém estaria interessado em ver mais de uma delas por vez. Os botões de opção costumam ser usados ​​para definir a ordem de classificação. Às vezes, também é usado para escolher entre categorias mutuamente exclusivas. (por exemplo, especificando a marca / modelo do smartphone ao comprar caixas de telefone) Algumas implementações de botão de opção exigem pelo menos uma opção selecionada (por exemplo, para ordem de classificação) e outras não (por exemplo, para categorias).

As opções dentro de um determinado grupo podem ser combinadas usando qualquer um desses tipos de correspondência, mas os próprios grupos são quase sempre combinados com entre si usando a correspondência "AND". Por exemplo, se você selecionar vermelho e verde no grupo "cores" e selecionar XL e XXL no grupo "tamanhos", você verá uma lista de cada item que é uma dessas duas cores. e um desses dois tamanhos.

Um site típico do mundo real terá vários grupos usando diferentes tipos de correspondência, com muitas opções entre eles. O número total de combinações pode ficar muito grande:

O exemplo acima tem pouco mais de 17 bilhões de combinações possíveis. Observe que o número total de reais Páginas será muito maior do que isso, porque os resultados de algumas combinações serão divididos em várias páginas.

Para a navegação facetada, as contagens de páginas são determinadas basicamente por três coisas principais:

  1. O número total de combinações possíveis de opções – No caso mais simples (com apenas correspondência "AND" e "OR" e sem bloqueio), o número de combinações será de 2n, onde n é o número de opções. Por exemplo, se você tem 12 opções, então haverá 212ou 4.096 combinações possíveis. Isso fica um pouco mais complicado quando alguns dos grupos são botões de rádio e obtém um muito mais complicado quando você começa a bloquear as coisas.
  2. O número de itens correspondentes encontrados para uma determinada combinação – O número de itens correspondentes é determinado por vários fatores, incluindo o tipo de correspondência, o número total de produtos, a fração de produtos correspondidos por cada opção de filtro e a quantidade de sobreposição entre as opções.
  3. O número máximo de itens a serem exibidos por página – Esta é uma escolha arbitrária definida pelo designer do site. Você pode definir isso para qualquer número que você quiser. Um número maior significa menos páginas, mas mais confusão em cada uma delas.

Teste: Como o tipo de correspondência afeta as contagens de páginas?

A escolha do tipo de correspondência afeta a contagem de páginas influenciando o número de combinações de opções e também o número de itens correspondentes por combinação.

Como esses resultados foram calculados?

Todos os resultados numéricos neste artigo foram gerados por um script de simulação escrito para essa finalidade. Este script funciona modelando o site como um histograma multidimensional, que é então repetidamente dimensionado e re-combinado a cada vez que uma nova opção de navegação facetada é adicionada ao site simulado. O script simula sites gigantescos com muitos grupos de diferentes tipos de opções de maneira relativamente rápida. (Nos artigos anteriores, sempre gerava dados de rastreamento usando um rastreador real, sendo executado em um site de teste composto de páginas HTML reais. Isso funciona bem quando há algumas dezenas de milhares de páginas, mas alguns dos testes para este artigo tenho trilhões de páginas. Isso levaria meu rastreador mais tempo do que toda a história humana registrada a rastejar. As civilizações crescem e caem ao longo de séculos. Eu decidi não esperar tanto tempo.)

Teste 1 – Correspondência “AND” simples

Suponha que tenhamos um site com as seguintes propriedades:

  • O nav facetado consiste em um grande grupo, com 32 opções de filtragem que podem ser selecionadas em qualquer combinação.
  • Existem 10.000 produtos.
  • Em média, cada opção de filtragem corresponde a 20% dos produtos.
  • O site exibe (até) 10 produtos por página.
  • As opções são combinadas usando a correspondência "AND".

As suposições acima fornecem um site com:

  • 4,294,967,296 diferentes combinações de opções
  • 4,295,064,687 Páginas.
  • 4,294,724,471 resultados vazios.

O óbvio: o número de páginas é enorme e a grande maioria delas são resultados vazios. Para cada 12.625 páginas neste site, 1 mostra produtos reais. O resto mostra a mensagem agravante "Zero itens encontrados". Essa é uma péssima experiência do usuário e um desperdício colossal de orçamento de rastreamento. Mas também é uma oportunidade.

Então, o que podemos fazer sobre todos esses resultados vazios? Se você estiver no controle do código do lado do servidor, poderá removê-los. Qualquer opção que leve a uma página que diz "Itens zero encontrados" deve ficar esmaecida (e não ser mais codificada como um link) ou, melhor ainda, totalmente removida. Isso precisa ser avaliado no lado do servidor sempre que uma nova página é solicitada. Se isso for feito corretamente, cada vez que o usuário clicar em outra opção, todas as opções restantes que levariam a um resultado vazio desaparecerão. Isso reduz o número de páginas e também melhora drasticamente a experiência do usuário. O usuário não precisa mais tropeçar em um labirinto de becos sem saída para encontrar as raras combinações que mostram os produtos.

Então vamos tentar isso.

Teste # 2 – Correspondência "AND", com resultados vazios removidos

Esse teste é idêntico ao Teste 1, exceto que agora todos os links que levam a resultados vazios são removidos silenciosamente.

Desta vez, nós recebemos:

  • 1.149.017 (acessível) combinações de opções.
  • 1.246.408 Páginas.
  • 0 resultados vazios. (obviamente, porque nós os removemos)

Isso pode parecer muito, mas é uma melhoria significativa em relação ao teste anterior. A contagem de páginas passou de bilhões para pouco mais de um milhão. Essa também é uma experiência muito melhor para os usuários, já que eles não verão mais opções inúteis que retornam resultados zero. Qualquer site que tenha nav facetado deve fazer isso por padrão.

Teste nº 3 – Correspondência “OR”

Este teste usa os mesmos parâmetros do Teste nº 1, exceto que usa a correspondência "OR":

  • O nav facetado ainda tem 32 opções de filtragem
  • Ainda existem 10.000 produtos.
  • Cada opção de filtragem ainda corresponde a 20% dos produtos.
  • O site ainda exibe 10 produtos por página.
  • As opções agora são combinadas usando correspondência "OR" em vez de "AND".

Isso nos dá:

  • 4,294,967,296 diferentes combinações de opções.
  • 4,148,637,734,396 Páginas (!)
  • 0 resultados vazios.

O número de combinações é exatamente o mesmo, mas o número de páginas é Muito de mais alto agora (966 vezes maior) e não há mais resultados vazios. Por que a contagem de páginas é tão alta? Porque, com a correspondência "OR", toda vez que você clica em uma nova opção, o número de itens correspondentes aumenta. Este é o oposto da correspondência "AND", em que o número diminui. Neste teste, a maioria das combinações agora inclui quase tudo dos produtos no site. No Teste 1, a maioria das combinações produziu resultados vazios.

Não há resultados vazios neste novo site. O único caminho para lá poderia ser um resultado vazio seria se você optasse por incluir uma opção de filtragem que nunca corresponde a nada (o que seria meio sem sentido). A estratégia de bloquear resultados vazios não afeta esse tipo de correspondência.

Teste # 4 – Botões de rádio

Este teste usa correspondência de botão de rádio.

Se repetirmos o Teste 1, mas com a correspondência dos botões de opção, obtemos:

  • 33 diferentes combinações de opções.
  • 7.400 Páginas.
  • 0 resultados vazios.

Isso é escandalosamente mais eficiente do que qualquer um dos outros. A desvantagem da correspondência de botões de opção é que ela é muito mais restritiva em termos de escolha do usuário.

O takeaway: Sempre pelo menos considere o uso de correspondência de botão de rádio quando você puder se safar (sempre que as opções forem mutuamente exclusivas). Isso terá um efeito dramático nas contagens de páginas.

Recapitulação dos Testes 1 a 4:

Teste Configuração Contagem de páginas
1 Correspondência "AND" (sem bloquear resultados vazios) 4,295,064,687
2 Correspondência "AND", com resultados vazios bloqueados 1.246.408
3 Correspondência "OR" 4,148,637,734,396
4 Botões do rádio 7.400

Takeaways

  • A escolha do tipo de correspondência é importante e afeta profundamente a contagem de páginas.
  • A correspondência "OR" pode levar a extremamente contagens de páginas altas.
  • A correspondência "AND" não é tão ruim, desde que você esteja bloqueando resultados vazios.
  • Você deve sempre Bloquear resultados vazios.
  • O bloqueio de resultados vazios ajuda na correspondência "AND", mas não afeta a correspondência "OR".
  • Sempre use botões de opção quando as opções forem mutuamente exclusivas.

Como o agrupamento afeta a contagem de páginas

Até agora, analisamos as contagens de páginas para sites que têm um grande grupo de opções com o mesmo tipo de correspondência. Isso não é realista. Em um site real, normalmente haverá muitos grupos com diferentes tipos de correspondência. A maneira exata como as opções são separadas em grupos é outro fator que pode afetar a contagem de páginas.

Teste nº 5 – Correspondência “OR”, dividida em vários grupos

Vamos pegar os parâmetros originais do teste nº 3:

  • O nav facetado tem um total de 32 opções de filtragem.
  • Existem 10.000 produtos.
  • Em média, cada opção de filtragem corresponde a 20% dos produtos.
  • O site exibe até 10 produtos por página.
  • As opções são combinadas usando a correspondência "OR".

Mas, desta vez, vamos refazer o teste várias vezes e, a cada vez, dividiremos as 32 opções em um número diferente de grupos.

Isso nos dá:

Configuração Páginas Resultados vazios
1 grupo com 32 opções 4,148,637,734,396 0
2 grupos com 16 opções por grupo 2,852,936,777,269 0
4 grupos com 8 opções por grupo 466.469.159.950 0
8 grupos com 4 opções por grupo 5,969,194,867 290,250,752
16 grupos com 2 opções por grupo 4,296,247,759 4,275,284,621

O interessante aqui é que os dois últimos testes têm alguns resultados vazios. Sim, todos os grupos usaram a correspondência "OR" e, sim, eu lhe disse que a correspondência "OR" não produz resultados vazios. Então, o que está acontecendo aqui? Lembre-se, não importa quais tipos de correspondência são usados ​​em cada grupo, os grupos são combinados com entre si usando a correspondência "AND". Portanto, se você dividir um grupo “OR” em vários grupos “OR” menores, você terá um comportamento mais próximo de um grupo “E”.

Outra maneira de colocá-lo: suponha que há oito grupos com quatro opções cada, e o usuário selecionou exatamente uma opção de cada grupo. Para qualquer item aparecer nesses resultados, o item teria que corresponder todos os oito dessas opções selecionadas. Isso é funcionalmente idêntico ao que você obteria se essas oito opções selecionadas fizessem parte de um grupo “AND”.

Se você está bloqueando resultados vazios (o que você deve fazer de qualquer maneira), então a contagem real de páginas para os dois últimos testes será muito menor do que a mostrada nesta tabela. Antes de ficar todo animado, note que você tem que ter alguns grupos antes que isso comece a acontecer. É possível que algum site esteja em um mercado em que faz sentido ter oito grupos com quatro opções cada, mas não é algo que acontecerá com frequência.

A observação chata, porém mais prática, é que até mesmo quebrar o grupo dois peças reduz a contagem de páginas visivelmente. A diferença não é enorme, mas é o suficiente para ter algum valor. Se um grupo de opções que usa a correspondência "OR" puder ser logicamente separado em dois ou mais grupos menores, talvez valha a pena fazer isso.

Teste nº 6 – Correspondência “AND”, dividida em vários grupos

(Eu estou incluindo este teste porque, se eu não fizer isso, as pessoas vão me dizer que eu esqueci de fazer este)

Esse teste é o mesmo do Teste nº 5, mas com a correspondência “AND” em vez da correspondência “OR” (e os resultados vazios agora estão sendo bloqueados).

Configuração Páginas
1 grupo com 32 opções 1.246.408
2 grupos com 16 opções por grupo 1.246.408
4 grupos com 8 opções por grupo 1.246.408
8 grupos com 4 opções por grupo 1.246.408
16 grupos com 2 opções por grupo 1.246.408

Sim. Todos eles têm o mesmo número de páginas. Como isso pode ser? As opções dentro de cada grupo usam correspondência "E" e os grupos são combinados entre si usando a correspondência "E", por isso, não importa se você tem um grupo ou vários. Eles são funcionalmente idênticos.

Leve embora

Se você quiser dividir um grupo "AND" porque acha que fará sentido para o usuário ou ficará mais bonito na página, vá em frente, mas isso não afetará a contagem de páginas.

Outras coisas que afetam as contagens de páginas

Teste # 7 – Alterar "itens por página"

Este teste usa os seguintes parâmetros:

  • O Navegador facetado consiste em cinco grupos, com várias contagens de opções e uma combinação de diferentes tipos de correspondência.
  • Existem 10.000 produtos.
  • Em média, cada opção de filtragem corresponde a 20% dos produtos.
  • Links para resultados vazios são bloqueados.

O teste foi repetido com valores diferentes para "Itens por página".

Isso nos dá:

Configuração Contagem de páginas
10 itens por página 18.690.151.025
32 itens por página 10.808.363.135
100 itens por página 8.800.911.375
320 itens por página 8.309.933.890
1.000 itens por página 8,211,780,310

Isso faz diferença quando os valores são pequenos, mas o efeito diminui quando os valores aumentam.

Teste # 8 – Adicionando um limite de paginação

Alguns sites, especialmente algumas lojas on-line muito grandes, tentam reduzir o carregamento do banco de dados definindo um “limite de paginação”. Esse é um limite superior arbitrário para o número de páginas que podem ser retornadas para um determinado conjunto de resultados.

Por exemplo, se uma determinada combinação de filtros corresponder a 512.000 produtos e o site estiver configurado para mostrar 10 produtos por página, essa combinação em particular criaria 51.200 páginas. Alguns sites definem um limite arbitrário de, digamos, 100. Se o usuário clicar até a página 100, não há um link para continuar.

Esses sites fazem isso porque, em comparação com o fornecimento de páginas no início de uma estrutura de paginação, o fornecimento de páginas mais profundas em uma estrutura de paginação cria uma carga enorme no banco de dados (por motivos técnicos além do escopo deste artigo). Quanto maior o site, maior a carga, portanto, os maiores sites precisam definir o limite arbitrário.

Este teste usa os seguintes parâmetros:

  • O Navegador facetado consiste em cinco grupos, com várias contagens de opções e uma combinação de diferentes tipos de correspondência.
  • Existem 500.000 produtos.
  • Em média, cada opção de filtragem corresponde a 20% dos produtos.
  • Links para resultados vazios são bloqueados.

O teste foi repetido com valores diferentes para o limite de paginação.

Isso nos dá:

Limite de Paginação Contagem Total de Páginas
5 12.079.937.370
10 13.883.272.770
20 15,312,606,795
40 16,723,058,170
80 17.680.426.670
160 18,252,882,040
(sem limite) 18.690.151.025

Isso é definitivamente uma melhoria, mas é decepcionante. Se você reduzir o limite de paginação pela metade, não terá metade das páginas. É mais na vizinhança de 90% do total. Mas essa melhoria é gratuita porque esse tipo de limite é geralmente adicionado por outros motivos além do SEO.

Takeaways paginação

Teste 7:

  • Para valores mais baixos, alterar "Itens por página" melhora a contagem de páginas em uma quantidade notável.
  • Quando os valores aumentam, o efeito diminui. Isso está acontecendo porque a maioria dos resultados agora cabe em uma página. (e a contagem de páginas não pode ser menor que uma)

Teste 8:

  • Se você tiver um site enorme implementando um limite de paginação principalmente por motivos de desempenho do banco de dados, poderá ver um pequeno benefício de SEO como um bônus gratuito.
  • Se você também não está fazendo isso para reduzir o carregamento do banco de dados, não vale a pena.

Bloqueando seletivamente os rastreadores

Todos os testes até agora permitem que o rastreador veja todas as páginas acessíveis por pessoas. Agora, vamos ver as estratégias que funcionam bloqueando páginas por robôs, meta, robots.txt etc.

Antes de fazermos isso, precisamos ter clareza sobre o que “contagem de páginas” realmente significa. Na verdade, existem três diferentes "contagens de páginas" importantes aqui:

  1. Contagem de páginas legíveis por humanos – Páginas que podem ser visualizadas por um ser humano com um navegador.
  2. Contagem de páginas rastreáveis – Páginas que um rastreador de mecanismo de pesquisa pode solicitar.
  3. Contagem de páginas indexáveis – O número de páginas que o mecanismo de pesquisa pode indexar e para exibir nos resultados da pesquisa.

A contagem de páginas rastreáveis ​​é importante porque determina quanto orçamento de rastreio é desperdiçado. Isso afetará a abrangência e a freqüência com que o conteúdo real do site é rastreado. A contagem de páginas indexáveis ​​é importante porque determina efetivamente quantas páginas finas e quase duplicadas os mecanismos de pesquisa tentam indexar. Isso provavelmente afetará as classificações das páginas reais no site.

Teste # 9 – Limite de Seleção via Robots Meta com “noindex, nofollow”

Neste teste, se o número de opções selecionadas na página ficar acima de um limite pré-especificado, <meta name="robots" content="noindex,nofollow"> será inserido no HTML. Isso diz aos mecanismos de pesquisa para não indexar a página ou seguir os links dela.

Este teste usa os seguintes parâmetros:

  • O Navegador facetado consiste em cinco grupos, com várias contagens de opções e uma combinação de diferentes tipos de correspondência.
  • Existem 10.000 produtos.
  • Em média, cada opção de filtragem corresponde a 20% dos produtos.
  • Links para resultados vazios são bloqueados.

Para este teste, o “limite de seleção” é variado de 0 a 5. Qualquer página em que o número de opções selecionadas for maior que esse limite de seleção será bloqueado, via meta tag robots com noindex, nofollow.

limite de seleção páginas rastreáveis páginas indexáveis
0 11.400 1.000
1 79,640 11.400
2 470.760 79,640
3 2.282.155 470.760
4 9,269,631 2.282.155
5 32.304.462 9,269,631
(sem limite) 18.690.151.025 18.690.151.025

Nesses resultados, as contagens de páginas indexáveis ​​e rastreáveis ​​são reduzidas drasticamente, mas o número de páginas rastreáveis ​​é reduzido em muito menos. Por quê? Porque uma metatag robots faz parte do código HTML da página que está bloqueando. Isso significa que o rastreador precisa carregar a página para descobrir que ela foi bloqueada. Uma metatag robots pode bloquear a indexação, mas não pode bloquear o rastreamento. Ele ainda desperdiça o orçamento de rastreamento.

Você pode muito bem perguntar: se a meta de robôs não puder impedir que uma página seja rastreada diretamente, por que a contagem de páginas rastreáveis ​​é reduzida? Como os rastreadores não podem mais acessar as páginas mais profundas: as páginas com links para Essa as páginas não são mais seguidas ou indexadas. Meta de robôs não pode diretamente bloquear o rastreamento de uma determinada página, mas pode bloquear a página indiretamente, definindo "nofollow" para todas as páginas que apontam para ele.

Teste # 10 – Repetição do Teste # 9, mas com "noindex, follow"

Isso é uma repetição do teste # 9, exceto que agora as páginas são bloqueadas por uma metatag robots com "noindex, Segue"Em vez de" noindex, não siga"Isso informa o rastreador que ainda não deve indexar a página, mas é OK para seguir os links dele.

(Eu só estou incluindo este porque, se eu não, alguém é obrigado a me dizer que eu esqueci de incluí-lo.)

limite de seleção páginas rastreáveis páginas indexáveis
0 18.690.151.025 1.000
1 18.690.151.025 11.400
2 18.690.151.025 79,640
3 18.690.151.025 470.760
4 18.690.151.025 2.282.155
5 18.690.151.025 9,269,631
(sem limite) 18.690.151.025 18.690.151.025

Esse esquema reduz o número de páginas indexáveis, mas não faz nada para impedir o desperdício de orçamento de rastreamento. O desperdiçado orçamento de rastreamento é o principal problema que precisa ser resolvido aqui, então isso torna este esquema inútil. Existem alguns casos de uso (não relacionados à navegação facetada) em que "noindex, follow" é uma boa opção, mas esse não é um deles.

O limite de seleção pode ser implementado com o robots.txt?

Como mostrado no teste # 9, o uso de meta tags de robôs para implementar um limite de seleção não é o ideal, pois as meta tags de robôs fazem parte do HTML da página. O rastreador precisa carregar cada página antes de descobrir se a página está bloqueada. Isso desperdiça o orçamento de rastreamento.

Então, que tal usar o robots.txt? Robots.txt parece ser uma escolha melhor para isso, porque bloqueia as páginas de serem rastejou, ao contrário dos robots meta, que bloqueia as páginas de serem indexado e / ou seguiu. Mas o robots.txt pode ser usado para bloquear seletivamente as páginas com base em quantas opções eles selecionaram? A resposta é: depende.

Isso depende da estrutura da URL. Em alguns casos é simples, em outros é difícil ou impossível.

Por exemplo, se a estrutura da URL usar algum formato completamente impenetrável como JSON codificado na base 64:

https://example.com/products?p=WzczLCA5NCwgMTkxLCAxOThd

Então você está sem sorte. Você não pode usar o robots.txt para filtrar isso, pois não há como o robots.txt informar quantas opções selecionadas existem. Você terá que usar robots meta ou X-Robots. (ambos podem ser gerados pelo código do lado do servidor, que tem acesso à versão decodificada dos dados da consulta)

Por outro lado, se todas as opções de filtro forem especificadas como uma única lista separada por sublinhado de números de ID na string de consulta, desta forma:

https://example.com/products?filters=73_94_191_198

Então você pode facilmente bloquear todas as páginas que tenham mais de (por exemplo) duas opções selecionadas, fazendo isso:


Agente de usuário: *
Não permitir: / products? * Filters = * _ * _

Então vamos tentar isso.

Teste 11 – Limite de Seleção via Robots.txt

Esta é uma repetição do teste # 9, exceto que agora as páginas são bloqueadas usando robots.txt em vez de robots meta.

limite de seleção páginas rastreáveis páginas indexáveis
0 1.000 1.000
1 11.400 11.400
2 79,640 79,640
3 470.760 470.760
4 2.282.155 2.282.155
5 9,269,631 9,269,631
(sem limite) 18.690.151.025 18.690.151.025

Takeaways

  • Bloquear páginas com base em um limite de seleção é uma maneira muito eficaz de reduzir as contagens de páginas.
  • Implementar isso com o robots.txt é melhor.
  • Mas você só pode usar o robots.txt se a estrutura do URL permitir isso.
  • Implementar isso com robots meta é menos eficaz que o robots.txt, mas ainda é útil.

Resumo

A navegação facetada é um dos desafios de SEO mais espinhosos enfrentados pelos grandes sites. Não espere para resolver problemas depois de criar seu site. Planejar com antecedência. Use o robots.txt, observe as opções de seleção e "pense" como um mecanismo de pesquisa.

Um pequeno planejamento pode melhorar o uso do orçamento de rastreamento, impulsionar o SEO e melhorar a experiência do usuário.

O post Navegação Facetada e SEO: Um Olhar Mais Profundo apareceu primeiro na Portent.

Posts Relacionados:

Eu Gasto de us $8.000 em um novo CharlesNgo.com Redesign

Dê à sua vizinhança um pouco de amor e aplique para ganhar uma bolsa de estudos de US $ 2.500

Problemas no Casamento

Como Planejar uma Festa

 Estratégias de marketing na Internet – Conduza pesquisas de mercado rapidamente usando o Twitter

Huawei Ideos Tablet S7 – revisão & sorteios

Do site do passatempo ao trabalho autônomo – experiências, dicas e ideias

ITI – Um Guia Completo de Admissão, Exame, Resultados, Emprego e Mais