Qu'est-ce que l'indexation de sites Web ? Comment ça se passe ? Vous pouvez trouver des réponses à ces questions et à d'autres dans l'article. L'indexation Web (indexation dans les moteurs de recherche) est le processus d'ajout d'informations sur un site à la base de données par un robot de moteur de recherche, qui est ensuite utilisé pour rechercher des informations sur les projets Web qui ont subi une telle procédure.
Les données sur les ressources Web consistent le plus souvent en des mots-clés, des articles, des liens, des documents. Le son, les images, etc. peuvent également être indexés. Il est connu que l'algorithme de détection des mots clés dépend du moteur de recherche.
Il existe certaines limitations sur les types d'informations indexées (fichiers flash, javascript).
Gestion des initiations
L'indexation d'un site est un processus complexe. Pour le gérer (par exemple, pour interdire la pièce jointe d'une page particulière), vous devez utiliser le fichier robots.txt et des instructions telles que Autoriser, Interdire, Crawl-delay, User-agent et autres.
De plus, les balises et les accessoires sont utilisés pour l'indexation, cachant le contenu de la ressource aux robots Google et Yandex (Yahoo utilise la balise).
Dans le moteur de recherche Goglle, les nouveaux sites sont indexés de quelques jours à une semaine, et dans Yandex - d'une à quatre semaines.
Voulez-vous que votre site apparaisse dans les requêtes de résultats des moteurs de recherche ? Ensuite, il doit être traité par Rambler, Yandex, Google, Yahoo, etc. Vous devez informer les moteurs de recherche (araignées, systèmes) de l'existence de votre site Web, puis ils l'exploreront en totalité ou en partie.
De nombreux sites n'ont pas été indexés depuis des années. Les informations qui s'y trouvent ne sont vues par personne d'autre que leurs propriétaires.
Méthodes de traitement
L'indexation d'un site peut se faire de plusieurs manières:
- La première option est l'ajout manuel. Vous devez saisir les données de votre site via des formulaires spéciaux proposés par les moteurs de recherche.
- Dans le deuxième cas, le robot du moteur de recherche lui-même trouve votre site Web par des liens et l'indexe. Il peut trouver votre site par des liens provenant d'autres ressources qui mènent à votre projet. Cette méthode est la plus efficace. Si un moteur de recherche trouve un site de cette manière, il le considère comme significatif.
Temps
L'indexation du site n'est pas trop rapide. Les délais varient, de 1 à 2 semaines. Les liens provenant de ressources faisant autorité (avec d'excellents PR et Titz) accélèrent considérablement le placement du site dans la base de données des moteurs de recherche. Aujourd'hui, Google est considéré comme le plus lent, même si jusqu'en 2012, il pouvait faire ce travail en une semaine. ÀMalheureusement, les choses changent très vite. On sait que Mail.ru travaille avec des sites Web dans ce domaine depuis environ six mois.
Indexer un site dans les moteurs de recherche n'est pas possible pour tous les spécialistes. Le moment de l'ajout de nouvelles pages à la base de données d'un site déjà traité par les moteurs de recherche est affecté par la fréquence de mise à jour de son contenu. Si de nouvelles informations apparaissent constamment sur une ressource, le système la considère fréquemment mise à jour et utile aux utilisateurs. Dans ce cas, son travail est accéléré.
Vous pouvez suivre la progression de l'indexation d'un site Web dans les sections réservées aux webmasters ou sur les moteurs de recherche.
Modifications
Donc, nous avons déjà compris comment le site est indexé. Il convient de noter que les bases de données des moteurs de recherche sont fréquemment mises à jour. Par conséquent, le nombre de pages de votre projet qui leur sont ajoutées peut changer (à la fois diminuer et augmenter) pour les raisons suivantes:
- sanctions des moteurs de recherche contre le site;
- la présence d'erreurs sur le site;
- modifier les algorithmes des moteurs de recherche;
- hébergement dégoûtant (inaccessibilité du serveur sur lequel se trouve le projet) et ainsi de suite.
Yandex répond aux questions courantes
"Yandex" est un moteur de recherche utilisé par de nombreux utilisateurs. Il se classe au cinquième rang des systèmes de recherche mondiaux en termes de nombre de demandes de recherche traitées. Si vous y avez ajouté un site, l'ajout à la base de données peut prendre trop de temps.
L'ajout d'une URL ne garantit pas son indexation. Ce n'est là qu'une des méthodes par lesquelles le robot système est informésur une nouvelle ressource. S'il y a peu ou pas de liens vers un site à partir d'autres sites Web, l'ajouter vous aidera à le trouver plus rapidement.
Si l'indexation n'a pas eu lieu, vous devez vérifier s'il y a eu des échecs sur le serveur au moment de créer une application pour celui-ci à partir du robot Yandex. Si le serveur signale une erreur, le robot mettra fin à son travail et tentera de le terminer dans un ordre aller-retour. Les employés de Yandex ne peuvent pas augmenter la vitesse d'ajout de pages à la base de données du moteur de recherche.
Indexer un site dans Yandex est une tâche plutôt difficile. Vous ne savez pas comment ajouter une ressource à un moteur de recherche ? S'il existe des liens vers d'autres sites Web, vous n'avez pas besoin d'ajouter un site spécial - le robot le trouvera automatiquement et l'indexera. Si vous ne disposez pas de tels liens, vous pouvez utiliser le formulaire "Ajouter une URL" pour indiquer au moteur de recherche que le site existe.
Gardez à l'esprit que l'ajout d'une URL ne garantit pas que votre création sera indexée (ou indexée).
Beaucoup de gens se demandent combien de temps il faut pour indexer un site dans Yandex. Les employés de cette société ne donnent pas de garanties et ne prédisent pas les conditions. En règle générale, depuis que le robot a découvert le site, ses pages dans la recherche apparaissent en deux jours, parfois en quelques semaines.
Procéder
"Yandex" est un moteur de recherche qui demande précision et attention. L'indexation du site se compose de trois parties:
- Le robot de recherche parcourt les pages de ressources.
- Contenu(contenu) du site est enregistré dans la base de données (index) du système de recherche.
- Dans 2 à 4 semaines, après la mise à jour de la base de données, vous pourrez voir les résultats. Votre site apparaîtra (ou n'apparaîtra pas) dans les résultats de recherche.
Vérification de l'indexation
Comment vérifier l'indexation d'un site ? Il y a trois façons de le faire:
- Entrez le nom de votre entreprise dans la barre de recherche (par exemple, "Yandex") et vérifiez chaque lien sur les première et deuxième pages. Si vous y trouvez l'URL de votre idée originale, le robot a terminé sa tâche.
- Vous pouvez saisir l'URL de votre site Web dans la barre de recherche. Vous pourrez voir combien de fiches Internet sont affichées, c'est-à-dire indexées.
- Inscrivez-vous sur les pages des webmasters de Mail.ru, Google, Yandex. Après avoir réussi la vérification du site, vous pourrez voir les résultats d'indexation et les autres services de moteur de recherche créés pour améliorer les performances de votre ressource.
Pourquoi Yandex échoue-t-il ?
L'indexation d'un site dans Google s'effectue de la manière suivante: le robot entre dans la base de données toutes les pages du site, de basse qualité et de haute qualité, sans les sélectionner. Mais seuls les documents utiles sont inclus dans le classement. Et "Yandex" exclut immédiatement tous les déchets Web. Il peut indexer n'importe quelle page, mais le moteur de recherche finira par éliminer tous les déchets.
Les deux systèmes ont un index incrémentiel. Les deux pages de mauvaise qualité affectent le classement du site Web dans son ensemble. Il y a une philosophie simple à l'œuvre ici. Ressources préférées d'un particulierl'utilisateur occupera des postes plus élevés dans son émission. Mais ce même individu aura du mal à trouver un site qu'il n'a pas aimé la dernière fois.
C'est pourquoi, tout d'abord, il est nécessaire de protéger les copies de documents Web de l'indexation, de vérifier les pages vides et d'empêcher l'indexation du contenu de mauvaise qualité.
Accélérer Yandex
Comment puis-je accélérer l'indexation des sites dans Yandex ? Suivez ces étapes:
- Installez le navigateur Yandex sur votre ordinateur et utilisez-le pour parcourir les pages du site.
- Confirmez les droits de gestion de la ressource dans Yandex. Webmaster.
- Publier un lien vers l'article sur Twitter. On sait que Yandex coopère avec cette société depuis 2012.
- Ajouter une recherche depuis Yandex pour le site. Dans la section "Indexation", vous pouvez saisir vos propres URL.
- Entrez le code "Yandex. Metrica" sans cocher "L'envoi de pages pour indexation est interdit".
- Produisez un sitemap qui n'existe que pour le robot et qui n'est pas visible par le public. La vérification commencera par lui. L'adresse du plan du site est saisie dans robots.txt ou sous la forme appropriée dans le "Webmaster" - "Paramètres d'indexation" - "Fichiers du plan du site".
Actions intermédiaires
Que faut-il faire jusqu'à ce que la page Web soit indexée par Yandex ? Le moteur de recherche national doit considérer le site comme la source principale. C'est pourquoi avant même la publication de l'article, il est impératif d'ajouter son contenu sous forme de "Textes spécifiques". Autrementles plagiaires copieront l'enregistrement dans leur ressource et seront les premiers dans la base de données. En conséquence, ils seront reconnus comme les auteurs.
Base de données Google
Pour Google, les mêmes recommandations que nous avons décrites ci-dessus conviennent, seuls les services seront différents:
- Google+ (remplaçant Twitter);
- GoogleChrome;
- Google Tools for Programmers - "Scan" - "Ressembler à Googlebot" - option "Scan" - option "Index";
- rechercher dans une ressource de Google;
- Google Analytics (au lieu de Yandex. Metrics).
Interdiction
Qu'est-ce qu'une interdiction d'indexation de site ? Vous pouvez le superposer à la fois sur la page entière et sur une partie distincte de celle-ci (lien ou morceau de texte). En fait, il existe à la fois une interdiction d'indexation globale et une interdiction locale. Comment est-il mis en œuvre ?
Considérons l'interdiction d'ajouter un site Web à la base de données du moteur de recherche dans Robots.txt. À l'aide du fichier robots.txt, vous pouvez exclure l'indexation d'une page ou d'un en-tête de ressource entier comme ceci:
- User-agent:
- Interdire: /kolobok.html
- Interdire: /foto/
Le premier point dit que les instructions sont définies pour tous les PS, le deuxième indique que l'indexation du fichier kolobok.html est interdite, et le troisième ne permet pas d'ajouter tout le bourrage du dossier foto au base de données. Si vous devez exclure plusieurs pages ou dossiers, veuillez tous les spécifier dans Robots.
Afin d'empêcher l'indexation d'une feuille Internet particulière, vous pouvez utiliser la balise meta robots. Il est différent de robots.txtle fait qu'il donne des instructions à tous les PS à la fois. Cette balise meta suit les principes généraux du format html. Il doit être placé dans le titre de la page entre les balises. Une entrée pour une interdiction, par exemple, pourrait être écrite comme ceci:.
Ajax
Comment Yandex indexe-t-il les sites Ajax ? Aujourd'hui, la technologie Ajax est utilisée par de nombreux développeurs de sites Web. Bien sûr, elle a un grand potentiel. Avec lui, vous pouvez créer des pages Web interactives rapides et productives.
Cependant, le robot du moteur de recherche "voit" la liste Web différemment de l'utilisateur et du navigateur. Par exemple, une personne regarde une interface confortable avec des feuilles Internet chargées de manière mobile. Pour un crawler, le contenu de la même page peut être vide ou présenté comme le reste du contenu HTML statique, pour lequel les scripts ne fonctionnent pas.
Vous pouvez utiliser une URL avecpour créer des sites Ajax, mais le moteur de recherche ne l'utilise pas. Habituellement, la partie de l'URL après leest séparée. Ceci doit être pris en compte. Par conséquent, au lieu d'une URL comme https://site.ru/example, il fait une demande à la page principale de la ressource située à https://site.ru. Cela signifie que le contenu de la feuille Internet peut ne pas entrer dans la base de données. Par conséquent, il n'apparaîtra pas dans les résultats de la recherche.
Pour améliorer l'indexation des sites Ajax, Yandex a pris en charge les modifications apportées au robot de recherche et aux règles de traitement des URL de ces sites Web. Aujourd'hui, les webmasters peuvent indiquer au moteur de recherche Yandex la nécessité d'une indexation en créant un schéma approprié dans la structure des ressources. Pour cela, vous avez besoin de:
- Remplacer le symboledans l'URL des pagessur le !. Maintenant, le robot comprendra qu'il peut demander la version HTML du contenu de cette fiche Internet.
- La version HTML du contenu d'une telle page doit être placée sur une URL où ! remplacé par ?_escaped_fragment_=.
