Kiel Resendi Submetitan Ĝisdatigitan aŭ Novan Dosieron Robots.txt
Nia agentejo pritraktas organika serĉado por pluraj SaaS-vendistoj en la industrio. Kliento, kun kiu ni ĵus komencis labori, faris sufiĉe norman praktikon, metante sian kandidatiĝon sur subdomajnon kaj movante sian broŝuran retejon al la kerna domajno. Ĉi tio estas norma praktiko, ĉar ĝi ebligas al via produkta teamo kaj via merkatista teamo fari ĝisdatigojn laŭbezone sen ia dependeco de la alia.
Kiel unua paŝo por analizi ilian organikan serĉan sanon, ni registris kaj la broŝuron kaj aplikaĵajn domajnojn en retejestroj. Tiam ni identigis tujan problemon. Ĉiuj aplikaĵaj paĝoj estis malpermesitaj esti indeksitaj de la serĉiloj. Ni navigis al ilia eniro robots.txt en retejestroj kaj tuj identigis la problemon.
Preparante la migradon, ilia disvolva teamo ne volis, ke la aplika subdomajno estu indeksita per serĉado, do ili malpermesis aliron al serĉiloj. La dosiero robots.txt estas dosiero trovita en la radiko de via retejo - viadomajno.com/robots.txt - tio informas la serĉilon, ĉu ili devas aŭ ne rampi la retejon. Vi povas skribi regulojn por permesi aŭ malpermesi indeksadon sur la tuta retejo aŭ specifaj vojoj. Vi ankaŭ povas aldoni linion por specifi vian sitemapan dosieron.
la Robotoj.txt dosiero havis la sekvan eniron, kiu malebligis ke la retejo estu rampita kaj indeksita en serĉrezultaj rangoj:
Uzanto-agento: * Malpermesu: /
Ĝi devus esti skribita jene:
Uzanto-agento: * Permesu: /
Ĉi-lasta donas permeson al iu ajn serĉilo rampanta la retejon, ke ili povu aliri iun ajn dosierujon aŭ dosieron ene de la retejo.
Bonege ... do nun ke la robots.txt dosiero estas perfekta sed kiel Google scias kaj kiam ili kontrolos la retejon denove? Nu, vi povas absolute peti, ke Google kontrolu vian robots.txt, sed ĝi ne estas tro intuicia.
Navigi al la Google Search Console Serĉa Konzolo al la Crawl> robotoj.txt-elprovilo. Vi vidos la enhavon de la plej lastatempe rampita dosiero robots.txt ene de la Testilo. Se vi ŝatus resendi vian dosieron robots.txt, alklaku Sendu kaj ŝprucfenestro aperos kun kelkaj ebloj.
La fina eblo estas Petu Google ĝisdatigi. Alklaku la bluan Sendu butonon apud tiu opcio kaj poste reiru al la Crawl> robotoj.txt-elprovilo menuelekto por reŝargi la paĝon. Vi nun vidu la ĝisdatigitan dosieron robots.txt kune kun dato-stampo, kiu montras, ke ĝi denove estis rampita.
Se vi ne vidas ĝisdatigitan version, vi povas alklaki sendi kaj elekti Vidi alŝutitan version navigi al via reala dosiero robots.txt. Multaj sistemoj kaŝmemorigos ĉi tiun dosieron. Fakte IIS generas ĉi tiun dosieron dinamike surbaze de reguloj enmetitaj per ilia uzantinterfaco. Vi plej verŝajne devos ĝisdatigi la regulojn kaj refreŝigi la kaŝmemoron por publikigi novan dosieron robots.txt.
