Back to Question Center
0

Semalt: Kijan Pou Bloke Darodar Robots.txt

1 answers:

Robots.txt dosye se yon dosye tèks tipik ki gen enstriksyon sou ki jan entènèt robo oswa bots yo ta dwe rale yon sit. Aplikasyon yo evidan nan motè rechèch robo ki komen nan sit entènèt anpil optimisé. Kòm yon pati nan Pwotokòl la Exclusyon robo (REP), dosye robots.txt fòme yon aspè esansyèl nan kontni sit entènèt Indexing kòm byen ke pèmèt yon sèvè yo legalize demann itilizatè kòmsadwa.

Julia Vashneva, Semalt Senior Manadjè Siksè Kliyan, eksplike ke ki lye ak se yon aspè nan Search Engine Optimization (SEO), ki enplike nan trafik nan men lòt domèn nan Tanporèman nich ou. Pou lyen yo "swiv" yo transfere ji lyen, li esansyèl nan gen ladan yon dosye robots.txt sou sit entènèt ou hosting espas yo aji kòm yon enstriktè nan ki jan sèvè a reyaji avèk sit ou. Soti nan achiv sa a, enstriksyon yo prezan pa pèmèt oswa neglije ki jan kèk ajan itilizatè espesifik konpòte yo.

Fòma de baz yon dosye robots.txt

Yon dosye robots.txt gen de liy esansyèl:

Itilizatè-ajan: [non itilizatè-ajan]

Divilgasyon: [URL string pa dwe rale]

Yon dosye robots.txt konplè ta dwe gen ladan de liy sa yo. Sepandan, kèk nan yo ka gen liy miltip nan itilizatè-ajan ak direktiv. Kòmandman sa yo ka gen ladan aspè tankou pèmèt, reklam oswa retade rap. Gen anjeneral yon ti repo liy ki separe chak seri ansèyman. Chak nan enstriksyon an pèmèt oswa delallow separe pa liy sa a kraze, espesyalman pou robots.txt a ak liy miltip.

Egzanp

Pa egzanp, yon dosye robots.txt ka gen kòd tankou:

Itilizatè-ajan: darodar

Divilgasyon: / Plugin

Divilgasyon: / API

Divilgasyon: / _comments

Nan ka sa a, sa a se yon blòk robots.txt dosye ki anpeche Darodar entènèt krole soti nan aksè sit entènèt ou an. Nan sentaks ki anwo a, blòk yo aspè blòk nan sit wèb la tankou grefon, API, ak seksyon an kòmantè. Soti nan konesans sa a, li posib reyalize anpil benefis nan egzekite dosye tèks yon robo nan efektivman. Robo..dosye txt ka kapab fè fonksyon anpil. Pa egzanp, yo ka pare pou:

1. Pèmèt tout kontni entènèt kontwole nan yon paj sit entènèt. Pou egzanp;

Itilizatè-ajan: *

Divilgasyon:

Nan ka sa a, tout kontni itilizatè yo ka jwenn aksè pa nenpòt ki entènèt krole te mande pou li ale nan yon sit entènèt.

2. Bloke yon kontni espesifik entènèt ki sòti nan yon katab espesifik. Pou egzanp,

Itilizatè-ajan: Googlebot

Divilgasyon: / egzanp-subfolder /

Sa a sentaks ki gen non itilizatè-ajan Googlebot ki dwe Google. Li mete restriksyon sou bot la soti nan aksè nenpòt paj entènèt nan fisèl la www.ourexample.com/example-subfolder/.

3. Bloke yon krole entènèt espesifik nan yon paj wèb espesifik. Pou egzanp,

Itilizatè-ajan: Bingbot

Divilgasyon: /example-subfolder/blocked-page.html

Itilizatè-ajan Bing bot ki dwe nan entènèt navigatè Bing. Sa a ki kalite robots.txt ranje restriction entènèt la kroleur entènèt soti nan aksè nan yon paj espesifik ak fisèl la www.ourexample.com/example-subfolder/blocked-page.

Enfòmasyon enpòtan

  • Se pa tout itilizatè sèvi ak dosye robts.txt ou. Gen kèk itilizatè ka deside inyore li. Pifò nan crawlers entènèt sa yo enkli trwayen ak malveyan.
  • Pou yon dosye Robots.txt yo dwe vizib, li ta dwe disponib nan anyè a sou sit wèb tèt-nivo.
  • Karaktè yo "robots.txt" se ka sansib. Kòm yon rezilta, ou pa ta dwe chanje yo nan nenpòt fason ki gen ladan lèt majiskil nan kèk aspè.
  • "/robots.txt" se domèn piblik. Nenpòt moun ka kapab jwenn enfòmasyon sa a lè yo ajoute li nan sa ki nan nenpòt URL. Ou pa ta dwe endèks detay esansyèl oswa paj kote ou vle yo rete prive.
November 29, 2017
Semalt: Kijan Pou Bloke Darodar Robots.txt
Reply