Sito in fase di sviluppo: bloccare tutti gli spider

filomeni

Moderatore
Membro dello Staff
MOD
14 Mag 2006
1.052
6
38
49
Roseto degli Abruzzi (TE)
www.sitiweb.cloud
Mi sto ponendo una domanda, ho in corso la progettazione di un sito che attualmente è online. Il sito è navigabile e sono presenti i contenuti ma è molto complesso quindi ci sono variazioni e repentini cambiamenti di link...
La cosa migliore da fare è bloccare tutti gli spider?
Quello che mi viene da pensare è che sicuramente troveranno molti "falli" come 404 o altri errori dovuti alle variazioni del corso della progettazione...
Oppure c'è un sistema per "dichiarare" ai motori di ricerca che il sito è in lavorazione?
Grazie.
 

glm2006ITALY

Moderatore
Membro dello Staff
MOD
9 Apr 2009
1.266
11
38
34
Vercelli
www.webepc.it
Stai usando un CMS?

Con WordPress ad esempio esiste un plugin "maintenance mode".
 

maxbossi

Amministratore
Membro dello Staff
ADMIN
MOD
25 Feb 2003
2.006
39
48
www.ikiweb.it
Una soluzione (secondo me la più corretta) consiste nello sviluppare il sito off-line oppure on-line ma "dietro le quinte" (cioè non renderlo da subito visibile a spider ed utenti casuali).

Se questa strada non ti convince o non è possibile ed hai paura delle possibili conseguenze della visita di uno spider puoi impostare un blocco temporaneo (che rimuoverai quando il sito sarà finito) utilizzando il file robots.txt

Ciao
 

filomeni

Moderatore
Membro dello Staff
MOD
14 Mag 2006
1.052
6
38
49
Roseto degli Abruzzi (TE)
www.sitiweb.cloud
per il file robot.txt, in questo caso bisogna solo scrivere nel file "Disallow: /" o altro?
Una soluzione (secondo me la più corretta) consiste nello sviluppare il sito off-line oppure on-line ma "dietro le quinte" (cioè non renderlo da subito visibile a spider ed utenti casuali).

Se questa strada non ti convince o non è possibile ed hai paura delle possibili conseguenze della visita di uno spider puoi impostare un blocco temporaneo (che rimuoverai quando il sito sarà finito) utilizzando il file robots.txt

Ciao