Эхлэл Бүгдийг харах Тусламж
Нэвтрэх
database.pizza
/
olive
-ын хуулбар https://github.com/database-pizza/olive
2
0
Салаа 0
Файлууд Асуудлууд 0 Мэдлэгийн сан
Мод: 6f6a157418
Салаанууд Тагууд
olive
/
static
/
robots.txt

robots.txt 63 B
Түүх Анхны өгөгдөл

123 
  1. # allow crawling everything by default
    2. 

  2. User-agent: *
    3. 

  3. Disallow:
    4.