CRAWL & INDEX OTOMATIS - Forums Earl Haig
=========================================

Agar subfolder ter-crawl dan ter-index otomatis oleh Google:

1. ROBOTS.TXT
   - Sudah: Allow: / dan Allow tiap subfolder.
   - Sudah: Sitemap: https://forums.earlhaig.ca/sitemap.xml
   - Pastikan URL situs live dan robots.txt bisa diakses:
     https://forums.earlhaig.ca/robots.txt

2. SITEMAP.XML
   - Sudah: Homepage + 6 subfolder ada di sitemap.
   - Pastikan sitemap bisa diakses:
     https://forums.earlhaig.ca/sitemap.xml

3. SETELAH DEPLOY - Google Search Console (penting)
   - Daftar properti: https://search.google.com/search-console
   - Tambah properti: https://forums.earlhaig.ca
   - Di menu "Sitemaps", submit URL sitemap:
     https://forums.earlhaig.ca/sitemap.xml
   - Google akan otomatis crawl URL di sitemap dan indeks secara berkala.

4. PING SITEMAP (opsional, untuk undang crawl lebih cepat)
   Setelah situs live, buka URL ini di browser sekali:
   - Google: https://www.google.com/ping?sitemap=https://forums.earlhaig.ca/sitemap.xml
   - Bing:   https://www.bing.com/ping?sitemap=https://forums.earlhaig.ca/sitemap.xml

5. YANG SUDAH DIBUAT DI SITUS
   - Setiap halaman: meta robots "index, follow" (termasuk subfolder).
   - Setiap halaman: link rel="sitemap" ke sitemap.xml (agar crawler temukan sitemap dari mana saja).
   - Setiap halaman: canonical URL yang benar.
   - Internal link: homepage dan tiap subfolder saling tertaut (nav + footer).
   - Schema (BreadcrumbList, Article, dll.) untuk membantu Google memahami konten.

Index biasanya muncul dalam beberapa hari sampai beberapa minggu setelah submit sitemap di Search Console. Untuk permintaan index satu URL tertentu: Search Console > URL Inspection > masukkan URL > Request indexing.
