import os
from scraper.docs_crawler import DocsCrawler

def main():
    print("--- Nuxt 4 Docs Crawler Başlatılıyor ---")
    
    start_url = "https://nuxt.com/docs/4.x/getting-started/"
    
    # Sadece Nuxt 4.x dökümanlarını (https://nuxt.com/docs/4.x/...) taramak için
    crawler = DocsCrawler(
        start_url=start_url,
        max_pages=1500,
        headless=True,
        allowed_path="/docs/4.x/"
    )
    
    crawler.crawl()
    
    print("\n--- İşlem Tamamlandı ---")
    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/nuxt.com/")

if __name__ == "__main__":
    main()