import os
from scraper.docs_crawler import DocsCrawler

def main():
    print("--- NextAuth Docs Crawler Başlatılıyor ---")
    
    start_url = "https://next-auth.js.org/getting-started/introduction"
    
    # Tüm next-auth.js.org domainini taramak için allowed_path="/" veriyoruz
    crawler = DocsCrawler(
        start_url=start_url,
        max_pages=1000,
        headless=True,
        allowed_path="/" 
    )
    
    crawler.crawl()
    
    print("\n--- İşlem Tamamlandı ---")
    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/next-auth.js.org/")

if __name__ == "__main__":
    main()