import os
from scraper.docs_crawler import DocsCrawler

def main():
    print("--- Docs to Markdown Crawler Başlatılıyor (Go Fiber) ---")
    
    # Başlangıç URL'i (Go Fiber dokümantasyonu)
    start_url = "https://docs.gofiber.io/"
    
    MAX_PAGES = 5000
    
    crawler = DocsCrawler(
        start_url=start_url,
        max_pages=MAX_PAGES,
        headless=True
    )
    
    crawler.crawl()
    
    print("\n--- İşlem Tamamlandı ---")
    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/docs.gofiber.io/")

if __name__ == "__main__":
    main()