first commit

next_auth.py

@@ -0,0 +1,23 @@
+import os
+from scraper.docs_crawler import DocsCrawler
+
+def main():
+    print("--- NextAuth Docs Crawler Başlatılıyor ---")
+    
+    start_url = "https://next-auth.js.org/getting-started/introduction"
+    
+    # Tüm next-auth.js.org domainini taramak için allowed_path="/" veriyoruz
+    crawler = DocsCrawler(
+        start_url=start_url,
+        max_pages=1000,
+        headless=True,
+        allowed_path="/" 
+    )
+    
+    crawler.crawl()
+    
+    print("\n--- İşlem Tamamlandı ---")
+    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/next-auth.js.org/")
+
+if __name__ == "__main__":
+    main()