first commit

fiber.py

@@ -0,0 +1,24 @@
+import os
+from scraper.docs_crawler import DocsCrawler
+
+def main():
+    print("--- Docs to Markdown Crawler Başlatılıyor (Go Fiber) ---")
+    
+    # Başlangıç URL'i (Go Fiber dokümantasyonu)
+    start_url = "https://docs.gofiber.io/"
+    
+    MAX_PAGES = 5000
+    
+    crawler = DocsCrawler(
+        start_url=start_url,
+        max_pages=MAX_PAGES,
+        headless=True
+    )
+    
+    crawler.crawl()
+    
+    print("\n--- İşlem Tamamlandı ---")
+    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/docs.gofiber.io/")
+
+if __name__ == "__main__":
+    main()