25 lines
589 B
Python
25 lines
589 B
Python
import os
|
||
from scraper.docs_crawler import DocsCrawler
|
||
|
||
def main():
|
||
print("--- Docs to Markdown Crawler Başlatılıyor (Go Fiber) ---")
|
||
|
||
# Başlangıç URL'i (Go Fiber dokümantasyonu)
|
||
start_url = "https://docs.gofiber.io/"
|
||
|
||
MAX_PAGES = 5000
|
||
|
||
crawler = DocsCrawler(
|
||
start_url=start_url,
|
||
max_pages=MAX_PAGES,
|
||
headless=True
|
||
)
|
||
|
||
crawler.crawl()
|
||
|
||
print("\n--- İşlem Tamamlandı ---")
|
||
print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/docs.gofiber.io/")
|
||
|
||
if __name__ == "__main__":
|
||
main()
|