24 lines
628 B
Python
24 lines
628 B
Python
import os
|
||
from scraper.docs_crawler import DocsCrawler
|
||
|
||
def main():
|
||
print("--- NextAuth Docs Crawler Başlatılıyor ---")
|
||
|
||
start_url = "https://next-auth.js.org/getting-started/introduction"
|
||
|
||
# Tüm next-auth.js.org domainini taramak için allowed_path="/" veriyoruz
|
||
crawler = DocsCrawler(
|
||
start_url=start_url,
|
||
max_pages=1000,
|
||
headless=True,
|
||
allowed_path="/"
|
||
)
|
||
|
||
crawler.crawl()
|
||
|
||
print("\n--- İşlem Tamamlandı ---")
|
||
print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/next-auth.js.org/")
|
||
|
||
if __name__ == "__main__":
|
||
main()
|