24 lines
622 B
Python
24 lines
622 B
Python
import os
|
||
from scraper.docs_crawler import DocsCrawler
|
||
|
||
def main():
|
||
print("--- Nuxt 4 Docs Crawler Başlatılıyor ---")
|
||
|
||
start_url = "https://nuxt.com/docs/4.x/getting-started/"
|
||
|
||
# Sadece Nuxt 4.x dökümanlarını (https://nuxt.com/docs/4.x/...) taramak için
|
||
crawler = DocsCrawler(
|
||
start_url=start_url,
|
||
max_pages=1500,
|
||
headless=True,
|
||
allowed_path="/docs/4.x/"
|
||
)
|
||
|
||
crawler.crawl()
|
||
|
||
print("\n--- İşlem Tamamlandı ---")
|
||
print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/nuxt.com/")
|
||
|
||
if __name__ == "__main__":
|
||
main()
|