first commit
This commit is contained in:
23
nuxt.py
Normal file
23
nuxt.py
Normal file
@@ -0,0 +1,23 @@
|
||||
import os
|
||||
from scraper.docs_crawler import DocsCrawler
|
||||
|
||||
def main():
|
||||
print("--- Nuxt 4 Docs Crawler Başlatılıyor ---")
|
||||
|
||||
start_url = "https://nuxt.com/docs/4.x/getting-started/"
|
||||
|
||||
# Sadece Nuxt 4.x dökümanlarını (https://nuxt.com/docs/4.x/...) taramak için
|
||||
crawler = DocsCrawler(
|
||||
start_url=start_url,
|
||||
max_pages=1500,
|
||||
headless=True,
|
||||
allowed_path="/docs/4.x/"
|
||||
)
|
||||
|
||||
crawler.crawl()
|
||||
|
||||
print("\n--- İşlem Tamamlandı ---")
|
||||
print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/nuxt.com/")
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user