first commit

.gitignore

@@ -0,0 +1,11 @@
+.venv/
+__pycache__/
+*.pyc
+.env
+data/
+*.csv
+*.xlsx
+*.json
+.pytest_cache/
+playwright-report/
+test-results/

README.md

@@ -0,0 +1,65 @@
+# 🕷️ Web Scraping & RAG MCP Server Projesi
+
+Bu proje, çeşitli web sitelerindeki (özellikle yazılım dokümantasyonlarındaki) verileri toplayan, temizleyerek Markdown formatına getiren ve ardından bu verileri lokal bir yapay zeka vektör veritabanına aktararak **Model Context Protocol (MCP)** üzerinden dışarıya bir araç (tool) olarak sunan kapsamlı bir sistemdir.
+
+## 🌟 Sistemin Modülleri
+
+Proje temel olarak 3 ana modülden oluşmaktadır:
+
+### 1. Web Scraping Altyapısı (Kazıyıcılar)
+- **`scraper/static_scraper.py`**: `requests` ve `BeautifulSoup` kullanarak statik ve çok hızlı veri çekmek içindir.
+- **`scraper/dynamic_scraper.py`**: `Playwright` kullanarak JavaScript ile render olan (dinamik) sitelerden veri çekmek içindir.
+- **`main.py`**: Bu temel kazıyıcıların örnek kullanımını ve sonuçların `data/*.csv` formatında kaydedilmesini içerir.
+
+### 2. Docs to Markdown Crawler (Doküman Örümceği)
+- **`scraper/docs_crawler.py`**: Belirli bir dokümantasyon adresini (örneğin Next.js veya Nuxt) başlangıç kabul ederek o site içindeki tüm bağlantıları (linkleri) gezen sistemdir.
+- **Nasıl Çalışır?**: Girdiği sayfalardaki menü (`<nav>`), altlık (`<footer>`) gibi kısımları temizler. Geriye kalan saf metni ve kod bloklarını `markdownify` kütüphanesi ile tertemiz bir **.md** formatına çevirir.
+- **Çalıştırma Betikleri**:
+  - `next.py` (Next.js docs için)
+  - `next_auth.py` (NextAuth docs için)
+  - `nuxt.py` (Nuxt 4 docs için)
+- Çıktılar otomatik olarak `data/md_docs/<domain_adi>` klasörüne hiyerarşik bir şekilde yerleştirilir.
+
+### 3. Lokal RAG ve MCP Server (Yapay Zeka Entegrasyonu)
+Bu modül, indirilen saf Markdown dosyalarının Claude, ChatGPT gibi yapay zekalar tarafından aranabilmesini sağlar.
+- **`rag_local/ingest.py`**: 
+  - `data/md_docs/` dizinindeki tüm markdown dosyalarını okur.
+  - Metinleri yaklaşık 1000 karakterlik parçalara böler (chunking).
+  - Lokal yapay zeka modeli olan `all-MiniLM-L6-v2` (`sentence-transformers`) ile bu metinleri vektörleştirir.
+  - Vektörleri `chroma_db/` isimli, tamamen lokal çalışan ve kurulum gerektirmeyen klasör tabanlı bir veritabanına yazar.
+- **`rag_local/mcp_server.py`**: 
+  - FastMCP kullanarak bir Model Context Protocol sunucusu başlatır.
+  - Dışarıya **`search_documentation`** adında bir yetenek sunar.
+  - Yapay zeka bu yeteneği kullanarak bir kavram sorduğunda (Örn: "Next.js routing"), veritabanında semantik (anlamsal) arama yapılır ve en iyi eşleşen dokümanlar saniyeler içinde asistana iletilir.
+
+---
+
+## 🚀 Kurulum ve Çalıştırma Rehberi
+
+### Adım 1: Yeni Doküman Kazımak (İsteğe Bağlı)
+Eğer sisteme yeni dokümanlar eklemek isterseniz, örneğin `nuxt.py` dosyasını çalıştırın:
+```bash
+python nuxt.py
+```
+
+### Adım 2: Vektör Veritabanını Güncellemek (Ingest)
+Markdown dosyalarınız indikçe veya yenilendikçe bu dosyaları yapay zekanın anlayabileceği vektör formatına çevirmeniz gerekir:
+```bash
+# İlk çalıştırmada biraz sürebilir, çünkü parçaları tek tek vektöre çevirir.
+python rag_local/ingest.py
+```
+**Not:** İşlem bittiğinde proje ana dizininde `chroma_db` isimli bir klasör oluşur. Bu sizin yapay zeka "hafızanızdır".
+
+### Adım 3: MCP Server'ı Ayağa Kaldırmak
+Vektörleştirme bittikten sonra bu veriyi Claude Masaüstü (veya uyumlu MCP istemcileri) üzerinden kullanmak için sunucuyu başlatın:
+```bash
+python rag_local/mcp_server.py
+```
+**Not:** Claude Desktop içerisindeki `mcp.json` konfigürasyonuna bu sunucunun dosya yolunu ekleyerek, Claude'un direkt olarak bu dokümanlar üzerinde RAG (Arama) yapmasını sağlayabilirsiniz.
+
+---
+
+## 🛠️ Gelecek Geliştirmeler (Roadmap)
+- Vektör aramasını lokal ChromaDB yerine `.env` dosyasında yer alan **Postgres (`pgvector`)** sistemine taşıma.
+- Sorulan soruların anlık cevaplanması için **Redis** cache (önbellek) mekanizması ekleme.
+- Yüksek performans için MCP Server uygulamasını **Go (Golang)** dili ile yeniden yazma.

fiber.py

@@ -0,0 +1,24 @@
+import os
+from scraper.docs_crawler import DocsCrawler
+
+def main():
+    print("--- Docs to Markdown Crawler Başlatılıyor (Go Fiber) ---")
+    
+    # Başlangıç URL'i (Go Fiber dokümantasyonu)
+    start_url = "https://docs.gofiber.io/"
+    
+    MAX_PAGES = 5000
+    
+    crawler = DocsCrawler(
+        start_url=start_url,
+        max_pages=MAX_PAGES,
+        headless=True
+    )
+    
+    crawler.crawl()
+    
+    print("\n--- İşlem Tamamlandı ---")
+    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/docs.gofiber.io/")
+
+if __name__ == "__main__":
+    main()

main.py

@@ -0,0 +1,26 @@
+import os
+from scraper.docs_crawler import DocsCrawler
+
+def main():
+    print("--- Docs to Markdown Crawler Başlatılıyor ---")
+    
+    # Başlangıç URL'i (Örn: Next.js dokümantasyonu)
+    start_url = "https://nextjs.org/docs"
+    
+    # Test amaçlı sadece ilk 10 sayfayı çekecek şekilde sınırlandıralım
+    # Gerçek kullanımda max_pages=1000 gibi büyük bir sayı verilebilir.
+    MAX_PAGES = 5000
+    
+    crawler = DocsCrawler(
+        start_url=start_url,
+        max_pages=MAX_PAGES,
+        headless=True
+    )
+    
+    crawler.crawl()
+    
+    print("\n--- İşlem Tamamlandı ---")
+    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/nextjs.org/")
+
+if __name__ == "__main__":
+    main()

next.py

@@ -0,0 +1,26 @@
+import os
+from scraper.docs_crawler import DocsCrawler
+
+def main():
+    print("--- Docs to Markdown Crawler Başlatılıyor ---")
+    
+    # Başlangıç URL'i (Örn: Next.js dokümantasyonu)
+    start_url = "https://nextjs.org/docs"
+    
+    # Test amaçlı sadece ilk 10 sayfayı çekecek şekilde sınırlandıralım
+    # Gerçek kullanımda max_pages=1000 gibi büyük bir sayı verilebilir.
+    MAX_PAGES = 5000
+    
+    crawler = DocsCrawler(
+        start_url=start_url,
+        max_pages=MAX_PAGES,
+        headless=True
+    )
+    
+    crawler.crawl()
+    
+    print("\n--- İşlem Tamamlandı ---")
+    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/nextjs.org/")
+
+if __name__ == "__main__":
+    main()

next_auth.py

@@ -0,0 +1,23 @@
+import os
+from scraper.docs_crawler import DocsCrawler
+
+def main():
+    print("--- NextAuth Docs Crawler Başlatılıyor ---")
+    
+    start_url = "https://next-auth.js.org/getting-started/introduction"
+    
+    # Tüm next-auth.js.org domainini taramak için allowed_path="/" veriyoruz
+    crawler = DocsCrawler(
+        start_url=start_url,
+        max_pages=1000,
+        headless=True,
+        allowed_path="/" 
+    )
+    
+    crawler.crawl()
+    
+    print("\n--- İşlem Tamamlandı ---")
+    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/next-auth.js.org/")
+
+if __name__ == "__main__":
+    main()

nuxt.py

@@ -0,0 +1,23 @@
+import os
+from scraper.docs_crawler import DocsCrawler
+
+def main():
+    print("--- Nuxt 4 Docs Crawler Başlatılıyor ---")
+    
+    start_url = "https://nuxt.com/docs/4.x/getting-started/"
+    
+    # Sadece Nuxt 4.x dökümanlarını (https://nuxt.com/docs/4.x/...) taramak için
+    crawler = DocsCrawler(
+        start_url=start_url,
+        max_pages=1500,
+        headless=True,
+        allowed_path="/docs/4.x/"
+    )
+    
+    crawler.crawl()
+    
+    print("\n--- İşlem Tamamlandı ---")
+    print(f"Oluşturulan markdown dosyalarını kontrol et: data/md_docs/nuxt.com/")
+
+if __name__ == "__main__":
+    main()

rag_local/ingest.py

@@ -0,0 +1,88 @@
+import os
+import glob
+import logging
+from langchain_text_splitters import MarkdownTextSplitter
+import chromadb
+from chromadb.utils import embedding_functions
+
+logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
+
+def ingest_docs(docs_dir="data/md_docs", chroma_path="chroma_db", collection_name="docs"):
+    logging.info(f"ChromaDB başlatılıyor... ({chroma_path})")
+    
+    # ChromaDB client oluştur (klasöre kaydeder)
+    client = chromadb.PersistentClient(path=chroma_path)
+    
+    # Default embedding function (sentence-transformers: all-MiniLM-L6-v2)
+    # Bu model boyut olarak küçük (yaklaşık 80MB) ve lokalde çok hızlı çalışır.
+    sentence_transformer_ef = embedding_functions.SentenceTransformerEmbeddingFunction(model_name="all-MiniLM-L6-v2")
+    
+    # Collection oluştur veya var olanı al
+    collection = client.get_or_create_collection(name=collection_name, embedding_function=sentence_transformer_ef)
+    
+    # Markdown dosyalarını bul
+    md_files = glob.glob(os.path.join(docs_dir, "**", "*.md"), recursive=True)
+    logging.info(f"Toplam {len(md_files)} markdown dosyası bulundu.")
+    
+    # Metinleri anlamlı parçalara bölecek (chunk) nesne
+    # Her parça yaklaşık 1000 karakter olacak, aralarında 200 karakter örtüşme (overlap) olacak.
+    splitter = MarkdownTextSplitter(chunk_size=1000, chunk_overlap=200)
+    
+    batch_documents = []
+    batch_metadatas = []
+    batch_ids = []
+    
+    count = 0
+    for file_path in md_files:
+        try:
+            with open(file_path, "r", encoding="utf-8") as f:
+                content = f.read()
+                
+            # Metni parçalara böl
+            chunks = splitter.split_text(content)
+            
+            for i, chunk in enumerate(chunks):
+                # ID örneği: data/md_docs/nextjs.org/docs.md_chunk_0
+                chunk_id = f"{file_path}_chunk_{i}"
+                
+                batch_documents.append(chunk)
+                batch_metadatas.append({"source": file_path, "chunk_index": i})
+                batch_ids.append(chunk_id)
+                
+                # Belleği doldurmamak için her 100 parçada bir veritabanına yaz
+                if len(batch_documents) >= 100:
+                    collection.add(
+                        documents=batch_documents,
+                        metadatas=batch_metadatas,
+                        ids=batch_ids
+                    )
+                    count += len(batch_documents)
+                    logging.info(f"{count} parça vektörleştirildi ve veritabanına eklendi...")
+                    batch_documents = []
+                    batch_metadatas = []
+                    batch_ids = []
+                    
+        except Exception as e:
+            logging.error(f"Dosya okunamadı ({file_path}): {e}")
+            
+    # Kalan son parçaları yaz
+    if batch_documents:
+        collection.add(
+            documents=batch_documents,
+            metadatas=batch_metadatas,
+            ids=batch_ids
+        )
+        count += len(batch_documents)
+        
+    logging.info(f"İşlem tamam! Toplam {count} metin parçası (chunk) vektörleştirilerek ChromaDB'ye işlendi.")
+
+if __name__ == "__main__":
+    # Bu dosya rag_local dizininde olsa bile, çalışma dizini olarak mdscrap/ ana dizinini kullanalım
+    # böylece 'data/md_docs' ve 'chroma_db' ana dizinde oluşur.
+    
+    # Çalışma dizinini ana dizine ayarla
+    script_dir = os.path.dirname(os.path.abspath(__file__))
+    main_dir = os.path.dirname(script_dir)
+    os.chdir(main_dir)
+    
+    ingest_docs()

rag_local/mcp_server.log

@@ -0,0 +1,51 @@
+2026-04-23 03:23:02,022 - INFO - DocsRAGServer başlatılıyor...
+2026-04-23 03:23:07,881 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/modules.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:07,881 - WARNING - Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+2026-04-23 03:23:07,926 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/modules.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:08,071 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/config_sentence_transformers.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:08,116 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/config_sentence_transformers.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:08,116 - INFO - Loading SentenceTransformer model from sentence-transformers/all-MiniLM-L6-v2.
+2026-04-23 03:23:08,263 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/config_sentence_transformers.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:08,308 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/config_sentence_transformers.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:08,457 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/README.md "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:08,501 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/README.md "HTTP/1.1 200 OK"
+2026-04-23 03:23:08,657 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/modules.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:08,702 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/modules.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:08,847 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/sentence_bert_config.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:08,892 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/sentence_bert_config.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:09,040 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/adapter_config.json "HTTP/1.1 404 Not Found"
+2026-04-23 03:23:09,185 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/config.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:09,230 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/config.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:09,497 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/processor_config.json "HTTP/1.1 404 Not Found"
+2026-04-23 03:23:09,649 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/preprocessor_config.json "HTTP/1.1 404 Not Found"
+2026-04-23 03:23:09,798 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/video_preprocessor_config.json "HTTP/1.1 404 Not Found"
+2026-04-23 03:23:09,948 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/preprocessor_config.json "HTTP/1.1 404 Not Found"
+2026-04-23 03:23:10,094 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/tokenizer_config.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:10,138 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/tokenizer_config.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:10,289 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/config.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:10,334 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/config.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:10,487 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/config.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:10,532 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/config.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:10,678 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/tokenizer_config.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:10,723 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/tokenizer_config.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:10,883 - INFO - HTTP Request: GET https://huggingface.co/api/models/sentence-transformers/all-MiniLM-L6-v2/tree/main/additional_chat_templates?recursive=false&expand=false "HTTP/1.1 404 Not Found"
+2026-04-23 03:23:11,036 - INFO - HTTP Request: GET https://huggingface.co/api/models/sentence-transformers/all-MiniLM-L6-v2/tree/main?recursive=true&expand=false "HTTP/1.1 200 OK"
+2026-04-23 03:23:11,235 - INFO - HTTP Request: HEAD https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/1_Pooling/config.json "HTTP/1.1 307 Temporary Redirect"
+2026-04-23 03:23:11,279 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/sentence-transformers/all-MiniLM-L6-v2/c9745ed1d9f207416be6d2e6f8de32d1f16199bf/1_Pooling%2Fconfig.json "HTTP/1.1 200 OK"
+2026-04-23 03:23:11,429 - INFO - HTTP Request: GET https://huggingface.co/api/models/sentence-transformers/all-MiniLM-L6-v2 "HTTP/1.1 200 OK"
+2026-04-23 03:24:50,994 - INFO - DocsRAGServer başlatılıyor...
+2026-04-23 15:07:20,808 - INFO - DocsRAGServer başlatılıyor...
+2026-04-23 18:37:20,770 - INFO - DocsRAGServer başlatılıyor...
+2026-04-24 04:12:05,022 - INFO - DocsRAGServer başlatılıyor...
+2026-04-24 04:13:23,239 - INFO - DocsRAGServer başlatılıyor...
+2026-04-24 06:14:03,870 - INFO - DocsRAGServer başlatılıyor...
+2026-04-24 16:32:57,441 - INFO - DocsRAGServer başlatılıyor...
+2026-04-24 16:53:45,204 - INFO - DocsRAGServer başlatılıyor...
+2026-04-24 16:54:03,188 - INFO - DocsRAGServer başlatılıyor...
+2026-04-25 03:37:55,778 - INFO - DocsRAGServer başlatılıyor...
+2026-04-25 18:38:12,228 - INFO - DocsRAGServer başlatılıyor...
+2026-04-25 21:01:15,905 - INFO - DocsRAGServer başlatılıyor...
+2026-04-26 00:40:32,063 - INFO - DocsRAGServer başlatılıyor...
+2026-04-26 00:59:41,360 - INFO - DocsRAGServer başlatılıyor...
+2026-04-26 01:00:53,094 - INFO - DocsRAGServer başlatılıyor...
+2026-04-26 01:17:01,563 - INFO - DocsRAGServer başlatılıyor...

rag_local/mcp_server.py

@@ -0,0 +1,88 @@
+import os
+import logging
+import chromadb
+from chromadb.utils import embedding_functions
+from mcp.server.fastmcp import FastMCP
+
+# Log ayarları: Sadece kendi loglarımızı yazalım, diğer kütüphaneler (httpx vb.) karışmasın.
+SCRIPT_DIR = os.path.dirname(os.path.abspath(__file__))
+
+logger = logging.getLogger("DocsRAGServer")
+logger.setLevel(logging.INFO)
+
+# Sadece bu logger için bir dosya işleyicisi (handler) ekleyelim
+file_handler = logging.FileHandler(os.path.join(SCRIPT_DIR, 'mcp_server.log'))
+file_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s'))
+logger.addHandler(file_handler)
+
+# Propagate'i kapatalım ki root logger'a gitmesin
+logger.propagate = False
+
+# Dış kütüphanelerin gereksiz loglarını susturmak için:
+logging.getLogger("httpx").setLevel(logging.WARNING)
+logging.getLogger("sentence_transformers").setLevel(logging.WARNING)
+
+logger.info("DocsRAGServer başlatılıyor...")
+
+# MCP Server'ı oluştur
+# FastMCP, standart stdio/SSE vb. ayarlarını otomatik halleder.
+mcp = FastMCP("DocsRAGServer")
+
+# Çalışma dizinine göre ChromaDB klasörünün yolunu bul
+MAIN_DIR = os.path.dirname(SCRIPT_DIR)
+CHROMA_PATH = os.path.join(MAIN_DIR, "chroma_db")
+
+# ChromaDB'ye bağlan
+# Not: Sunucu ayağa kalktığında sadece bir kez bağlanır.
+try:
+    client = chromadb.PersistentClient(path=CHROMA_PATH)
+    sentence_transformer_ef = embedding_functions.SentenceTransformerEmbeddingFunction(model_name="all-MiniLM-L6-v2")
+    collection = client.get_or_create_collection(name="docs", embedding_function=sentence_transformer_ef)
+except Exception as e:
+    error_msg = f"UYARI: ChromaDB'ye bağlanırken hata oluştu. Henüz ingest.py çalıştırılmamış olabilir mi? Hata: {e}"
+    print(error_msg)
+    logger.error(error_msg)
+
+@mcp.tool()
+def search_documentation(query: str, num_results: int = 5) -> str:
+    """
+    Kullanıcının sorusuna en uygun dokümantasyon parçalarını vektör veritabanından bulup döndürür.
+    Bu araç (tool) sistemin belleği gibi davranır ve AI'ın kod/kavram araması yapmasını sağlar.
+    
+    Args:
+        query: Aranacak soru veya anahtar kelimeler (Örn: 'app router data fetching' veya 'next-auth credentials provider').
+        num_results: Döndürülecek maksimum sonuç sayısı (varsayılan: 5).
+    """
+    logger.info(f"Arama isteği alındı: query='{query}', num_results={num_results}")
+    try:
+        # Sorguyu vektöre çevirip en benzer metinleri (semantic search) getir
+        results = collection.query(
+            query_texts=[query],
+            n_results=num_results
+        )
+        
+        if not results['documents'] or not results['documents'][0]:
+            logger.info("Sorgu için ilgili bir doküman bulunamadı.")
+            return "İlgili bir doküman bulunamadı."
+            
+        docs = results['documents'][0]
+        metadatas = results['metadatas'][0]
+        distances = results['distances'][0]
+        
+        response_parts = [f"Arama Sorgusu: '{query}'\nBulunan En İyi Eşleşmeler:\n"]
+        
+        for i, (doc, meta, dist) in enumerate(zip(docs, metadatas, distances)):
+            source = meta.get("source", "Bilinmeyen Kaynak")
+            # dist (distance) değeri ChromaDB için varsayılan olarak L2 mesafesidir, küçük olan daha benzerdir.
+            response_parts.append(f"--- Sonuç {i+1} (Kaynak: {source}, Uzaklık: {dist:.4f}) ---\n{doc}\n")
+            
+        logger.info(f"Sorgu başarılı, {len(docs)} sonuç bulundu.")
+        return "\n".join(response_parts)
+        
+    except Exception as e:
+        logger.error(f"Arama sırasında hata oluştu: {str(e)}")
+        return f"Arama sırasında hata oluştu: {str(e)}"
+
+if __name__ == "__main__":
+    # Server'ı stdio üzerinden çalıştır. (Claude veya diğer MCP istemcileri bu şekilde bağlanır)
+    mcp.run()

requirements.txt

@@ -0,0 +1,124 @@
+annotated-doc==0.0.4
+annotated-types==0.7.0
+anyio==4.13.0
+attrs==26.1.0
+bcrypt==5.0.0
+beautifulsoup4==4.14.3
+build==1.4.4
+certifi==2026.4.22
+charset-normalizer==3.4.7
+chromadb==1.5.8
+click==8.3.3
+cuda-bindings==13.2.0
+cuda-pathfinder==1.5.3
+cuda-toolkit==13.0.2
+durationpy==0.10
+filelock==3.29.0
+flatbuffers==25.12.19
+fsspec==2026.3.0
+googleapis-common-protos==1.74.0
+greenlet==3.4.0
+grpcio==1.80.0
+h11==0.16.0
+hf-xet==1.4.3
+httpcore==1.0.9
+httptools==0.7.1
+httpx==0.28.1
+huggingface_hub==1.12.0
+idna==3.13
+importlib_metadata==8.7.1
+importlib_resources==7.1.0
+Jinja2==3.1.6
+joblib==1.5.3
+jsonpatch==1.33
+jsonpointer==3.1.1
+jsonschema==4.26.0
+jsonschema-specifications==2025.9.1
+kubernetes==35.0.0
+langchain-core==1.3.1
+langchain-text-splitters==1.1.2
+langsmith==0.7.35
+lxml==6.1.0
+markdown-it-py==4.0.0
+markdownify==1.2.2
+MarkupSafe==3.0.3
+mdurl==0.1.2
+mmh3==5.2.1
+mpmath==1.3.0
+networkx==3.6.1
+numpy==2.4.4
+nvidia-cublas==13.1.0.3
+nvidia-cuda-cupti==13.0.85
+nvidia-cuda-nvrtc==13.0.88
+nvidia-cuda-runtime==13.0.96
+nvidia-cudnn-cu13==9.19.0.56
+nvidia-cufft==12.0.0.61
+nvidia-cufile==1.15.1.6
+nvidia-curand==10.4.0.35
+nvidia-cusolver==12.0.4.66
+nvidia-cusparse==12.6.3.3
+nvidia-cusparselt-cu13==0.8.0
+nvidia-nccl-cu13==2.28.9
+nvidia-nvjitlink==13.0.88
+nvidia-nvshmem-cu13==3.4.5
+nvidia-nvtx==13.0.85
+oauthlib==3.3.1
+onnxruntime==1.25.0
+opentelemetry-api==1.41.1
+opentelemetry-exporter-otlp-proto-common==1.41.1
+opentelemetry-exporter-otlp-proto-grpc==1.41.1
+opentelemetry-proto==1.41.1
+opentelemetry-sdk==1.41.1
+opentelemetry-semantic-conventions==0.62b1
+orjson==3.11.8
+overrides==7.7.0
+packaging==26.1
+playwright==1.58.0
+protobuf==6.33.6
+pybase64==1.4.3
+pydantic==2.13.3
+pydantic-settings==2.14.0
+pydantic_core==2.46.3
+pyee==13.0.1
+Pygments==2.20.0
+PyPika==0.51.1
+pyproject_hooks==1.2.0
+python-dateutil==2.9.0.post0
+python-dotenv==1.2.2
+PyYAML==6.0.3
+referencing==0.37.0
+regex==2026.4.4
+requests==2.33.1
+requests-oauthlib==2.0.0
+requests-toolbelt==1.0.0
+rich==15.0.0
+rpds-py==0.30.0
+safetensors==0.7.0
+scikit-learn==1.8.0
+scipy==1.17.1
+sentence-transformers==5.4.1
+setuptools==81.0.0
+shellingham==1.5.4
+six==1.17.0
+soupsieve==2.8.3
+sympy==1.14.0
+tenacity==9.1.4
+threadpoolctl==3.6.0
+tokenizers==0.22.2
+torch==2.11.0
+tqdm==4.67.3
+transformers==5.6.2
+triton==3.6.0
+typer==0.24.2
+typing-inspection==0.4.2
+typing_extensions==4.15.0
+urllib3==2.6.3
+uuid_utils==0.14.1
+uvicorn==0.46.0
+uvloop==0.22.1
+watchfiles==1.1.1
+websocket-client==1.9.0
+websockets==16.0
+xxhash==3.6.0
+zipp==3.23.1
+zstandard==0.25.0

scraper/__init__.py

@@ -0,0 +1 @@
+# Bu dosya scraper dizinini bir Python paketi haline getirir.

scraper/docs_crawler.py

@@ -0,0 +1,138 @@
+import os
+import time
+import logging
+from urllib.parse import urlparse, urljoin
+from bs4 import BeautifulSoup
+from markdownify import markdownify as md
+from playwright.sync_api import sync_playwright
+
+logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
+
+class DocsCrawler:
+    def __init__(self, start_url: str, max_pages: int = 50, headless: bool = True, allowed_path: str = None):
+        self.start_url = start_url
+        self.max_pages = max_pages
+        self.headless = headless
+        self.visited = set()
+        self.queue = [start_url]
+        
+        parsed_url = urlparse(start_url)
+        self.base_domain = parsed_url.netloc
+        self.base_path = allowed_path if allowed_path is not None else parsed_url.path
+        
+        # Sadece bu prefix ile başlayan linkleri gezeceğiz
+        self.url_prefix = f"{parsed_url.scheme}://{self.base_domain}{self.base_path}"
+
+    def is_valid_url(self, url: str) -> bool:
+        """Sadece aynı domain ve prefix altındaki doküman linklerini geçerli sayar."""
+        if url in self.visited:
+            return False
+        if not url.startswith(self.url_prefix):
+            return False
+        # Gereksiz dosyaları atla
+        if any(url.endswith(ext) for ext in [".png", ".jpg", ".pdf", ".zip", ".json"]):
+            return False
+        return True
+
+    def save_markdown(self, url: str, content: str):
+        """Çekilen markdown'ı URL yapısına göre klasörleyerek kaydeder."""
+        parsed = urlparse(url)
+        # Örn: /docs/app/building-your-application -> docs/app/building-your-application
+        path = parsed.path.strip("/")
+        if not path:
+            path = "index"
+            
+        # Dosya yolu oluştur
+        file_path = os.path.join("data", "md_docs", self.base_domain, f"{path}.md")
+        os.makedirs(os.path.dirname(file_path), exist_ok=True)
+        
+        with open(file_path, "w", encoding="utf-8") as f:
+            f.write(content)
+        logging.info(f"Kaydedildi: {file_path}")
+
+    def extract_main_content(self, html_content: str) -> str:
+        """HTML içerisinden menüleri/sidearları atıp asıl metni alır."""
+        soup = BeautifulSoup(html_content, "lxml")
+        
+        # Çoğu modern docs sitesi içeriği article veya main etiketinde tutar.
+        main_content = soup.find("article") or soup.find("main")
+        
+        # Eğer bulunamazsa div id="content" gibi ortak yapıları ara
+        if not main_content:
+            main_content = soup.find("div", id="content") or soup.find("div", class_="content")
+            
+        # Hiçbiri yoksa fallback olarak body kullan
+        if not main_content:
+            main_content = soup.find("body")
+
+        # Gereksiz script, style ve nav etiketlerini temizle
+        if main_content:
+            for unwanted in main_content(["script", "style", "nav", "footer", "header"]):
+                unwanted.decompose()
+            return str(main_content)
+        
+        return ""
+
+    def crawl(self):
+        """Kuyruktaki URL'leri sırayla gezip indirir."""
+        logging.info(f"Tarama başlatılıyor: {self.start_url}")
+        
+        with sync_playwright() as p:
+            browser = p.chromium.launch(headless=self.headless)
+            context = browser.new_context(
+                user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
+            )
+            page = context.new_page()
+
+            count = 0
+            while self.queue and count < self.max_pages:
+                current_url = self.queue.pop(0)
+                
+                # Sayfadaki # (anchor) linklerini temizleyerek ziyaret edildi say
+                clean_url = current_url.split("#")[0]
+                
+                if clean_url in self.visited:
+                    continue
+                    
+                self.visited.add(clean_url)
+                count += 1
+                
+                logging.info(f"[{count}/{self.max_pages}] Çekiliyor: {clean_url}")
+                
+                try:
+                    # networkidle JS ile yüklenen siteler için önemlidir
+                    page.goto(clean_url, wait_until="networkidle", timeout=30000)
+                    html_content = page.content()
+                    
+                    # 1. Main içeriği bul ve ayıkla
+                    content_html = self.extract_main_content(html_content)
+                    if not content_html:
+                        logging.warning(f"İçerik bulunamadı: {clean_url}")
+                        continue
+                        
+                    # 2. HTML'i Markdown'a dönüştür
+                    # heading_style="ATX" -> ## Başlık (daha iyi markdown formatı)
+                    md_text = md(content_html, heading_style="ATX", default_title=True)
+                    
+                    # URL'i başlığa ekleyebiliriz referans için
+                    md_text = f"# Source: {clean_url}\n\n" + md_text
+                    
+                    # 3. Kaydet
+                    self.save_markdown(clean_url, md_text)
+                    
+                    # 4. Sayfadaki yeni linkleri bul ve sıraya ekle
+                    soup = BeautifulSoup(html_content, "lxml")
+                    for a_tag in soup.find_all("a", href=True):
+                        href = a_tag["href"]
+                        # Tam URL'yi oluştur
+                        full_url = urljoin(clean_url, href).split("#")[0]
+                        if self.is_valid_url(full_url) and full_url not in self.queue:
+                            self.queue.append(full_url)
+                            
+                except Exception as e:
+                    logging.error(f"Hata oluştu ({clean_url}): {e}")
+                    
+                time.sleep(1) # Aşırı yüklenmemek için ufak bekleme
+                
+            browser.close()
+            logging.info("Tarama tamamlandı.")

scraper/dynamic_scraper.py

@@ -0,0 +1,49 @@
+import logging
+from playwright.sync_api import sync_playwright
+
+logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
+
+class DynamicScraper:
+    def __init__(self, headless: bool = True):
+        self.headless = headless
+
+    def run_scraper(self, url: str) -> str | None:
+        """Belirtilen URL'yi Playwright ile açar ve tam yüklenmiş HTML'i döndürür."""
+        try:
+            with sync_playwright() as p:
+                # Chromium tarayıcısını başlat
+                browser = p.chromium.launch(headless=self.headless)
+                context = browser.new_context(
+                    user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
+                )
+                page = context.new_page()
+                
+                logging.info(f"Playwright ile sayfa açılıyor: {url}")
+                # networkidle: Ağ trafiği durana kadar bekle (JS ile yüklenen veriler için iyi bir seçenektir)
+                page.goto(url, wait_until="networkidle", timeout=30000)
+                
+                # İsterseniz burada belirli bir elementin yüklenmesini bekleyebilirsiniz:
+                # page.wait_for_selector("h1", timeout=5000)
+                
+                html_content = page.content()
+                browser.close()
+                
+                logging.info(f"Sayfa başarıyla yüklendi: {url}")
+                return html_content
+        except Exception as e:
+            logging.error(f"Playwright ile sayfa çekilirken hata oluştu ({url}): {e}")
+            return None
+
+    def extract_title_with_playwright(self, url: str) -> str | None:
+        """Sadece title'ı çekmek için kısa bir örnek."""
+        try:
+            with sync_playwright() as p:
+                browser = p.chromium.launch(headless=self.headless)
+                page = browser.new_page()
+                page.goto(url)
+                title = page.title()
+                browser.close()
+                return title
+        except Exception as e:
+            logging.error(f"Title alınamadı: {e}")
+            return None

scraper/static_scraper.py

@@ -0,0 +1,43 @@
+import requests
+from bs4 import BeautifulSoup
+import logging
+
+logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
+
+class StaticScraper:
+    def __init__(self, base_url: str):
+        self.base_url = base_url
+        # Temel header'lar ekleyerek bot korumalarını geçmeye çalışıyoruz
+        self.headers = {
+            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
+        }
+
+    def fetch_page(self, url_path: str = "") -> str | None:
+        """Belirtilen URL'ye HTTP GET isteği atar ve HTML içeriğini döndürür."""
+        url = f"{self.base_url}{url_path}"
+        try:
+            response = requests.get(url, headers=self.headers, timeout=10)
+            response.raise_for_status() # Hata kodlarında exception fırlatır (örn: 404, 500)
+            logging.info(f"Başarılı bir şekilde çekildi: {url}")
+            return response.text
+        except requests.RequestException as e:
+            logging.error(f"Sayfa çekilirken hata oluştu ({url}): {e}")
+            return None
+
+    def parse_title(self, html_content: str) -> str | None:
+        """HTML içeriğinden sayfa başlığını (title) ayrıştırır."""
+        if not html_content:
+            return None
+        soup = BeautifulSoup(html_content, "lxml")
+        title_tag = soup.find("title")
+        return title_tag.text.strip() if title_tag else None
+
+    def extract_links(self, html_content: str) -> list[str]:
+        """Sayfadaki tüm bağlantıları (a etiketlerini) çıkartır."""
+        if not html_content:
+            return []
+        soup = BeautifulSoup(html_content, "lxml")
+        links = []
+        for a_tag in soup.find_all("a", href=True):
+            links.append(a_tag["href"])
+        return links

sss

@@ -0,0 +1,40 @@
+bash
+python rag_local/ingest.py
+İşlem bitip chroma_db/ klasörü oluştuğunda ise MCP Server'ı şu şekilde ayaklandırabilirsin:
+
+bash
+python rag_local/mcp_server.py
+Kurulumun bitmesini bekleyip benim test etmemi ister misin yoksa sen terminalden takip edip test etmek ister misin?
+
+
+Ran command: `python rag_local/ingest.py                                                       ✔  142  02:59:09 `
+Viewed README.md:1-15
+
+Bu komutun şu an "hiçbir şey yapmıyormuş" gibi ekranda öylece asılı kalması tamamen normal ve olması gereken şeydir! Nedenini hemen açıklayayım:
+
+Bu dosya standart bir web sunucusu (örneğin arka planda `localhost:3000`'de çalışan bir site) **değildir.** Bu bir **MCP (Model Context Protocol)** sunucusudur. 
+
+MCP sunucuları, yapay zekalarla (örneğin bilgisayarındaki Claude Desktop uygulamasıyla) standart girdi/çıktı (stdio) üzerinden "JSON" formatında gizlice konuşmak üzere tasarlanmıştır. Ekrana "Sunucu başladı" gibi bir yazı yazdırırsa bu iletişim protokolü bozulacağı için **tamamen sessiz** çalışır.
+
+**Peki bu şu an ne işe yarıyor?**
+Şu an o komut çalışırken aslında bir kulaklıkla bekliyor. Claude uygulamasına gidip *"Bana Next.js Routing ile ilgili dokümanları getir"* dediğinde, Claude arka planda bu çalışan komuta sessiz bir mesaj gönderecek. Bu komut da az önce vektörleştirdiğimiz 8664 parça belge (`chroma_db`) içinden en alakalı olanları bulup Claude'a geri verecek.
+
+**Nasıl Kullanılır?**
+Normalde bu komutu senin elinle terminale yazmana gerek yoktur. Claude Desktop uygulamasının ayarlarındaki `claude_desktop_config.json` (veya `mcp.json`) dosyasını açıp şuna benzer bir ayar eklersin:
+
+```json
+{
+  "mcpServers": {
+    "dokumanlarim": {
+      "command": "/home/beyhan/Masaüstü/mdscrap/.venv/bin/python",
+      "args": ["/home/beyhan/Masaüstü/mdscrap/rag_local/mcp_server.py"]
+    }
+  }
+}
+```
+
+Bunu yaptığında Claude'u her açtığında bu sunucuyu **arka planda kendisi sessizce başlatır**. Claude'un ekranında sağ altta bir "Priz" ikonu çıkar ve tıkladığında `search_documentation` aracını görebilirsin. Artık Claude'a kod yazdırırken indirdiğimiz Next.js, NextAuth ve Nuxt dokümanlarını kullanarak sana en güncel cevapları verecektir!
+
+
+
+Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJ1c2VybmFtZSI6ImFkbWluIiwiaXNfYWRtaW4iOnRydWUsInN1YiI6ImFkbWluIiwiZXhwIjoxODA4NDQyMDcwLCJpYXQiOjE3NzY5MDYwNzAsImp0aSI6IjFjMTRkMzFlOGE1MTQxMGRjMjQ3ZWQ5MTA5Mjg0MTAxIn0.FB8WdNCM7Hugwe2wrXxQ66KTNBWXXeweRAzzweRNMoM