89 lines
3.5 KiB
Python
89 lines
3.5 KiB
Python
import os
|
||
import glob
|
||
import logging
|
||
from langchain_text_splitters import MarkdownTextSplitter
|
||
import chromadb
|
||
from chromadb.utils import embedding_functions
|
||
|
||
logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
|
||
|
||
def ingest_docs(docs_dir="data/md_docs", chroma_path="chroma_db", collection_name="docs"):
|
||
logging.info(f"ChromaDB başlatılıyor... ({chroma_path})")
|
||
|
||
# ChromaDB client oluştur (klasöre kaydeder)
|
||
client = chromadb.PersistentClient(path=chroma_path)
|
||
|
||
# Default embedding function (sentence-transformers: all-MiniLM-L6-v2)
|
||
# Bu model boyut olarak küçük (yaklaşık 80MB) ve lokalde çok hızlı çalışır.
|
||
sentence_transformer_ef = embedding_functions.SentenceTransformerEmbeddingFunction(model_name="all-MiniLM-L6-v2")
|
||
|
||
# Collection oluştur veya var olanı al
|
||
collection = client.get_or_create_collection(name=collection_name, embedding_function=sentence_transformer_ef)
|
||
|
||
# Markdown dosyalarını bul
|
||
md_files = glob.glob(os.path.join(docs_dir, "**", "*.md"), recursive=True)
|
||
logging.info(f"Toplam {len(md_files)} markdown dosyası bulundu.")
|
||
|
||
# Metinleri anlamlı parçalara bölecek (chunk) nesne
|
||
# Her parça yaklaşık 1000 karakter olacak, aralarında 200 karakter örtüşme (overlap) olacak.
|
||
splitter = MarkdownTextSplitter(chunk_size=1000, chunk_overlap=200)
|
||
|
||
batch_documents = []
|
||
batch_metadatas = []
|
||
batch_ids = []
|
||
|
||
count = 0
|
||
for file_path in md_files:
|
||
try:
|
||
with open(file_path, "r", encoding="utf-8") as f:
|
||
content = f.read()
|
||
|
||
# Metni parçalara böl
|
||
chunks = splitter.split_text(content)
|
||
|
||
for i, chunk in enumerate(chunks):
|
||
# ID örneği: data/md_docs/nextjs.org/docs.md_chunk_0
|
||
chunk_id = f"{file_path}_chunk_{i}"
|
||
|
||
batch_documents.append(chunk)
|
||
batch_metadatas.append({"source": file_path, "chunk_index": i})
|
||
batch_ids.append(chunk_id)
|
||
|
||
# Belleği doldurmamak için her 100 parçada bir veritabanına yaz
|
||
if len(batch_documents) >= 100:
|
||
collection.add(
|
||
documents=batch_documents,
|
||
metadatas=batch_metadatas,
|
||
ids=batch_ids
|
||
)
|
||
count += len(batch_documents)
|
||
logging.info(f"{count} parça vektörleştirildi ve veritabanına eklendi...")
|
||
batch_documents = []
|
||
batch_metadatas = []
|
||
batch_ids = []
|
||
|
||
except Exception as e:
|
||
logging.error(f"Dosya okunamadı ({file_path}): {e}")
|
||
|
||
# Kalan son parçaları yaz
|
||
if batch_documents:
|
||
collection.add(
|
||
documents=batch_documents,
|
||
metadatas=batch_metadatas,
|
||
ids=batch_ids
|
||
)
|
||
count += len(batch_documents)
|
||
|
||
logging.info(f"İşlem tamam! Toplam {count} metin parçası (chunk) vektörleştirilerek ChromaDB'ye işlendi.")
|
||
|
||
if __name__ == "__main__":
|
||
# Bu dosya rag_local dizininde olsa bile, çalışma dizini olarak mdscrap/ ana dizinini kullanalım
|
||
# böylece 'data/md_docs' ve 'chroma_db' ana dizinde oluşur.
|
||
|
||
# Çalışma dizinini ana dizine ayarla
|
||
script_dir = os.path.dirname(os.path.abspath(__file__))
|
||
main_dir = os.path.dirname(script_dir)
|
||
os.chdir(main_dir)
|
||
|
||
ingest_docs()
|