first commit

scraper/static_scraper.py

@@ -0,0 +1,43 @@
+import requests
+from bs4 import BeautifulSoup
+import logging
+
+logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
+
+class StaticScraper:
+    def __init__(self, base_url: str):
+        self.base_url = base_url
+        # Temel header'lar ekleyerek bot korumalarını geçmeye çalışıyoruz
+        self.headers = {
+            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
+        }
+
+    def fetch_page(self, url_path: str = "") -> str | None:
+        """Belirtilen URL'ye HTTP GET isteği atar ve HTML içeriğini döndürür."""
+        url = f"{self.base_url}{url_path}"
+        try:
+            response = requests.get(url, headers=self.headers, timeout=10)
+            response.raise_for_status() # Hata kodlarında exception fırlatır (örn: 404, 500)
+            logging.info(f"Başarılı bir şekilde çekildi: {url}")
+            return response.text
+        except requests.RequestException as e:
+            logging.error(f"Sayfa çekilirken hata oluştu ({url}): {e}")
+            return None
+
+    def parse_title(self, html_content: str) -> str | None:
+        """HTML içeriğinden sayfa başlığını (title) ayrıştırır."""
+        if not html_content:
+            return None
+        soup = BeautifulSoup(html_content, "lxml")
+        title_tag = soup.find("title")
+        return title_tag.text.strip() if title_tag else None
+
+    def extract_links(self, html_content: str) -> list[str]:
+        """Sayfadaki tüm bağlantıları (a etiketlerini) çıkartır."""
+        if not html_content:
+            return []
+        soup = BeautifulSoup(html_content, "lxml")
+        links = []
+        for a_tag in soup.find_all("a", href=True):
+            links.append(a_tag["href"])
+        return links