This commit is contained in:
Yuriy Yuriev
2026-05-18 22:21:08 +07:00
parent 04abde8a35
commit 6fe94f7ed9
+23 -22
View File
@@ -20,11 +20,10 @@ from services.socks5_to_http_proxy import Socks5ProxyPool
logger = logging.getLogger(__name__) logger = logging.getLogger(__name__)
def _get_proxy_locale(proxy_config: dict) -> str: def _get_proxy_locale_by_ip(ip: str) -> str:
"""Возвращает locale без script-тега для IP прокси (ru-Cyrl-RU → ru-RU).""" """Возвращает locale без script-тега для реального IP прокси (ru-Cyrl-RU → ru-RU)."""
try: try:
from camoufox.utils import get_geolocation from camoufox.utils import get_geolocation
ip = proxy_config.get("server", "").replace("http://", "").split(":")[0]
geo = get_geolocation(ip) geo = get_geolocation(ip)
lang = geo.locale.language lang = geo.locale.language
region = geo.locale.region region = geo.locale.region
@@ -80,9 +79,12 @@ class BrowserService:
if self.proxy_manager.has_proxies(): if self.proxy_manager.has_proxies():
proxy = await self.proxy_manager.acquire_proxy(timeout=30) proxy = await self.proxy_manager.acquire_proxy(timeout=30)
real_proxy_ip = None
if proxy and proxy.proxy_type in [ProxyType.SOCKS5, ProxyType.SOCKS4]: if proxy and proxy.proxy_type in [ProxyType.SOCKS5, ProxyType.SOCKS4]:
proxy_config = await self.socks5_pool.get_proxy_config(proxy) proxy_config = await self.socks5_pool.get_proxy_config(proxy)
use_socks5 = True use_socks5 = True
# Извлекаем реальный IP прокси до туннелирования
real_proxy_ip = proxy.id.split("://")[-1].split(":")[0]
logger.info(f"Using SOCKS5 tunnel for: {proxy.id}") logger.info(f"Using SOCKS5 tunnel for: {proxy.id}")
elif proxy: elif proxy:
proxy_config = proxy.proxy_config proxy_config = proxy.proxy_config
@@ -92,32 +94,31 @@ class BrowserService:
logger.info("Direct connection") logger.info("Direct connection")
if proxy_config: if proxy_config:
# Пробуем с geoip без ограничения OS — browserforge сам выберет совместимую # Для SOCKS5 camoufox видит 127.0.0.1 вместо реального IP —
# делаем geoip lookup сами по реальному IP и передаём locale явно
locale = _get_proxy_locale_by_ip(real_proxy_ip) if real_proxy_ip else None
kwargs = dict(
headless=True,
geoip=True,
humanize=True,
exclude_addons=[DefaultAddons.UBO],
proxy=proxy_config,
)
if locale:
kwargs["locale"] = locale
try: try:
async with AsyncCamoufox( async with AsyncCamoufox(**kwargs) as browser:
headless=True,
geoip=True,
humanize=True,
exclude_addons=[DefaultAddons.UBO],
proxy=proxy_config
) as browser:
result = await self._browse_page( result = await self._browse_page(
browser, url, browser, url,
proxy.id if proxy else "direct", proxy.id if proxy else "direct",
reading_time reading_time
) )
except ValueError: except ValueError:
# Если geoip не может подобрать комбинацию — явно задаём locale без script-тега # Финальный fallback — locale en-US гарантированно есть в базе
geo = _get_proxy_locale(proxy_config) logger.warning("geoip fingerprint failed, retrying with en-US locale")
logger.warning(f"geoip fingerprint failed, retrying with explicit locale: {geo}") kwargs["locale"] = "en-US"
async with AsyncCamoufox( async with AsyncCamoufox(**kwargs) as browser:
headless=True,
geoip=True,
humanize=True,
locale=geo,
exclude_addons=[DefaultAddons.UBO],
proxy=proxy_config
) as browser:
result = await self._browse_page( result = await self._browse_page(
browser, url, browser, url,
proxy.id if proxy else "direct", proxy.id if proxy else "direct",