Zatěžování serveru - roboti světových vyhledávačů

Vojtěch
15. úno 2017 10:45 #130210
Zdravím Vás,
na webu co spouštíme dochází k zahlcení serveru dotazy světových vyhledávačů (odpovídají tomu IP)
Osobně si myslím, že se snaží zaindexovat web a server jim nedá potřebný čas, kvůli množství produktů. Ale to je jen můj amatérský pohled.

VirtueMart 3.0.18
Joomla! 3.6.5
web má přes 10000 produktů

Server dává hlášku execution time za včerejšek, 98 kousků
např.:
[Tue Feb 14 00:50:15.095549 2017] [:error] [pid 31264] [client 141.8.142.21:63847] PHP Fatal error: Maximum execution time of 90 seconds exceeded in /data/cz/korelis/www/libraries/joomla/database/driver.php on line 1974
[Tue Feb 14 00:50:19.855828 2017] [:error] [pid 31403] [client 141.8.142.21:36099] PHP Fatal error: Maximum execution time of 90 seconds exceeded in /data/cz/korelis/www/libraries/joomla/database/driver.php on line 1997
[Tue Feb 14 00:53:26.737517 2017] [:error] [pid 31584] [client 180.76.15.17:36512] PHP Fatal error: Maximum execution time of 90 seconds exceeded in /data/cz/korelis/www/libraries/joomla/database/driver.php on line 2050

Správce serveru řeší, že tam má několik úloh, které zabírají i přes 50% výkonu a pak ještě podobně SQL dotazy, nebo tak nějak se vyjádřil.
32116 4107 1 25 0 492M 89392K select 0 1:05 9.77% httpd
31910 4107 1 25 0 492M 88780K select 0 1:12 9.28% httpd
32677 4107 1 25 0 492M 88836K select 0 0:37 9.28% httpd
31978 4107 1 25 0 492M 88784K select 0 1:07 8.98% httpd

Nevím jestli to má souvislost, ale ještě v adresáři cache/com_virtuemart_cats se objevují tyto soubory:
e6483bd0ee48f809ca105a959303db74-cache-com_virtuemart_cats-cd906f69f818edc347612e96156d0f27.php
s obsahem:
<?php die("Access Denied"); ?>#x#a:2:{s:6:"output";s:0:"";s:6:"result";a:0:{}}

Nenapadá Vás někdo co se s tím dá dělat a co to znamená?

Pro možnost přispívání do fóra je nutné: Přihlásit se nebo Vytvořit účet.

Odpověď od Cony
15. úno 2017 11:51 #130212
Prvně zjistit, proč ten skript běží tak dlouho. Vždy běží ta konkrétní adresa takto dlouho, nebo je to jen důsledek aktuální zátěže serveru. Pokud vždy běží dlouho, je to nějaká chyba. Pokud jen v důsledku zátěže, začít zjišťovat co server zatěžuje. Pokud opravdu roboti, můžete jim omezit přístupy pomocí robots.txt, Google web developer tools apod. Spíš to ale asi bude nějaká špatná konfigurace, nebo kombinace parametrů. Nemám zkušenosti s VM a 10k produktů, ale okolo 3k ještě funguje dobře.

Pro možnost přispívání do fóra je nutné: Přihlásit se nebo Vytvořit účet.

Odpověď od Vojtěch
15. úno 2017 12:33 #130213
Je zřejmě vždy. Dá se nějak zjistit, v čem je chyba?
Je tady někdo kdo by byl schopný to vyřešit?

Pro možnost přispívání do fóra je nutné: Přihlásit se nebo Vytvořit účet.

Odpověď od Vojtěch
17. úno 2017 14:48 #130230
Vyřešeno.

Stačilo zapnout hlášení chyb v globálním nastavení - nastavení serveru a odladit chyby.

Zjistil jsem že tam mám pár nedoladěných věcí. Zakoupená šablona odkazovala na vypnutou položku v menu, kterou jsem já nepotřeboval, ale vyhledávače ji chtěly zobrazit.

Díky za rady.

Pro možnost přispívání do fóra je nutné: Přihlásit se nebo Vytvořit účet.