El efecto del marketing online en nuestros servidores

Podcast de Redes de Eduardo Collado

Quizás lo normal sea que queramos que nuestras webs puedan llegar al máximo número posible de visitas dentro de nuestro target y para eso tenemso que tener en cuenta el efecto del marketing online en nuestros servidores

Es muy probable que queráis que vuestra web sea visitada lo máximo posible, pero por aquella gente a la que le puede interesar.

El interés en nuestro contenido es lo principal porque que tengamos muchas visitas de gente que no le interesa nuestro contenido pues a lo mejor no nos interesa tanto.

Al final cada visita tiene un coste para nosotros. Por visita es un coste muy pequeño, pero es un coste y no es lo mismo dimensionar un servicio web para 10 visitas que para 10.000 al día.

Y evidentemente no es lo mismo 10 visitas que cargan 10 elementos que 10 visitas que cargan 200 elementos. Hasta aquí estamos todos de acuerdo.

También es cierto que el contenido debe de tener un interés para que nos visite la gente.

Y también es cierto que nuestra web debe de funcionar, los enlaces tienen que apuntar a algún sitio, no tienen que estar rotos, hay que evitar bucles y cosas así.

¿Cómo sabemos si el contenido es interesante o no? pues es un trabajo que no todos podemos hacer y que requiere un conocimiento del sector del que se hable y un conocimiento de cómo decir las cosas.

Luego en las webs está el tema de que sea agradable a la vista y que esté bien organizada y por último hay un punto muy importante y es que la web esté montada sobre una infraestructura que la soporte sin problemas.

Hoy he estado viendo una web que tenía en total unos 500 accesos limpios al día, pero realmente tiene más de 30.000, obviamente los 29.500 que sobran el usuario no los tiene ni en mente.

Muchas veces es complicado explicar al dueño de una web que su web de 500 accesos tiene 30.000 y tiene 30.000 principalmente porque el propio usuario lo ha decidido sin saberlo.

¿Cuántas webs con 500 accesos puede gestionar un servidor?, pues exactamente 60 veces más que webs con 30.000 accesos.

El problema está en el momento en el que se dimensiona un servidor para unas peticiones y recibe 60 veces más, si al menos los usuarios fueran consciente de eso no pasaría nada.

El problema es que los usuarios muchas veces no son conscientes de ese problema.

Hoy estaba trabajando con unos servidores y me ha dado por mirar un log de una web concreta que me ha llamado la atención por otro tema que no tenía nada que ver, pero me ha permitido sacar información que creo que puede ser interesante.

Lo primero que sepáis es que se trataba de un WordPress y me ha llamado la atención que tenía 2000 peticiones del fichero xmlrpc.php, que es ese fichero que se usa para conectar al API de nuestro WordPress.

El xmlrpc.php se utiliza principalmente para los clientes de WordPress y para el plugin de Jetpack, y de estas dos cosas la mayoría usa el xmlrpc.php únicamente para el jetpack o directamente no lo usan.

Este en concreto no debería de usar el xmlrpc.php y esos 2000 accesos no eran otra cosa que intentos de acceso a ese wordpress.

Para evitar esto simplemente se puede bloquear en el .htaccess cualquier acceso que no venga desde la red de Automattic que es desde donde accede el Jetpack.

 order deny,allow deny from all allow from 192.0.64.0/18
A partir de este punto me he puesto a mirar y en un paso visual por el access.log me ha llamado la atención que casi todo el tráfico venía bing, de semrush y de una cosa llamado dotbot.
 
Bing
12182
DotBot
8114
Semrush
7393
xmlrpc
2000
Google
383
wp-cron
134
Qwant
69
Spider
17
Otros
501
Accesos por elemento
Después de mirar los logs hasta las 5 de la tarde he visto que de 30.793 accesos realmente sólo podrían llegar a ser útiles 501, los otros 30.292 eran tráfico no humano, cada visita humana o asimilada teníamos 60 visitas no humanas.
En este caso el usuario puede decir que tiene 500 accesos realizados y limpiando un poco esa información he llegado a la conclusión que la web hoy ha sido visitada por 12 personas distintas.
Así que 12 personas y 30.000 accesos, evidentemente aquí hay algo mal hecho.
Las visitas al xmlrpc.php ya os he dicho como evitarlas porque no deberían de estar ahí.
De Google 383 y eso es lo que google estaba indexando con su spider y el tráfico proveniente de Google, que teniendo en cuenta que es el más utilizado con mucho no está mal.
Qwant 69 accesos, otro buscador, está bien, una cosa normal.
Y ahora a ver si es necesario que bing nos haya generado 12.182 accesos, ¿no se le puede decir a Bing que vaya más lento o que no vaya?, pero bueno, al menos es un buscador.
Pero ahora llegamos a lo mejor 8.114 de DotCom que es crawler de Moz y 7.393 de Semrush. 
Tanto Moz como Semrush nos ofrecen un servicio para ver si tenemos algún enlace roto y cosas así, obviamente también dan una serie de herramientas al marketing online que nos pueden interesar más o menos, pero es que la mitad de todo es el SEO y el Marketing online, todo lo demás son todos los buscadores, los spiders, las visitas y nuestros problemas varios.
Así que la mitad del coste de la web, o del servidor se lo podemos imputar directamente al Marketing Online y teniendo en cuenta que hay unas 12 IPs que parecen buenas no se si compensa.
Ahora imaginad que tenemos un servidor pequeñito con 20 webs y de repente le ponemos los plugins del WordPress de Moz y de Semrush y empezamos a usar el servicio en las 20 webs, pues el gasto de recursos va a ser enorme y muy difícil de justificar.
Esto obviamente genera más gasto eléctrico, huella de carbono y si eso os da igual va a hacer que vuestro hosting sea más caro.
Si queréis que las webs os vayan bien y gastar menos controlar vuestro marketing online, controlar los enlaces rotos, pero no uséis servicios que os hacen miles y miles de peticiones innecesarias.