/tech/ - Tech 2.0

Mode: Reply
Name
Subject
Message

Max message length: 4096

Opciones
Files
E-mail
Password

(used to delete files and postings)

Misc

Remember to follow the rules


Choroy 04/04/2024 (Thu) 04:58:48 753ba3 No. 12789
¿Se notará si se le hacen 10TB al mes de tráfico a una empresa grande tipo retail? Un cliente quería updatear cosas todos los días, y como los wnes no proveen api, el request suelto pesa del órden de los kb, y eso si logro cuajar todo en 1 core de intel xeon dentro de 24 horas pa chupetearme los gbps del ancho de banda
puta que funciona bien wget, al lado del router puedo llegar a consumir 360Mb/s, y con la red de aws de 0.6GB/s voy a volar ctm...
ahora me tengo que sacar de encima cloudflare https://ip-ranges.amazonaws.com/ip-ranges.json con la herramientita para buscar la ip real en aws, y quizá en azure tambien
para el que quiera jugar a buscar la aguja en los servers y los rangos de ip, tiene que armarse de paciencia. https://github.com/elefr3n/real_ip_discover/tree/master esta wea es bien precaria pero no tengo tiempo para mejorarlo, aunque no se que será mejor, si usar buscar/hacer un script para nmap, que haga la búsqueda una vez que se detecte el puerto 80/443 abierto, usar nslookup o usar la webada de herramientita esa
>>12789 >10 tb En mi pega manejamos un sitio de "alto perfil" y con cuea traficamos 1.8 TB en solo transferencia de AWS S3 un mes normal. Me imagino que para un retail de verdad 10 TB son un moco.
>>12794 Si, eso pensaba, porque totalizando, en 300 mil visitas tienen 6TB los wnes, así que 10TB no creo que les haga ni cosquillas
>>12795 Me acabo de percatar que no estaba usando la cabecera Accept-Encoding, de 10.2TB/mes usando "br, deflate;q=0.9;br=9" me baja a 1.76TB/mes al toke. Ahora si que si ctm, update diaria de 60GB :)
>>12789 Un colega se paleteó con un API del retail, de donde la sacó, no se, pero pude reducir los 60GB a una consulta de pocos kb, metiéndole muchos sku por petición. 300 mil elementos consultados en menos de 2 min. Me pregunto de donde será el API, porque revisamos varias versiones de la web del retail y no cargaba ninguna API. Era el típico script impreso desde el backend con la data junto a todo el HTML. El script original que tenían se demoraba días en formato sincrónico :/

Delete
Report