Re: [l-linux] Problemas con Squid
> Cada 4Gb de cache son _aproximadamente_ 256Mb de RAM para la tabla de
> objetos [1], por tanto 16Gb de cache _llenos_ son aproximadamente 1Gb de
> RAM para la tabla de objetos. Y eso no incluye otras cosas que tienen
> que estar en RAM, como por ejemplo... ¡los procesos Squid y sus sockets!
>
> Inicia tu proxy y monitorea el consumo de RAM, cuando se "ponga lento",
> seguramente verás que no hay RAM disponible y el sistema comienza a usar
> swap. Si haces swap en un proxy/cache, perdiste.
>
> Cuando _confirmes_ que ese es el problema, tienes dos soluciones:
> agregarle RAM a tu equipo o reducir el tamaño del cache. Con 400
> usuarios, 8Gb para área de caché son más que suficiente y solamente
> consumiran 512Mb de RAM.
>
> El resto de los comentarios que hizo José son muy válidos, sin embargo
> solamente aplican si tu problema NO es agotamiento de memoria sino I/O
> boundedness del procesamiento del working set del cache, que no creo sea
> tu problema.
>
Hola listeros, un saludos para todos los miembros ante todo y en especial
a: Ernesto Hernández Novich y José G. Dinuncio, bueno tratare de
explicarles en detalle como esta mi sistema, las cosas que he implementado
y mi punto de vista, para confrontar criterios con ustedes, como ya dije
en el 1er correo de este hilo, mi servidor en un DELL Power Edge 830, el
micro procesador es un Intel Pentium 4 a 3.0GHz, disco SCSI de 74Gb y 1Gb
de memoria RAM, cree una particion de 25Gb aparte solo para la cache del
squid, escogi como sistema de ficheros para esta partición Reiserfs (según
tengo entendido es mucjo mejor para leer grandes volumenes de información
donde hay muchas carpetas y muchos fichero generalmentemente no de gran
tamaño) En el squid.conf tengo declarada una cache de 15Gb, como dige
tengo alrededor de 400 usuarios, que se autentican en el proxy, pero
algunos tienen acceso solo a sitio *.cu y otros a internet, de ahi, que
tengo una gran cantidad de ACL, es es la verdad, pero dicho proxy lo tengo
instalado y con esa misma configuracion desde hace bastante tiempo ya yo
nunca habia tenido quejas de mi proxy, jamas habia tenido necesidad de
reiniciarlo ni si quiera una vez por que estuviera lento y porque se
quedara colgado el servicio, este tipo de situaciones las he presentado en
2 ocaciones que yo recuerde y han coincidido con que ha estado roto el
equipo de climatización, yo creia que por cada 4Gb de cache declarada
hacia falta 128Mb de RAM, tal vez tengo una cache un poco grande declarada
para solo 1G de RAM que tiene el servidor, pero la particion de la cache
en estos moemtos, solo esta al: 14%
ns:/etc/squid# df -h
S.ficheros Tamaño Usado Disp Uso% Montado en
/dev/sda3 16G 2,0G 14G 13% /
tmpfs 506M 0 506M 0% /lib/init/rw
udev 10M 92K 10M 1% /dev
tmpfs 506M 0 506M 0% /dev/shm
/dev/sda1 92M 20M 67M 24% /boot
/dev/sda6 28G 173M 26G 1% /home
/dev/sda5 24G 3,3G 21G 14% /var/spool/squid
Tengo instalado squid-cgi y desde una interfaz web, veo el trabajo de mi
cache y en estos momentos me dice que solo el 30% de las peticiones de los
usuarios de sirven desde la cache (HIT)
TOTALS
ICP : 0 Queries, 0 Hits ( 0%)
HTTP: 5343 Requests, 1618 Hits ( 30%)
Generated Wed, 24 Feb 2010 19:02:02 GMT, by
cachemgr.cgi/2.7.STABLE3@proxy.pri.jovenclub.cu
Si voy a ver el rendimiento del server,e cuanto a consumo de memoria y los
procesos en momentos de extrema lentitud de la navegación como este veo lo
suiguiente:
top - 14:04:06 up 2 days, 2:15, 1 user, load average: 0.00, 0.02, 0.00
Tasks: 81 total, 1 running, 80 sleeping, 0 stopped, 0 zombie
Cpu(s): 1.5%us, 0.2%sy, 0.0%ni, 97.3%id, 0.9%wa, 0.0%hi, 0.1%si,
0.0%st
Mem: 1035840k total, 986988k used, 48852k free, 134804k buffers
Swap: 979924k total, 200k used, 979724k free, 640024k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
15309 proxy 20 0 35300 32m 1820 S 34 3.2 0:59.93 squid
1 root 20 0 2100 724 624 S 0 0.1 0:01.96 init
2 root 15 -5 0 0 0 S 0 0.0 0:00.00 kthreadd
3 root RT -5 0 0 0 S 0 0.0 0:00.08 migration/0
4 root 15 -5 0 0 0 S 0 0.0 0:30.60 ksoftirqd/0
5 root RT -5 0 0 0 S 0 0.0 0:00.02 watchdog/0
6 root RT -5 0 0 0 S 0 0.0 0:00.00 migration/1
7 root 15 -5 0 0 0 S 0 0.0 0:15.50 ksoftirqd/1
8 root RT -5 0 0 0 S 0 0.0 0:00.00 watchdog/1
9 root 15 -5 0 0 0 S 0 0.0 0:05.84 events/0
10 root 15 -5 0 0 0 S 0 0.0 0:18.08 events/1
11 root 15 -5 0 0 0 S 0 0.0 0:00.00 khelper
44 root 15 -5 0 0 0 S 0 0.0 0:00.32 kblockd/0
45 root 15 -5 0 0 0 S 0 0.0 0:00.00 kblockd/1
47 root 15 -5 0 0 0 S 0 0.0 0:00.00 kacpid
48 root 15 -5 0 0 0 S 0 0.0 0:00.00 kacpi_notify
124 root 15 -5 0 0 0 S 0 0.0 0:00.00 kseriod
164 root 20 0 0 0 0 S 0 0.0 0:00.00 pdflush
165 root 20 0 0 0 0 S 0 0.0 0:31.54 pdflush
166 root 15 -5 0 0 0 S 0 0.0 0:00.64 kswapd0
167 root 15 -5 0 0 0 S 0 0.0 0:00.00 aio/0
El proceso squid esta a la cabeza entre los que mas memoria esta
demandando, pero el servidor aun tiene 48Mb libres y apenas esta usando
Swap, solo 200Kb y en ocasiones me reporta menos uso de la Swap y la
lentitud se mentiene, si reinicio el servicio la navegacion sale rapida,
al menos en aquello sitos a los que mi proxy le puede llegar por directo
sin tener que reenviarle las solicitudes al proxy padre (que como ya dije
tiene sus problemas) la unica via que tengo para acceder a internet es
através del proxy padre, ya que no existe otra, no hay otro proxy por
donde me vayan a dar acceso, por lo que no puedo declarar proxy hermanos,
ni nada de eso, pero de todos modos, eso no resolveria mi problema, ya que
veo claramente que independientemente de los problemas que tiene mi ISP
con el ancho de banda y los problemas que esta presentando el proxy de
ellos, yo veo que el mio tambien tiene problemas, ya que se demora en
gestionar el acceso a sitios dentro de nuestra red nacional cuyas
peticiones, mi proxy no las reenvia a mi ISP, ya que las resuelve por DNS
y tambien lo hace lento a no ser cuando reinicio el squid, cuando lo
reinicio salen rápido por un tiempo x y luego vuelve a lo mismo... El
cache_mem e el squid.conf lo tenia en 8 MB, he probado ponerlo en 16 y
hasta 32, pero no veo diferencia, asi que lo retorne a 8 MB que creo es el
valor por default.
Los log del sistema, no los tengo en una particion aparte, pero tengo
configurado squid para que los rote diariamente y todas las mañana saco el
log del dia anterior del server y lo pongo en otro lugar, de modo que los
log no crecen mucho, sobre monitorear el squid, uso cachemgr aunque no
entiendo muchas de las estadisticas que da, solo me fijo en el: Cache
Client List para observar la proporción de HIT contra MISS y bueno la
parte de los Delay Pools (cuando los tuve puestos para frenar un poco las
descargas) actualmente los tengo desactivados, ya que creo que daba la
situacion actual el proxy se me hace mas lento cuando activo los delay
Pools y bueno, el squid que tengo es el que viene con Lenny, no lo
compile, lo uso asi mismo, no habia quejado de el hasta ahora, bueno no se
que mas decir, me me sugieren que haga después de las explicaciones que he
dado, que tengo mal o que puedo mejorar o que cosa nueva puedo hacer? Oh!
me reafirman que el aumento del calor en el local es inversamente
proporcional al buen funcionamiento de mi servidor proxy? En estos dias
tambien tuve que quitar el Openfire de otro servidor ya que siempre se me
colgaba, por consumir toda la memoria, lo sustitui por ejabberd y hasta
ahora no lo he lamentado.
Bueno gracias a todos.
_______________________________________
Eduardo R. Barrera Pérez
Administrador Nodo Jovenclub
Pinar del Río
Web-Site: http://www.pri.jovenclub.cu
Email: ebarrera@pri.jovenclub.cu
Jabber: ebarrera@softwarelibre.cu
ebarrera@jabber.pri.jovenclub.cu
Phone: 0148-755805
_
___| |__ __ _ _ __ _ __ ___ _ __ __ _
/ _ \ '_ \ / _` | '__| '__/ _ \ '__/ _` |
| __/ |_) | (_| | | | | | __/ | | (_| |
\___|_.__/ \__,_|_| |_| \___|_| \__,_|
Reply to: