Re: [DUP] Squid Cache Squid deixa navegação mais lenta.
Obrigado pela ajuda ;)
Vou refazer minhas configurações e analisar com mais calma o que pode
está acontecendo, assim que descobrir postarei novamente.
Grato a todos.
On Nov 6, 2007 11:00 AM, marcellobm <marcellobm@gmail.com> wrote:
> Olá Ataliba,
> tive um problema parecido com o seu, e era a quantidade de filedescriptors que estava matando squid. Veja no cache.log se tem alguma mensagem que fale algo como: "[WARNING] Running out of filedescriptors".
>
> Quando dei um jeito nessa parte dos filedescriptors, tive uma excelente ajuda do Felipe Augusto van de Wiel, onde ele comenta algo sobre minha estrutura e sugere alguns links.
>
> > Olá pessoal,
> > Apesar de saber que a lista trata assuntos inerentes ao SO Debian,
> > se alguém puder ajudar será de grande valia.
> > Pois bem, estou usando o squid 2.6.STABLE16 num Debian Etch. Como
> > preciso fazer um grande cache num proxy transparente, resolvi baixar
> > o source do squid e compilar modificando a opção de max_filedescriptors.
> > Também recompilei o kernel com o mesmo intuito.
> > O cache está sendo guardado numa partição XFS, e noto que o tamanho
> > do diretório tem crescido normalmente.
>
> Se você quer velocidade, sugiro utilizar outro sistema de arquivos
> ou fazer "fine tuning" no XFS para obter melhor desempenho, especialmente
> com uma grande quantidade de arquivos pequenos.
>
> O hardware também pode influenciar, especialmente se você puder
> dispor de controladoras SCSI e discos independentes.
>
>
> > Minha dúvida surgiu enquanto estava verificando os logs, quando vi
> > no access.log um grande número de TCP_MISS para o método GET.
> > Vi no store.log uma grande número de "RELEASE -1 FFFFFFFF", ou seja,
> > o cache está sendo retirado o tempo todo da memória. Em contrapartida,
> > também no store.log, vejo um bom número de SWAPOUT, indicando que tem coisa
> > sendo gravada no disco.
> > Eu me perdi em algum conceito?? Está tudo certo? Tem coisa errada ou
> > que pode ser melhorada??
>
> Sim, há uma matemática para atingir um melhor desempenho do uso (e
> abuso) do seu cache, especialmente com relação ao hardware, sistema de
> arquivos, quantidade de RAM disponível, velocidade da rede, quantidade de
> usuário e perfil do que é acessado. O SquidFaq pode ser de grande ajuda
> nessas horas.
>
> Se você errou o dimensionamento do seu cache, o que você vai ver
> é um grande número de objetos sendo retirado dele e os objetos que precisam
> estar lá, não estarão, você vê TCP_HIT?
>
>
> > Segue parte das configurações (toda sugestão é bem vinda):
> > proxy:/var/log/squid# squid -v
> > Squid Cache: Version 2.6.STABLE16
> > configure options: '--prefix=/usr/local/squid' '--sysconfdir=/etc/squid' '--enable-storeio=aufs,coss,diskd,ufs' '--enable-poll' '--enable-delay-pools' '--enable-linux-netfilter' '--enable-htcp' '--enable-carp' '--with-pthreads' '--enable-underscores' '--enable-external' '--enable-arp-acl' '--with-maxfd=16384'
> >
> > ----
> >
> > proxy:/var/log/squid# cat /etc/squid/squid.conf
> > http_port ip_do_server:3128 transparent
> >
> > hierarchy_stoplist cgi-bin ?
> > acl QUERY urlpath_regex cgi-bin \?
> > cache deny QUERY
> > acl apache rep_header Server ^Apache
> > broken_vary_encoding allow apache
> >
> > access_log /var/log/squid/access.log squid
> > cache_store_log /var/log/squid/store.log
> > cache_log /var/log/squid/cache.log
> >
> > hosts_file /etc/hosts
> >
> > visible_hostname proxy-intelig.jetcom.com.br
> >
> > refresh_pattern ^ftp: 1440 20% 10080
> > refresh_pattern ^gopher: 1440 0% 1440
> > refresh_pattern . 0 20% 4320
>
> Há vários refresh_pattern que podem ajudá-lo a aumentar
> o número de objetos no cache e obter mais economia de banda.
>
>
> > acl all src 0.0.0.0/0.0.0.0
> > acl manager proto cache_object
> > acl localhost src 127.0.0.1/255.255.255.255
> > acl to_localhost dst 127.0.0.0/8
> >
> > acl purge method PURGE
> > acl CONNECT method CONNECT
> > http_access allow manager localhost
> > http_access deny manager
> > http_access allow purge localhost
> > http_access deny purge
> > #http_access deny !Safe_ports
> > #http_access deny CONNECT !SSL_ports
> >
> > http_access allow localhost
> > http_access deny all
> > http_reply_access allow all
> > icp_access allow all
> >
> > cache_effective_group proxy
> >
> > always_direct allow all
> >
> > cache_mem 1024 MB
> >
> > cache_swap_low 40
> > cache_swap_high 75
> >
> > maximum_object_size 32768 KB
> >
> > cache_dir diskd /var/spool/squid 12000 16 256 Q1=72 Q2=64
> >
> > ipcache_size 1024
> > ipcache_low 90
> > ipcache_high 95
> > fqdncache_size 1024
> >
> > cache_replacement_policy lru
> > memory_replacement_policy lru
>
> Sem detalhes de perfil e hardware fica difícil dizer se
> diskd foi a melhor escolha, embora eu ache o cache_mem um pouco
> grande demais para o seu caso, os valores padrão tendem a ser a
> melhor forma de começar, a partir daí, ajustes pausados, um por
> vez, podem direcionar a melhor forma de obter bons resultados.
>
> http://www.linux-faqs.com/squid.php
> http://www.isp-planet.com/equipment/squid_tune.html
> http://wiki.squid-cache.org/SquidFaq/SystemSpecificOptimizations
> http://wiki.squid-cache.org/SquidFaq/SquidMemory
> http://wiki.squid-cache.org/SquidFaq/DiskDaemon
> http://wiki.squid-cache.org/SquidFaq/CyclicObjectStorageSystem
>
>
> Abraço,
>
> On Tue, 6 Nov 2007 08:57:33 -0300
> "Ataliba Neto" <traquinopqd@gmail.com> wrote:
>
> > Pessoal,
> >
> > Instalei o Squid para fazer cache com finalidade de aumentar o
> > desempenho da rede, só que o tiro saiu pela culatra ;c)
> > O que acontece é que a navegação ficou extremamente lenta. A minha
> > configuração está logo abaixo.
> > Acredito que seja sobrecarga no DNS que as máquinas estão utilizando.
> >
> > ###############################################
> > ##
> > # Porta do SQUID padronizada para ser 3128
> > http_port 3128
> >
> > hierarchy_stoplist cgi-bin ?
> > acl QUERY urlpath_regex cgi-bin \?
> > no_cache deny QUERY
> >
> > ##
> > # Cache em memória, setado para 32 mb para obter um bom desempenho
> > # e não compremeter o desempenho do CDC.
> > cache_mem 32 MB
> > cache_swap_low 90
> > cache_swap_high 95
> >
> > ##
> > # Diretório onde ficará o cache e o tamanho setado.
> > # Coloquei o sistema de armazenamento para ufs (padrão do SQUI)
> > # E liberei 2GB de espaço.
> > cache_dir ufs /var/spool/squid 2048 16 256
> > hosts_file /etc/hosts
> >
> > ##
> > # Configuração do SQUID básica, regras, acl´s, etc.
> > refresh_pattern ^ftp: 1440 20% 10080
> > refresh_pattern ^gopher: 1440 0% 1440
> > refresh_pattern . 0 20% 4320
> >
> > acl all src 0.0.0.0/0.0.0.0
> > acl manager proto cache_object
> > acl localhost src 127.0.0.1/255.255.255.255
> > acl to_localhost dst 127.0.0.0/8
> > acl purge method PURGE
> > acl CONNECT method CONNECT
> >
> > http_access allow manager localhost
> > http_access deny manager
> > http_access allow purge localhost
> > http_access deny purge
> > http_access allow localhost
> > http_access allow all
> > http_reply_access allow all
> > icp_access allow all
> > coredump_dir /var/spool/squid
> > httpd_accel_host virtual
> > httpd_accel_port 80
> > httpd_accel_with_proxy on
> > httpd_accel_uses_host_header on
> > http_access allow all localhost manager
> > ###############################################
> >
> > Grato ;)
>
>
> --
> ------------------------------
> Marcello Barreto de Medeiros
> Network Admin/Programmer
> +55 84 3231 4617 [Office]
> +55 84 9914 3254 [Mobile]
> marcello@linconet.com.br [MSN]
> Linconet Brasil
> ------------------------------
>
--
Ataliba Neto.
"O que Deus faz nenhum software é capaz."
Reply to: