[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: Dúvida Squid

Bom dia Felipe,
	antes de mais nada gostaria de agradecer seus apontamentos.
	Com relação ao sistema de arquivos escolhi o XFS pelo desempenho dele, pois fiz alguns testes e mesmo sem fazer tunning nele, este se apresentou como mais rápido quando se tratava de arquivos pequenos.
	Como não usei muito o squid, andei lendo o wiki deles, acreditei que o diskd se encaixava melhor no meu cenário, que é um provedor de internet com aproximadamente 1600 clientes, e um link de 10Mb, onde o backbone local (EMBRATEL) afirma não ter mais disponibilidade de link para ampliação.
	Passando a comentar melhor o Hardware, eu tenho um HP ProLiant DL380 G5:

http://h10010.www1.hp.com/wwpc/us/en/sm/WF06a/15351-15351-3328412-241644-241475-1121516.html

		* Processador: Intel(R) Xeon(R) CPU X5355  @ 2.66GHz - QuadCore 
		  FSB: 1333MHz
                  capabilities: fpu fpu_exception wp vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts
 acpi mmx fxsr sse sse2 ss ht tm pbe x86-64 constant_tsc pni monitor ds_cpl vmx est tm2 cx16 xtpr lahf_lm

		* Memória: 4 GB Synchronous 667 MHz

		* HD: 4 discos SAS
		 hdparm -tT /dev/cciss/c0d0
  		  /dev/cciss/c0d0:
		   Timing cached reads:   6720 MB in  2.00 seconds = 3362.14 MB/sec
		   Timing buffered disk reads:  256 MB in  3.01 seconds =  84.93 MB/sec

		Apesar de ter um Array controller, estou usando os discos separadamente, e somente depois penso em testar usando RAID 5 ou RAID 0, para ver se consigo um ganho dado pela controladora.

	Como falei, ainda não estou completamente familiarizado com o Squid, então as opções como refresh_patterns deixei o padrão. Estou tendo TCP_HIT sim, e está em torno de 16%.
	Com relação ao cache_mem, pensei em colocar um valor alto para tentar deixar o máximo de cache na memória, ganhando performance.

	Alguma sugestão, dada a configuração acima?

	E mais uma vez, obrigado pelas dicas, e pelos sites indicados.

On Tue, 16 Oct 2007 00:47:29 -0200
"Felipe Augusto van de Wiel (faw)" <faw@funlabs.org> wrote:

> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA1
> 
> On 13-10-2007 04:02, Marcello Barreto de Medeiros wrote:
> > Olá pessoal,
> > 	Apesar de saber que a lista trata assuntos inerentes ao SO Debian, 
> > se alguém puder ajudar será de grande valia.
> > 	Pois bem, estou usando o squid 2.6.STABLE16 num Debian Etch. Como 
> > preciso fazer um grande cache num proxy transparente, resolvi baixar
> > o source do squid e compilar modificando a opção de max_filedescriptors.
> > Também recompilei o kernel com o mesmo intuito.
> > 	O cache está sendo guardado numa partição XFS, e noto que o tamanho 
> > do diretório tem crescido normalmente.
> 
> 	Se você quer velocidade, sugiro utilizar outro sistema de arquivos
> ou fazer "fine tuning" no XFS para obter melhor desempenho, especialmente
> com uma grande quantidade de arquivos pequenos.
> 
> 	O hardware também pode influenciar, especialmente se você puder
> dispor de controladoras SCSI e discos independentes.
> 
> 
> > 	Minha dúvida surgiu enquanto estava verificando os logs, quando vi 
> > no access.log um grande número de TCP_MISS para o método GET.
> > 	Vi no store.log uma grande número de "RELEASE -1 FFFFFFFF", ou seja,
> > o cache está sendo retirado o tempo todo da memória. Em contrapartida,
> > também no store.log, vejo um bom número de SWAPOUT, indicando que tem coisa
> > sendo gravada no disco.
> > 	Eu me perdi em algum conceito?? Está tudo certo? Tem coisa errada ou 
> > que pode ser melhorada??
> 
> 	Sim, há uma matemática para atingir um melhor desempenho do uso (e
> abuso) do seu cache, especialmente com relação ao hardware, sistema de
> arquivos, quantidade de RAM disponível, velocidade da rede, quantidade de
> usuário e perfil do que é acessado. O SquidFaq pode ser de grande ajuda
> nessas horas.
> 
> 	Se você errou o dimensionamento do seu cache, o que você vai ver
> é um grande número de objetos sendo retirado dele e os objetos que precisam
> estar lá, não estarão, você vê TCP_HIT?
> 
> 
> > 	Segue parte das configurações (toda sugestão é bem vinda):
> > proxy:/var/log/squid# squid -v
> > Squid Cache: Version 2.6.STABLE16
> > configure options:  '--prefix=/usr/local/squid' '--sysconfdir=/etc/squid' '--enable-storeio=aufs,coss,diskd,ufs' '--enable-poll' '--enable-delay-pools' '--enable-linux-netfilter' '--enable-htcp' '--enable-carp' '--with-pthreads' '--enable-underscores' '--enable-external' '--enable-arp-acl' '--with-maxfd=16384'
> > 
> > ----
> > 
> > proxy:/var/log/squid# cat /etc/squid/squid.conf
> > http_port ip_do_server:3128 transparent
> > 
> > hierarchy_stoplist cgi-bin ?
> > acl QUERY urlpath_regex cgi-bin \?
> > cache deny QUERY
> > acl apache rep_header Server ^Apache
> > broken_vary_encoding allow apache
> > 
> > access_log /var/log/squid/access.log squid
> > cache_store_log /var/log/squid/store.log 
> > cache_log /var/log/squid/cache.log
> > 
> > hosts_file /etc/hosts
> > 
> > visible_hostname proxy-intelig.jetcom.com.br
> > 
> > refresh_pattern ^ftp:           1440    20%     10080
> > refresh_pattern ^gopher:        1440    0%      1440
> > refresh_pattern .               0       20%     4320
> 
> 	Há vários refresh_pattern que podem ajudá-lo a aumentar
> o número de objetos no cache e obter mais economia de banda.
> 
> 
> > acl all src 0.0.0.0/0.0.0.0
> > acl manager proto cache_object
> > acl localhost src 127.0.0.1/255.255.255.255
> > acl to_localhost dst 127.0.0.0/8
> > 
> > acl purge method PURGE
> > acl CONNECT method CONNECT
> > http_access allow manager localhost
> > http_access deny manager
> > http_access allow purge localhost
> > http_access deny purge
> > #http_access deny !Safe_ports
> > #http_access deny CONNECT !SSL_ports
> > 
> > http_access allow localhost
> > http_access deny all
> > http_reply_access allow all
> > icp_access allow all
> > 
> > cache_effective_group proxy
> > 
> > always_direct allow all
> > 
> > cache_mem 1024 MB
> > 
> > cache_swap_low 40
> > cache_swap_high 75
> > 
> > maximum_object_size 32768 KB
> > 
> > cache_dir diskd /var/spool/squid 12000 16 256 Q1=72 Q2=64
> > 
> > ipcache_size 1024
> > ipcache_low 90
> > ipcache_high 95
> > fqdncache_size 1024
> > 
> > cache_replacement_policy lru
> > memory_replacement_policy lru
> 
> 	Sem detalhes de perfil e hardware fica difícil dizer se
> diskd foi a melhor escolha, embora eu ache o cache_mem um pouco
> grande demais para o seu caso, os valores padrão tendem a ser a
> melhor forma de começar, a partir daí, ajustes pausados, um por
> vez, podem direcionar a melhor forma de obter bons resultados.
> 
> http://www.linux-faqs.com/squid.php
> http://www.isp-planet.com/equipment/squid_tune.html
> http://wiki.squid-cache.org/SquidFaq/SystemSpecificOptimizations
> http://wiki.squid-cache.org/SquidFaq/SquidMemory
> http://wiki.squid-cache.org/SquidFaq/DiskDaemon
> http://wiki.squid-cache.org/SquidFaq/CyclicObjectStorageSystem
> 
> 
> 	Abraço,
> - --
> Felipe Augusto van de Wiel (faw)
> "Debian. Freedom to code. Code to freedom!"
> -----BEGIN PGP SIGNATURE-----
> Version: GnuPG v1.4.6 (GNU/Linux)
> Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org
> 
> iD8DBQFHFCZBCjAO0JDlykYRAogjAJ0RK0+GLtZvf69ti1t7BCHZaWY4rQCeKBOG
> gfnZnwbaNUuElqv94y0yev8=
> =eUQ8
> -----END PGP SIGNATURE-----
> 
> 


-- 
------------------------------
Marcello Barreto de Medeiros
  Network Admin/Programmer
  +55 84 3231 4617 [Office]
  +55 84 9914 3254 [Mobile]
marcello@linconet.com.br [MSN]
      Linconet Brasil
------------------------------
Reply to: