remover linha duplicada em arquivo

[Marcio de Araujo Benedito <chinabhz@yahoo.com.br>]

Tenho um arquivo texto que é resultado de uma consluta a um banco de
dados. Porém, este arquivo tem vários dados duplicados porquê os
registros estavam corrompidos, e preciso remover estes dados para
refazer a database. A estrutura do arquivo é a seguinte:

dado1
dado1
dado2
dado2
dado3
dado4
dado5
dado5

Como fazer para "limpar" este arquivo, eliminando as linhas repetidas???
Tentei com o sed, mas não vi na manpage dele uma sintaxe que fizesse
isso. O arquivo em questão tem umas 10000 linhas ...

--
	"Esta mensagem, incluindo seus anexos, não contém nenhuma 
	informação confidencial, pois se é para ser confidencial 
	não poderia ser transitada por e-mail em uma lista pública. 
	Portanto, se você não é o destinatário final da mensagem, não
	se preocupe! Além disso você pode fazer qualquer coisa com 
	esta mensagem, incluíndo esta sátira à notas de copyrights 
	ridiculas, que eu não estou nem aí!!!"