höjjettiki oxshash qurlarni öchürüsh(1)

sizde bir tékist höjjiti bar deyli, biraq oxshash qur bar bolup bu oxshash qurlardin peqet birni saqlap qilish shundaqla eslidiki höjjettiki qurlarning ornini özgertmeslikke éhtiyaj chüshkende qandaq qilish kérek?
eger qurning tertipide özgurush bolsimu boldu désingiz buni sort we uniq buyriqi bilen emelge ashurghili bolidu.
mesilen töwndiki buyruq bilen:
cat text_hojjiti | sort | uniq

eger qur tertipi özgersimu bolidu désingiz shundaqla hüjjetning chong kichikliki bek chong bolmisa yuqiriqi buyruq yaki oxshap kétidighan usulda bir terep qilghili bolidu . höjjetning chong kichikliki bir qanche gigabit bolsa yuqiriqi usulda kop waqit kétidu shundaqla kompiyotringizning seplémisige bolghan telepmu yuqiri bolidu .
höjjettiki herqaysi qurning tertipini saqlighan halda oxshash qurlarni chiqiriwétish uchun qandaq qilish kérek?
buning üchün awk ni ishlitip emelge ashurghili bolidu.yeni töwendikidek:
awk '!visited[$0]++' text_hojjiti > yegi_text_hojjiti

bu usul bilen bir qeder chong höjjettiki qaytilan’ghan qurlarnimu tézlikte bir terp qilighili bolidu. men bu arqiliq 50 gégabitliq höjjetni 20 minut ichide bir terep qildim. elwette bu sizining mulazimitiringizning seplimisi, shundaqila sizidiki höjjetning qurulmisi bilen munasiwetlik.
yuqarqini emelge ashurushning yene bir xil usili bolsa cat, sort we cut larni ishilitish usuli , bu usul toghrisida kiyiki yazmida toxtilimiz.

---