[Русский] Debian Almquist Shell (dash) uniq Использование: Удаление дубликатов строк

Обзор

Команда uniq используется для удаления дублирующихся строк из отсортированного файла или потока данных. Она выводит только уникальные строки, что может быть полезно для обработки текстовых данных.

Использование

Базовый синтаксис команды выглядит следующим образом:

uniq [опции] [аргументы]

Общие опции

• -c: Предваряет каждую уникальную строку количеством её вхождений.
• -d: Выводит только дублирующиеся строки.
• -u: Выводит только уникальные строки, которые не имеют дубликатов.
• -i: Игнорирует регистр при сравнении строк.

Общие примеры

1. Удаление дубликатов из файла:

   uniq input.txt output.txt
   

2. Подсчет количества вхождений каждой уникальной строки:

   uniq -c input.txt
   

3. Вывод только дублирующихся строк:

   uniq -d input.txt
   

4. Вывод уникальных строк, игнорируя регистр:

   uniq -i input.txt
   

Советы

• Перед использованием uniq убедитесь, что файл отсортирован, так как команда работает только с соседними дубликатами.
• Используйте sort в комбинации с uniq для обработки неотсортированных данных:

  sort input.txt | uniq
  

• Для больших файлов рассмотрите возможность использования uniq с опцией -w, чтобы игнорировать определенное количество начальных символов при сравнении строк.