Иногда большая разница между результатами в Google и Яндекс https://sitesseo.ru/bystro-proindeksirovat-straniczy-sajta-yandeks-i-gugl/ свидетельствует о наличии проблем с сайтом. Этот файл предназначен для того, чтобы указывать роботам ПС, какие разделы доступны для проверки, а какие - нет. Любой веб-ресурс состоит из содержательных и технических разделов. К последним относятся результаты поиска, системные файлы, личный кабинет, корзина и другие сведения, не представляющие пользы для посетителей или поисковика. Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата. Наличие дублей (например, страницы пагинации, фильтрации, сортировки и другие типы страниц, где дублируются мета-данные и контент);