Что такое llms.txt?

Это предложенный стандарт: Markdown-файл, который размещается в корневой директории сайта (/llms.txt) и призван помочь большим языковым моделям лучше ориентироваться в содержимом сайта. Идея в том, что ИИ-системы сталкиваются с ограничением размера контекстного окна и не могут обработать сайт целиком — а сложные HTML-страницы с рекламой, навигацией и скриптами сложно преобразовать в удобочитаемый для модели формат. llms-txt.

Стандарт предложил Джереми Ховард в сентябре 2024 года. Файл позиционируется как аналог robots.txt, но для ИИ: не просто запрещает или разрешает доступ, а объясняет, какой контент важен и как его интерпретировать. 

По сути, если robots.txt говорит «что можно посещать», а sitemap.xml — «что существует», то llms.txt должен объяснять «что важно и почему».

Почему его продают?

Здесь начинается маркетинг. Возникло целое направление «AI-SEO» (или GEO — Generative Engine Optimization), в рамках которого специалисты предлагают внедрение llms.txt как важную услугу оптимизации сайта для нейросетей. 

Проблема в том, что реальная польза сомнительна:

• Ни OpenAI, ни Google, ни Anthropic, официально не подтвердили поддержку этого стандарта.
• По данным специалистов Ahrefs, ни один из крупных ИИ-сервисов не заявил об использовании llms.txt, а в серверных логах видно, что они даже не запрашивают этот файл. Это сравнивают с мета-тегом keywords — сайт заявляет о себе что-то, но никто этому не следует. 
• Представитель Google Джон Мюллер фактически высмеял инициативу, назвав её «keywords meta tag V2». 

Стоит ли его добавлять?

Создать llms.txt технически тривиально, если у вас уже есть структурированный контент. Это простой Markdown-файл на вашем же сайте. Явной пользы может и не быть, но и рисков тоже нет — если крупные ИИ всё же начнут его поддерживать, ранние внедрившие получат небольшое преимущество.

Короткий вывод: файл интересный как концепция, но сейчас это скорее маркетинговый тренд, чем реально работающий инструмент. Покупать его создание как дорогостоящую услугу точно не стоит — это несложный текстовый файл.