Что такое robots.txt и для чего он нужен

Файл robots.txt размещается в корневой директории сайта и описывает исключения для поисковых ботов. Придерживающийся стандартов бот проверяет сначала url «/robots.txt», если файл существует, то бот анализирует его содержимое на предмет наличия запретов к посещению определённых частей сайта. Имя файла не должно содержать заглавных букв. Записи в файле разделяются одной или несколькими пустыми строками. Комментарии в файле robots.txt начинаются знаком “#” и заканчиваются окончанием строки (строки, содержащие только комментарии игнорируются ботами и не являются разделителями записей).

User-agent
Имя бота, к которому применяются правила исключений на сайте. Можно прописать несколько строк с User-agent, в этом случае правила, описанные в данной записи будут применяться указанными ботами. Для описывания правил ботам, для которых отдельная запись не составлена применяют следующий параметр: «*» (в файле robots.txt может быть только одна запись User-agent: *).

Disallow

В данном поле прописывается полный или частичный путь к месту на сайте, посещение которого запрещено для бота. В каждой записи должно присутствовать как минимум одно поле Disallow. Пустое поле Disallow подразумевает разрешение боту посещать все директории и файлы сайта. Не допускается использование в данном поле регулярных выражений и символов подстановки.

Примеры для http://site.ru/
(Показывает как можно сочетать директивы в файле robots.txt но не несущий смысловой нагрузки)

User-agent: Yandex
Disallow: /test/
Disallow: /print.html
# Запрещает ботам Яндекса посещать папку http://site.ru/test/
# и файл http://site.ru/print.htmlUser-agent: Aport
User-agent: Googlebot
Disallow: /temp/img/
# Запрещает посещение ботами Google и Апорт http://site.ru/temp/img/

User-agent: StackRambler
Disallow:
# Для бота поисковой системы Рамблер разрешено посещение всех
# страниц и папок сайта

User-Agent: *
Disallow: /lesson.php?action=test
# Запрещает посещение всеми ботами, для которых не сделана
#отдельная запись,
# динамических страниц, начинающихся с http://site.ru/lesson.php?action=test
# например: http://site.ru/lesson.php?action=test&id=13
# чувствительно к порядку переменных в ссылке

Некоторые поисковые системы поддерживают дополнительные поля в файле robots.txt. Яндексом поддерживается директива Host, служащая для назначения основного зеркала:

User-agent: Yandex

Disallow: /test/

Host: site.ru

# разрешено посещение всех страниц и папок на сайте, кроме http://site.ru/test/

# основным зеркалом назначено http://site.ru/

User-agent: *

Disallow:

# всем ботам, кроме бота Яндекса, разрешено посещение всех страниц и

# папок на сайте

Запретить сайт к индексации полностью можно с помощью такого файла robots.txt

User-agent: *
Disallow: /

Наиболее актуальные для Рунета, на мой взгляд, боты:

(думаю, даже расшифровывать не требуется)

YandexGooglebotStackRambler

AportРекомендации по запрету к индексацииЧто не следует указывать в файле robots.txt:

— папки с административными файлами

— файлы, о которых посторонним вообще знать не стоит

Прописывание путей к данным частям сайта может породить нездоровый интерес и попытки совершения зловредных действий, рады которым Вы уж точно не будете. К тому же есть и альтернативные способы запрета посещения и индексации ботами страниц.

Стоит запретить к индексации:

— документы «для печати»

— папки со скриптами

— папки с картинками (если у Вас не предвидится целевой аудитории с поиска по картинкам)

— сервисные страницы, такие как, например, страница с формой отправки письма администрации, схема проезда

Ошибки, допускаемые при составлении robots.txt

Как не надо делать:

Имя файла содержит заглавные буквы – Robots.txt или ROBOTS.TXT

Файл robots.txt размещается не в корневой директории

Пустая строка после поля User-agent

Отсутствие директивы Disallow

Использование в поле Disallow символов подстановки или регулярных выражений, например: «?», «*»

Больше одной строки «Disallow: *»

http://mastertalk.ru/topic6726.html

FAQ: С чего начать? Ответ здесь.

Итак, Вы сделали свой первый сайт, выложили его на всеобщее обозрение и сели в ожидании потока заинтересованных посетителей (чтобы им было ещё больше интересно – разместили десяток рекламных баннеров – надо же пиво за что-то попить). Спустя некоторое время Вы обнаруживаете, что сайт посещают из закладок Ваши знакомые (и те очень редко), которым Вы дали ссылку. Естественно, возникло желание данную ситуацию изменить. В конце-концов попали вы на данный форум…

Первое, что я рекомендую – почитайте форум http://mastertalk.ru или http://forum.searchengines.ru, потратьте на это хотя бы несколько дней.

Если всё-таки Вам лень читать форум, то хотя бы дочитайте данные рекомендации.

Что делать в первую очередь начинающему оптимизатору? Сначала нужно определиться с семантическим ядром сайта, для чего самому себе ответить на следующие вопросы:
— о чём Ваш сайт?
— что должен сделать посетитель на сайте (купить что-либо, заказать услугу, зарегистрироваться, воспользоваться сервисом, просто посетить несколько страниц)?
— какому посетителю это должно быть интересно (нарисуйте портрет его предполагаемых интересов)?
— какой бы Вы задали запрос в поисковой системе, если бы искали имеющуюся на Вашем сайте информацию (товар, услугу)?
После того, как определились с запросам идём в яндекс или рамблер (и та и другая работают со свойственными каждой отклонениями и погрешностями, нужны они для придания Вам направления дальнейшей работы). В этих сервисах подставляем в строку для анализа ответ на мой последний вопрос (для тех, кто забыл: «Какой бы Вы задали запрос в поисковой системе, если бы искали имеющуюся на Вашем сайте информацию (товар, услугу)?»)

Из полученной выдачи поисковых запросов выбираем те, которые, по вашему мнению, принесут Вам целевых посетителей (клиентов, покупателей, подписчиков и т.д.). Не стоит гнаться на первом же сайте за такими конкурентными запросами, как «знакомства», «работа», «реферат». На «кондиционеры», «холодильники» и «пластиковые окна», как мне кажется, вас и так не потянет.

Гораздо более эффективно сработает выборка по низкочастотным запросам. Выберите их в отдельный список и сохраните в файл (этот файл вам ещё не раз пригодится). В соответствии с данным списком определитесь со структурой сайта. Одну страницу сайта я рекомендую затачивать(оптимизировать) под 1-5 запросов (зависит от объёма страницы, не забывайте, человек с монитора успешно воспринимает 3000-3500 символов, дальше его внимание зачастую рассеивается). Далее в тексте данные слова и словосочетания (запросы) я буду называть ключами. Не заморачивайтесь с высчетом плотности слова на странице, помните, Вы не для поискового робота сайт пишете, а для людей (если посетитель зашёл один раз – неплохо, если он стал постоянным посетителем – гораздо, гораздо лучше).

Важными представляются следующие моменты:

1. Вхождение ключей в <TITLE> и мета-тег description. Первый будет иметь некоторое значения на место сайта в поисковой выдаче по данному запросу, из второго, с большой долей вероятности, сформируется сниппет (описание страницы). (mysilver: Значение Мега-description для большинства поисковиков никакой роли в данный момент не играют, но прописать их все равно стоит!)

2. В мета-теге keywords впишите ключи, которые использовали на странице (не на сайте вообще, а именно на той странице, для которой пишется тег). (mysilver: Эти значения для большинства поисковиков никакой роли в данный момент не играют, но прописать их все равно стоит!)

3. Используйте заголовки <H1> — <H6> на странице, при этом помня, что заголовок первого уровня описывает всю страницу в целом, второго – подпункты и так далее. Возьмите газету или журнал, посмотрите как там организованы заголовки и подзаголовки.

4. Включите ключи в текст страницы в разных падежах, словоформах и словосочетаниях, в наиболее важных местах выделите ключи тегом <STRONG>.

5. Предусмотрите интуитивно-понятную и удобную навигацию на сайте, не заставляйте посетителя задумываться над вопросами: «Где я нахожусь? Куда тут вообще кликать?» и т.п.

6. Составьте карту сайта, на ней поставьте ссылки на все страницы сайта. На карту сайта в свою очередь сошлитесь с главной страницы.

7. В корень сайта положите файл robots.txt следующего содержания (если ничего не хотите запрещать к индексации):

User-agent: Yandex
Disallow:
host: your_site.comUser-agent: *
Disallow:

8. Уникальность контента… Если весь контент честно спионерен с чужих сайтов – не будет у Вас счастья по многим причинам. Пишите свой, не можете писать – заказывайте. Если и сами не писатель, и денег на копирайтера нет – лучше забудьте о сайте, идите, например к дорвейщикам, там нужны другие таланты. Хотя и там придется работать, работать и ещё раз работать, так что – не обольщайтесь.

Сайт переделан, на нём уникальный контент (ну или большая часть контента), выложен на хостинг… Вот о хостинге ещё пару слов: скупой платит дважды. Не пожалейте денег на нормальный хостинг, ели прогнозируете долговременный проект, а не сайт-однодневку.

Поставьте на сайт счётчик статистики, мой выбор — LiveInternet.

Начинаем регистрацию в каталогах ссылок, белых каталогах, которые ставят прямую ссылку и не требуют обратной. Для этого мероприятия составьте список заголовков. Помните я о файле с ключами говорил? Вот он и пригодился, используйте ключи по 1-3 в данных заголовках (сочетания, словоформы…) не превышая общую длину 70 символов (очень распространённый стандарт в каталогах). Из них будут сформированы анкоры каталожных ссылок. Составьте описания для каталогов краткие – до 250 символов и детальные 500 – 1000 символов.

Я, обычно, исхожу из следующего принципа: на 100 каталогов 6-10 заголовков, 1-2 кратких описания. На весь проект 2-3 детальных описания. Для регистрации в каталогах использую программу AllSubmitter, которую купить можно здесь за 59 $ (имеется очень много вариантов оплаты). Базы каталогов там покупать я не рекомендую, очень много мусора.
Источник: http://mastertalk.ru/topic10519s0.html

Что такое партизанский маркетинг?

Что такое партизанский маркетинг?

Традиционная реклама с каждым днем дорожает, а эффективность ее снижается. Информационное пространство перенасыщено рекламной информацией. Стандартные каналы коммуникации (ТВ, Радио, Пресса) перегружены. Интенсивность рекламного шума с каждым растет, и скоро достигнет критической отметки, когда на рекламу просто перестанут обращать внимание. Уже сейчас потребители хорошо научились игнорировать рекламный шум. Выделиться из общей массы и привлечь внимание потребителей становится с каждым днем все сложнее и дороже. Единственная оставшаяся возможность донести до потребителя информацию — сделать ее яркой, эмоционально насыщенной, привлекательной. Потребителю должно быть интересно.

Партизанский маркетинг — это маркетинговые мероприятия, которые выходят за рамки общепринятых средств и способов рекламных коммуникаций и продвижения, позволяющие продать продукт, включив в работу мозги, а не тратя большие суммы денег на рекламу, заполняя газетные страницы и телевизионные экраны соблазнительными изображениями вашего товара. Суть метода в том, что компания, которая не располагает большими рекламными бюджетами, придумывает необычную маркетинговую акцию, тем самым, заставляя людей говорить о своем товаре или услуге.

Термин guerrilla marketing (партизанский маркетинг) ввел в оборот американский маркетолог Джей Левинсон, придумавший в 1951 году ковбоя Marlboro. Guerilla в переводе с испанского – «партизанская война». В 1983 Левинсон обобщил свой маркетинговый опыт в книжке «Готовься, целься, пли!» — в ней впервые и был упомянут guerrilla marketing.

«Guerrilla» в переводе с испанского — «партизанская война», впервые это слово вошло в обиход во время Пиренейской войны 1808-1814 годов, когда иррегулярная армия генерала Веллингтона одержала победу над Наполеоном. Наполеону вообще не везло на партизан, в России, например, он даже жаловался Кутузову, что, дескать, воюют они нечестно.

«Скрытый маркетинг» — это инструмент для нерекламного продвижения. В основе коммуникаций, выстраиваемых с помощью технологии сетевого маркетинга, лежит косвенное воздействие. Когда ваши знакомые делятся с вами мыслями о последнем фильме или рассказывают о функциях мобильного телефона, который планируют приобрести — это не реклама. Это обмен мнениями.. Целевая аудитория воспринимает сообщение как достоверное, а не рекламное.

Партизанский маркетинг – означает нестандартность, нетрадиционность, отказ от азбучных истин и повышенную гибкость, высокие результаты при ограниченных возможностях. В том то и состоит главная особенность партизанского маркетинга, что он, с одной стороны представляет собой логическую систему, а с другой – абсолютно неформален. В точности с базовым определением, заимствованным из военной терминологии, метод предполагает эффективные действия малыми силами с использованием приемов, не требующих большого количества людей и крупных инвестиций.
Guerrilla в маркетинге — это использование против мощного противника точечных ударов и диверсий, относительно недорогих, но очень эффективных.

Например, можно тратить деньги на рекламу своего ресторана традиционными методами. А можно, открывая каждую новую точку в новом районе, кормить бесплатными обедами местных парикмахеров в расчете на то, что они будут потчевать клиентов рассказами о новом чудесном заведении. Эта схема в свое время была с успехом использована небольшой компанией.

Хотя ПМ изначально позиционировался как инструмент для малого и среднего бизнеса, вынужденного партизанить из-за недостатка средств, сегодня, в условиях высокой конкуренции, эти методы используют и крупные компании — например, IBM, Microsoft, Volvo, Mercedes, Adobe, American Express, Procter & Gamble, Nissan.

Хрестоматийный пример партизанщины: Apple в тяжелое для себя время поставила по одному компьютеру в каждую калифорнийскую школу, убив тем самым двух зайцев: дети рассказали о новом компьютере родителям, и выросло целое поколение, влюбившееся в «Макинтоши».

В Интернет-сфере партизанский маркетинг проявляется, в первую очередь, в публикации на форумах и блогах положительных отзывов товарах и услугах. Выглядит это, впрочем, обычно топорно и неуклюже…

Основные принципы Партизанского маркетинга:

1.Ведение бизнеса в малом сегменте рынка, который вы можете защищать.

2.Главное условие – концентрация, выжить с малыми средствами, распыление – катастрофа.

3.Никогда не нужно вести себя как компания-лидер.

4.Вовлечение как можно большего числа работников в дело и быстрота принятия решений.

5.Готовность свернуть свои дела в любой момент.

6.Использование гибкости для занятия привлекательной ниши на новом рынке.

7.Основа успеха – локальный подход в маленькой нише для достижения превосходства.

По материалам re-port.ru, netdiver.ru, hiddenmarketing.ru, md-promotion.ru, guerrilla.ru

———
Источник: http://homeidea.ru/index.php?topic=640.0

Как создать свой сайт. Руководство по созданию сайта.

Как сделать сайт. Создание web сайта.
Перед тем, как создать свой сайт подумайте — о количестве людей, интересующихся данной темой, о количестве сайтов-конкурентов. Желательна ежедневная поддержка сайта в актуальном состоянии. Надо постоянно следить за своевременным обновлением ресурса и удалением с сайта посторонней, недостоверной или устаревшей информации.
С чего начать создание web сайта.
1. Рекомендую Вам вначале скачать и прочитать «Учебник HTML для начинающих» (Автор: Алленова Н.). Он написан очень доступно и понятно. При чтении обязательно делайте сами приведенные в нём примеры (для этого можете вначале использовать даже обыкновенный Блокнот, который есть на любом ПК), чтобы иметь представление о самых необходимых вещах: о тэгах, создании и форматировании текста, вставке картинок и изображений, создании фона и изменении цвета, создании гиперссылок и т.д. После нескольких сделанных Вами примеров, сохраните полученный файл, назвав его как угодно, но обязательно с расширением .html (например: index.html). Теперь, открыв Ваш сохраненный файл, посмотрите, что у Вас получилось (Ваш файл должен открыться в Вашем браузере — Internet Explorer). Затем откройте снова Ваш документ с помощью того-же блокнота и поэкспериментируйте дальше, читая учебник, не забывая сохранять почаще Ваш файл, при этом иногда просматривая его (что-же Вы сделали и что в нём изменилось). Поверьте — это совсем не трудно. Для создания своего первого самого простого сайта, HTML достаточно изучить всего несколько часов. Скачать — Учебник.

2. Далее Вам потребуется какой-нибудь HTML-редактор. Рекомендую Вам воспользоваться очень неплохим редактором «HTML-Reader Rus». В нем всё описание на русском языке, одновременно на экране Вы видите 2 окна (в одном окне Вы создаете страницы или их редактируете, во втором сразу просматриваете результат), если что-то сделали неправильно — нажимаете кнопку «Отмена» и всё возвращается к первоначальному виду. В панель редактора встроены все необходимые функции (вставка цвета, файлов, картинок, таблиц и много других), т.е. не надо каждый раз заглядывать в Учебник, чтобы посмотреть нужный код для какого-либо действия, за Вас это сделает Редактор, от Вас потребуется только нажать нужную кнопку. Вы сами разберетесь в его возможностях и настройках, прочитав раздел «Справка». Скачать — Редактор

3. Теперь поэкспериментируйте. Попробуйте сами вставить несколько картинок в разные места своей страницы, смените фон, цвет и размер текста, вставьте несколько несложных java-скриптов. Для этого загляните в Учебник и посмотрите Главу, как вставить изображение, сменить фон, текст и т.д., или воспользуйтесь HTML-редактором. Скрипты вставляйте внимательно, откройте страницу, скопируйте весь код скрипта, вставьте в свою страницу. Посмотрите, что у Вас получилось. Можете скачать ниже несколько простеньких готовых шаблонов сайтов, откройте любой из понравившихся в редакторе, поменяйте текст на свой, замените картинки и т.д. Вообщем, здесь всё зависит от Вашей фантазии, пробуйте, экспериментируйте, тем самым Вы научитесь и быстрее запомните самые необходимые команды HTML. Вообще с помощью готовых шаблонов сделать сайт проще всего. Можете скачать также несколько анимированных картинок, фонов страниц, java-скриптов, шаблонов сайтов. Скачать: Анимацию — Фоны — Скрипты — Шаблоны
Можете выбрать и приобрести готовые шаблоны сайтов, скрипты и многое другое для создания сайта у нас в разделе: Товары.

4. Далее, когда Вы научитесь самостоятельно делать страницы, можно приступить к более сложному изучению данной темы. Поэкпериментируйте с графикой, чтобы украсить свои страницы (или уже сделанный Вами, пусть небольшой, но всё-таки сайт). Можете скачать и прочитать о PHP, CGI, CSS, Javascript, SSI и т.д. у нас на странице: Учебники. Скорее всего Вам понадобится что-то из перечисленного.

Полезные советы по созданию web сайта.
Следите, чтобы Ваши страницы не были слишком большие по размеру, самый оптимальный размер не более 30Кб. Страницы с большим объёмом долго загружаются, посетитель может не дождаться полной загрузки страницы и просто её закрыть.
Избегайте крупных изображений и апплетов, они очень долго грузятся.
Пользователи не любят, когда страницу надо прокручивать слева направо — горизонтальная прокрутка (внизу).
Аккуратнее со скриптами. Не переполняйте ими свой сайт. Используйте их только по необходимости. Некоторые скрипты, например — открывающиеся новые окна, редирект (переадресация на другую страницу), максимизация окна (страница открывается на весь экран) и некоторые другие — могут раздражать посетителей и после этого они на Ваш сайт могут не зайти.
По возможности, старайтесь не использовать на сайте фреймы (окно или несколько окон внутри страницы), т.к. такие страницы более медленно индексируются поисковиками.
Некоторые не представляют себе дизайна без огромного количества картинок (или без Flash-заставок, что ещё хуже). Многие забывают главное правило дизайна — сделать так, чтобы пользователю было удобно. Если пользователю будет неудобно, если Ваша страница с Flash или множеством картинок загружается несколько минут, он просто закроет страницу, не дождавшись загрузки. И скорее всего уже не вернется на Ваш сайт — ведь сайтов в Интернете немало. Помните, что вэб-дизайн — это прежде всего правильная подача информации, он должен быть эффективным.
Если Вы хотите, чтобы Ваш сайт хорошо ранжировался поисковыми машинами, старайтесь меньше использовать Flash, несмотря на её «красоту». Тоже самое относится и к скриптам.
Не пишите ничего в статусной строке, посетителю хочется знать, куда он попадет после нажатия на ссылку.
Используйте CSS. Каскадные таблицы стилей могут достаточно сильно облегчить страницу, если их правильно использовать.

Управление индексацией сайта (файл Robots.txt)

Управление индексацией сайта всеми поисковыми системами возможно с помощью файла robots.txt, который лежит на сервере. Этот файл сообщает поисковым роботам (ботам), какие файлы они могут индексировать, а какие нет.

Файл robots.txt состоит из записей. Каждая запись состоит как минимум из двух строк: строки с названием клиентского приложения — User-agent, и одной или нескольких строк, начинающихся с директивы Disallow. Пустые строки в файле robots.txt являются значимыми, они разделяют записи, имеющие разные строки User-agent.

User-agent

Строка User-agent служит для указания названия бота. Например в следующей строке указано название поискового робота Google — «googlebot»:
User-agent: googlebot

Бот Яндекса — «Yandex»
Бот Рамблера — «StackRambler»
Бот Yahoo! — «Yahoo! Slurp»
Бот MSN — «msnbot»

Бот Яндекса — «Yandex»Бот Рамблера — «StackRambler»Бот Yahoo! — «Yahoo! Slurp»Бот MSN — «msnbot» Названия других роботов вы можете найти в логах Вашего сервера.

Если Вы хотите запретить индексацию файлов и/или папок всеми поисковыми системами, то Вы можете использовать символ подстановки «*»:
User-agent: *

Disallow

Вторая часть записи состоит из строк Disallow. Эти строки — директивы для данного робота (или для нескольких роботов). Они сообщают роботу какие файлы и/или папки запрещено индексировать.

Например следующая директива запрещает индексировать файл «image.htm», находящийся в корневой директории сайта:
Disallow: image.htm

Директива может содержать и название папки. Например следующая директива запрещает индексацию папки «image», которая находится в корневой директории сайта:

Директива может содержать и название папки. Например следующая директива запрещает индексацию папки «image», которая находится в корневой директории сайта:
Disallow: /image/

Следующая директива запретит ботам индексировать и файл «catalog.html», и папку «catalog»:

Следующая директива запретит ботам индексировать и файл «catalog.html», и папку «catalog»:
Disallow: /catalog

Если директива Disallow будет пустой, это значит, что робот может индексировать все файлы. Как минимум одна директива Disallow должна присутствовать для каждого поля User-agent, чтобы robots.txt был корректно воспринят поисковыми системами. Полностью пустой robots.txt означает то же самое, что и его отсутствие на сервере.

Если директива Disallow будет пустой, это значит, что робот может индексировать все файлы. Как минимум одна директива Disallow должна присутствовать для каждого поля User-agent, чтобы robots.txt был корректно воспринят поисковыми системами. Полностью пустой robots.txt означает то же самое, что и его отсутствие на сервере.

Примеры правильно составленных robots.txt

Всем поисковым системам разрешено полностью индексировать сайт:
User-agent: *
Disallow:

Индексация сайта запрещена всеми поисковыми системами:

Индексация сайта запрещена всеми поисковыми системами:
User-agent: *
Disallow: /

Запрет на индексацию папки «image» всеми поисковыми системами:

Запрет на индексацию папки «image» всеми поисковыми системами:
User-Agent: *
Disallow: /image/

Запрет на индексацию файла «image.htm» всеми поисковыми системами:

Запрет на индексацию файла «image.htm» всеми поисковыми системами: Disallow: image.htm

Запрет на индексацию файла «image.htm» и папки «cgi-bin» всеми поисковыми системами:

Запрет на индексацию файла «image.htm» и папки «cgi-bin» всеми поисковыми системами:
User-Agent: *
Disallow: /cgi-bin/
Disallow: image.htm

Запрет на индексацию файла «image.htm» для робота Google — «googlebot»:

Запрет на индексацию файла «image.htm» для робота Google — «googlebot»:
User-agent: googlebot
Disallow: download.htm

Комментарии

Любой текст от знака решетки “#” до конца строки считается комментарием и поисковыми ботами игнорируется. Пример:
# Yahoo! No index.
User-agent: Yahoo! Slurp
Disallow: /

Статья взята и немного изменена с:

http://web-blog.ru/2005/12/09/robots/

Всем привет!!!

Сегодня в великий праздник всех студентов произошло открытие мое блога.

Надеюсь для всех тут будет море полезной информации, которую

в дальнейшем Вы здесь увидите!!!