Форум о социальных сетях Поиск по форуму Инвестиции SMM обучение SMM курсы
Форум о социальных сетях Поиск по форуму Инвестиции SMM обучение SMM курсы
  • Страница 1 из 1
  • 1
Пишем парсер на PHP
#1
Воскресенье, 01.08.2010, 18:43
Chotkii
Проверенный
Сообщения: 193
Репутация: -84
Предлагаю написать простейший парсер (программу, которая будет извлекать контент с удаленного сайта и выводить на нашей странице). В качестве “жертвы” выберем новости от yandex.ru – нас интересует блок новостей “Главные новости” – от заголовка до разделительной линии (элемент <hr>). Заходим на сайт и анализируем HTML-код. Находим в нем уникальные строки, по которым мы определим – ОТ какого участка кода и ДО какого мы будем отбирать нужный нам контент.
Находим в коде такой текст: “<h2>Главные новости</h2>” – пусть это будет начало блока… и текст “<hr>” (тег разделительной линии), которым наш новостной блок заканчивается…
Итак, сформулируем нашу задачу:

Нам необходимо: получить содержимое (текст) страницы, находящейся по адресу “http://news.yandex.ru/”, затем “отрезать” от полученного текста все, что находится ДО текста “<h2>Главные новости</h2>“, и все, что находится ПОСЛЕ текста “<hr>”. Полученный текст вывести в браузер.
Приступаем к выполнению…

<?php
/* получаем содержимое нужной нам страницы в переменную $content (обратите внимание, – мы используем для этого функцию file_get_contents. Она может работать с удаленными URL только если в настройках PHP установлена опция allow_url_fopen) */
$content = file_get_contents(‘http://news.yandex.ru/’);

// Определяем позицию строки, до которой нужно все отрезать (используем функцию strpos()).
$pos = strpos($content, ‘<h2>Главные новости</h2>’);

/*Отрезаем все, что идет до нужной нам позиции (функция substr в данном случае принимает два параметра: строка для обработки и //номер позиции. Функция вернет строку, НАЧИНАЯ с указанной позиции) */
$content = substr($content, $pos);

// Точно таким же образом находим позицию второй строки
$pos = strpos($content, ‘<hr>’);

// Отрезаем нужное количество символов от нулевого
$content = substr($content, 0, $pos);

// выводим полученную строку.
echo $content;
?>

Однако, давайте посмотрим на ссылки… Как видно, в исходном коде применяются относительные ссылки, следовательно, работать они у нас не будут… Давайте исправим положение. Нам необходимо после каждого “href=” добавить URL Яndexа. Тоесть нужно найти “href=” и заменить на ‘href=”http://www.yandex.ru/yandsearch?’. Для этого воспользуемся функцией замены строк: str_replace(). Функция принимает три обязательных параметра: “что найти“, “чем заменить“, и в какой исходной строке.

Добавим в наш скрипт перед выводом (тоесть перед командой “echo”) такой код:

$content = str_replace(‘href=”/yandsearch?’, ‘target=”_blank” href=”http://www.yandex.ru/yandsearch?’, $content);

Теперь ссылки ведут на сайт Яндекса…

Итак, мы написали простейший ПАРСЕР (скрипт “граббинга” контента). Давайте еще раз посмотрим, какие PHP функции были задействованы в коде:
file_get_contents – Получить содержимое файла в виде одной строки
strpos – Возвращает позицию первого вхождения подстроки
substr – возвращает подстроку строки string длиной length , начинающегося с start символа по счету.
str_replace – Заменяет строку поиска на строку замены

Попробуйте написать парсер для какого либо новостного сайта сами…

Пост отредактировал Chotkii - Воскресенье, 01.08.2010, 18:56
Нажми на WWW получишь + в репу! + ставиться автоматически (javascript)
  • Страница 1 из 1
  • 1
Поиск:
Форум
Социальные сети
Хостинг от uCoz