Тема: Авариите на чез. (Прочетена 36956 пъти)

4096bits · « **Отговор #60 -:** Feb 22, 2020, 22:59 »

Ами казах ти да сложиш твоя път до chromedriver. Не да използваш моя.
Нали си го пъхнал в /usr/bin/

jet · « **Отговор #61 -:** Feb 23, 2020, 00:11 »

На оная работа път ли и викате вече

4096bits · « **Отговор #62 -:** Feb 23, 2020, 00:48 »

Така се получава

supportpc · « **Отговор #63 -:** Feb 24, 2020, 09:24 »

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('log-level=3')
options.add_experimental_option('excludeSwitches', ['enable-logging'])

chromedriver='/usr/bin/chromedriver'

driver = webdriver.Chrome(chromedriver,
options=options)

driver.get('http://www.cez.bg/bg/e-uslugi/avarii-remonti.html')
driver.switch_to.frame(driver.find_elements_by_tag_name('iframe')[0])
driver.find_element_by_id('searchField').send_keys('Перник')

for element in driver.find_elements_by_class_name('ui-btn'):
# print(element.text)
if element.text.startswith('Перник'.upper()):
element.click()

status = driver.find_element_by_class_name('ui-body').text
print(status)

Сега това дава
Traceback (most recent call last):
File "chez.py", line 13, in <module>
options=options)
TypeError: __init__() got an unexpected keyword argument 'options'

4096bits · « **Отговор #64 -:** Feb 24, 2020, 15:02 »

Пробвай, да промениш този ред

Код:

driver = webdriver.Chrome(chromedriver,
                          options=options)

така:

Код:

driver = webdriver.Chrome(chromedriver,
                          chrome_options=options)

Ако аз използвам второто, ми излиза съобщение, че chrome_options е deprecated. Може да си инсталирал по-стара версия на Selenium.

supportpc · « **Отговор #65 -:** Mar 02, 2020, 14:59 »

не става нещо
#!/usr/bin/env python3

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('log-level=3')
options.add_experimental_option('excludeSwitches', ['enable-logging'])

chromedriver='/usr/bin/chromedriver'

driver = webdriver.Chrome(chromedriver,
chrome_options=options)

driver.get('http://www.cez.bg/bg/e-uslugi/avarii-remonti.html')
driver.switch_to.frame(driver.find_elements_by_tag_name('iframe')[0])
driver.find_element_by_id('searchField').send_keys('Перник')

for element in driver.find_elements_by_class_name('ui-btn'):
# print(element.text)
if element.text.startswith('Перник'.upper()):
element.click()

status = driver.find_element_by_class_name('ui-body').text
print(status)

тово е грешката
Traceback (most recent call last):
File "./chez.py", line 14, in <module>
chrome_options=options)
File "/usr/local/lib/python3.5/dist-packages/selenium/webdriver/chrome/webdriver.py", line 81, in __init__
desired_capabilities=desired_capabilities)
File "/usr/local/lib/python3.5/dist-packages/selenium/webdriver/remote/webdriver.py", line 157, in __init__
self.start_session(capabilities, browser_profile)
File "/usr/local/lib/python3.5/dist-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session
response = self.execute(Command.NEW_SESSION, parameters)
File "/usr/local/lib/python3.5/dist-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
self.error_handler.check_response(response)
File "/usr/local/lib/python3.5/dist-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally
(unknown error: DevToolsActivePort file doesn't exist)
(The process started from chrome location /usr/bin/chromium is no longer running, so ChromeDriver is assuming that Chrome has crashed.)
(Driver info: chromedriver=73.0.3683.75,platform=Linux 4.9.0-12-amd64 x86_64)

remotexx · « **Отговор #66 -:** Mar 02, 2020, 16:29 »

Не че съм експерт по питони, смоци и т.п. ама ето какво ми изплю търсачката за тази грешка -
(unknown error: DevToolsActivePort file doesn't exist)

Код

GeSHi (Python):
chromeOptions.add_argument("--remote-debugging-port=9222")

А в отговора има и др. пожелателни опции

https://stackoverflow.com/questions/56637973/how-to-fix-selenium-devtoolsactiveport-file-doesnt-exist-exception-in-python

go_fire · « **Отговор #67 -:** Nov 19, 2020, 10:38 »

Днес се присетих за тази тема и по-точно за Selenum. И се сетих, че преди година време чух за поредната му алтернатива. Казва се Cypress – https://www.cypress.io/.

Тогава пича, който я препоръча, каза:

Цитат

Има изключително много възможности за тестване, само че не става за тестване на SalesForce. За всичко друго е супер и много по добре от Selenium според мене.

Сигурен съм, че професионалистите сте чували за кипариса, а някои дори сте го ползвали. Слагам го в темата само, защото по някое време почна „мерене на технологията“ и така да има още един вариант за пълнота.

Иначе Васко отдавна си е изпълнил задачата, ама това не пречи за друга случка.

Поздрави!

PaperNick · « **Отговор #68 -:** Nov 19, 2020, 19:11 »

Цитат на: go_fire в Nov 19, 2020, 10:38

Днес се присетих за тази тема и по-точно за Selenum. И се сетих, че преди година време чух за поредната му алтернатива. Казва се Cypress – https://www.cypress.io/.

Тогава пича, който я препоръча, каза:

Цитат
Има изключително много възможности за тестване, само че не става за тестване на SalesForce. За всичко друго е супер и много по добре от Selenium според мене.

Бях чувал за Cypress, но не бях цъкал с него досега. Разписах проверките за аварии на ЧЕЗ и се получи доста добре.

Ето и кода:

Код

GeSHi (Javascript):
const CEZ_BREAKDOWNS_URL = 'https://info.cez.bg/js/avarii/av1.php';
const NO_BREAKDOWNS_ASSERT_MESSAGE = 'няма прекъсвания на захранването';
 
const populatedPlaces = [
  { name:'Перник', fullMatch: false },
  { name:'Кюстендил', fullMatch: false },
  { name: 'Буново, общ. Кюстендил', fullMatch: true },
];
 
describe('CEZ Breakdowns', () => {
  beforeEach(() => {
    // https://docs.cypress.io/api/events/catalog-of-events.html#Examples
    cy.on('uncaught:exception', (err, runnable) => {
      // An "Uncaught ReferenceError: object is not defined" exception is thrown from CEZ webpage.
      // Ignore it so that the execution can continue.
      // Return false to prevent the error from failing the current test.
      return false;
    });
  });
 
  function checkBreakdown(place, fullMatch) {
    it(`should not have any breakdowns for "${place}"`, () => {
      cy.visit(CEZ_BREAKDOWNS_URL);
 
      cy.get('#searchField').type(place);
 
      const searchValue = fullMatch ? place.toUpperCase() : new RegExp(`^${place.toUpperCase()}`);
      const placeSuggestion = cy.get('#suggestions .ui-btn').contains(searchValue, { matchCase: true });
 
      placeSuggestion.should('have.length.greaterThan', 0);
 
      placeSuggestion.click();
 
      cy.get('[data-role="content"] .ui-body').should('contain', NO_BREAKDOWNS_ASSERT_MESSAGE);
    });
  }
 
  populatedPlaces.forEach(place => checkBreakdown(place.name, place.fullMatch));
});

Ето и как се пуска:

Код

GeSHi (Bash):
mkdir cez_checker
cd cez_checker/
npm init --yes
npm install cypress --save-dev
echo '{}' > cypress.json
mkdir -p cypress/integration
touch cypress/integration/cez_breakdown_spec.js
 
# Поставете съдържанието на скрипта в "cypress/integration/cez_breakdown_spec.js"
 
npx cypress run --quiet

В браузъра се пуска с:

Код

GeSHi (Bash):
npx cypress open

След изпълнението има дори видео запис

Код

GeSHi (Bash):
$ ls cypress/videos/
cez_breakdown_spec.js.mp4

А, да, трябва да инсталирате NodeJS.

go_fire · « **Отговор #69 -:** Nov 19, 2020, 19:18 »

Еха, Пейпър много яко. Сега разбирам думите на Алекс, че това е много добро.

Аз самия не го бях пробвал. Ама реално и Селениум не съм.

Страшен си!

Demayl · « **Отговор #70 -:** Nov 23, 2020, 17:34 »

Ето едно примерче за София - Перник е с ид 149

Код

GeSHi (Bash):
curl -d "city_id=153&page=1" -X POST https://info.cez.bg/js/avarii/contents.php | grep -oP '<span style="float:left;font-size:small">.*?<\/span>' | sed 's/<[^b][^<>]*>//g'

supportpc · « **Отговор #71 -:** Dec 08, 2020, 13:12 »

Как мога да го визуализирам в php, пробвах с това shell-exec не става

Цитат на: Demayl в Nov 23, 2020, 17:34

Ето едно примерче за София - Перник е с ид 149

Код

GeSHi (Bash):
curl -d "city_id=153&page=1" -X POST https://info.cez.bg/js/avarii/contents.php | grep -oP '<span style="float:left;font-size:small">.*?<\/span>' | sed 's/<[^b][^<>]*>//g'

PaperNick · « **Отговор #72 -:** Dec 08, 2020, 15:01 »

Цитат на: supportpc в Dec 08, 2020, 13:12

Как мога да го визуализирам в php, пробвах с това shell-exec не става

Цитат на: Demayl в Nov 23, 2020, 17:34
Ето едно примерче за София - Перник е с ид 149
Код
GeSHi (Bash):
curl -d "city_id=153&page=1" -X POST https://info.cez.bg/js/avarii/contents.php | grep -oP '.*?<\/span>' | sed 's/<[^b][^<>]*>//g'

Не е нужно да използваш shell_exec, просто направи заявката от PHP.
Ето какво сътворих набързо използвайки регулярния израз на колегата:

Код

GeSHi (PHP):
<?php
 
$SOFIA = 153;
$PERNIK = 129;
$NO_BREAKDOWNS_MESSAGE = 'няма прекъсвания на захранването';
 
$requestOptions = [
    'http' => [
        'method'=> 'POST',
        'header' => 'Content-type: application/x-www-form-urlencoded',
        'content' => http_build_query(['city_id' => $SOFIA, 'page' => 1])
    ],
];
 
$context = stream_context_create($requestOptions);
$fp = fopen('https://info.cez.bg/js/avarii/contents.php', 'r', false, $context);
$pageContent = stream_get_contents($fp);
fclose($fp);
 
if (strpos($pageContent, $NO_BREAKDOWNS_MESSAGE) !== false) {
    echo 'Няма авария' . PHP_EOL;
} else {
    echo 'Има Авария' . PHP_EOL;
}
 
$regionBreakdownPattern = '/<span style="float:left;font-size:small">(.*?)<\/span>/i';
preg_match_all($regionBreakdownPattern, $pageContent, $breakdowns);
 
foreach ($breakdowns[1] as $breakdown) {
    echo $breakdown . PHP_EOL;
}

Голяма част от кода я взех директно от документацията:

В София има авария в момента и ми изкарва това:

Цитат

Има Авария
жк.ХИПОДРУМА СМИЛИЦА
жк.ХИПОДРУМА ХИПОДРУМА
жк.ХИПОДРУМА ПИРИНСКИ ИЗВОР
жк.ХИПОДРУМА КЮСТЕНДИЛ/АТАНАС НЕНОВ/
жк.БАНИШОРА БАНИШОРА
жк.БАНИШОРА ГЕН. СТОЛЕТОВ
жк.БАНИШОРА ИВАН ТУРГЕНЕВ

Edit: разписах го на PHP 7.2

supportpc · « **Отговор #73 -:** Dec 08, 2020, 16:20 »

А реално как ще стане със всички ID които има чез. Благодаря предварително

Цитат на: PaperNick в Dec 08, 2020, 15:01

Цитат на: supportpc в Dec 08, 2020, 13:12
Как мога да го визуализирам в php, пробвах с това shell-exec не става

Цитат на: Demayl в Nov 23, 2020, 17:34
Ето едно примерче за София - Перник е с ид 149
Код
GeSHi (Bash):
curl -d "city_id=153&page=1" -X POST https://info.cez.bg/js/avarii/contents.php | grep -oP '.*?<\/span>' | sed 's/<[^b][^<>]*>//g'
Не е нужно да използваш shell_exec, просто направи заявката от PHP.
Ето какво сътворих набързо използвайки регулярния израз на колегата:
Код
GeSHi (PHP):
<?php
 
$SOFIA = 153;
$PERNIK = 129;
$NO_BREAKDOWNS_MESSAGE = 'няма прекъсвания на захранването';
 
$requestOptions = [
    'http' => [
        'method'=> 'POST',
        'header' => 'Content-type: application/x-www-form-urlencoded',
        'content' => http_build_query(['city_id' => $SOFIA, 'page' => 1])
    ],
];
 
$context = stream_context_create($requestOptions);
$fp = fopen('https://info.cez.bg/js/avarii/contents.php', 'r', false, $context);
$pageContent = stream_get_contents($fp);
fclose($fp);
 
if (strpos($pageContent, $NO_BREAKDOWNS_MESSAGE) !== false) {
    echo 'Няма авария' . PHP_EOL;
} else {
    echo 'Има Авария' . PHP_EOL;
}
 
$regionBreakdownPattern = '/(.*?)<\/span>/i';
preg_match_all($regionBreakdownPattern, $pageContent, $breakdowns);
 
foreach ($breakdowns[1] as $breakdown) {
    echo $breakdown . PHP_EOL;
}
Голяма част от кода я взех директно от документацията:
https://www.php.net/manual/en/function.stream-context-create.php
https://www.php.net/manual/en/function.stream-get-contents.php
https://www.php.net/manual/en/function.preg-match-all.php

В София има авария в момента и ми изкарва това:
Цитат
Има Авария
жк.ХИПОДРУМА СМИЛИЦА
жк.ХИПОДРУМА ХИПОДРУМА
жк.ХИПОДРУМА ПИРИНСКИ ИЗВОР
жк.ХИПОДРУМА КЮСТЕНДИЛ/АТАНАС НЕНОВ/
жк.БАНИШОРА БАНИШОРА
жк.БАНИШОРА ГЕН. СТОЛЕТОВ
жк.БАНИШОРА ИВАН ТУРГЕНЕВ

Edit: разписах го на PHP 7.2

PaperNick · « **Отговор #74 -:** Dec 08, 2020, 16:46 »

Цитат на: supportpc в Dec 08, 2020, 16:20

А реално как ще стане със всички ID които има чез. Благодаря предварително

Ми така като гледам, предложенията за градове ги взима от самата HTML без да прави други заявки:
Ако прегледаш изходния код на страницата https://info.cez.bg/js/avarii/av1.php ще видиш всички имена и id-та на ред 249:

Код:

autocompleteData = $.parseJSON('[{"value":"153","label":"СОФИЯ"}.....

Автор Тема: Авариите на чез. (Прочетена 36956 пъти)

4096bits

Re: Авариите на чез.

jet

Re: Авариите на чез.

4096bits

Re: Авариите на чез.

supportpc

Re: Авариите на чез.

4096bits

Re: Авариите на чез.

supportpc

Re: Авариите на чез.

remotexx

Re: Авариите на чез.

go_fire

Re: Авариите на чез.

PaperNick

Re: Авариите на чез.

go_fire

Re: Авариите на чез.

Demayl

Re: Авариите на чез.

supportpc

Re: Авариите на чез.

PaperNick

Re: Авариите на чез.

supportpc

Re: Авариите на чез.

PaperNick

Re: Авариите на чез.