Bästa sättet extrahera data från hemsidor

Jag skulle vilja sammanställa datafrån en sida som bara presenteras dagligen. Tanken är att "web scrapa" ner sidan, parsa den och utvinna datan som sedan sätts in i en databas för vidare presentation.

Den "vidare presentationen" ska göras via en php-driven sida.

Frågan är vilka verktyg som är bäst att använda för att scrapa, parasa och sedan lägga in i den databas. Är det Python, PHP, basch-script... ?

Windows eller Linux-miljö?
Invoke-WebRequest i Powershell fungerar på alla moderna Windows-miljöer. Ingen installation krävs.

Utvecklar i linux, vad den ev. hemsidan ska köras i för miljö senare är oklart.

Vill gärna att det ska vara operativsystemoberoende.

Om du ändå använder dig av php så varför inte låta php sköta webscrapandet?

Finns Gui/program som gör det automatiserat åt dig baserat på vad du vill ha för info. Kolla Octoparse eller Parsehub.

Har du försäkrat dig om att sidan inte har någon API som kan ge dig samma data på rtt lättare sätt?

Finns säkert moduler och metoder som är nyare/bättre som jag inte känner till, men med requests och beautifulsoup så brukar det gå väldigt enkelt, och re - regex om det är krångligt att parsa ut någon data med bsoup.

Python är ett av de vanligaste scriptspråken att webscrapa i, framförallt med BeautifulSoup.
Det är också en av de lättaste språken att komma igång med. Viktigast att komma ihåg när man börjar med python är dock att när man letar guider bör man specificera om det är version 2.7 eller version 3 man letar efter. (lika bra att satsa på 3)

Det första du bör kontrollera är dock om din sida är renderad serverside eller clientside.

Högerklicka på sidan och kör 'view source' och sök på text som du förväntar dig att sidan ska innehålla. Om den finns där så är sidan serversiderenderad och då kan du scrapa den med vilket verktyg som helst.

Gör den inte det då är den clientsiderenderad och då blir det lite krångligare eftersom din scraper måste köra javascript.

Kolla in den här: PHP WebScraper Pro (free download)

Lyckades göra det jag ville med hjälp av curl och php (curl finns inbyggt i php) samt regular expressions på datan som curl tankade hem.

Htmlagilitypack till c#.

Tar in hela HTML sidan, du plockar ut noderna enkelt då du har LINQ och intelisennse och slipper gissa dig till var skiten ligger.

En jävla apa kan göra det, skit i phyton och de

ja curl med Googlebot som user-agent. Alla sidor vill bli scrapade av Google