Citat:
Ursprungligen postat av
Rucke1
Det gjorde jag men dom skrev att problemet låg hos Google. Och alla vet ju att Google inte är det lättaste förteget att komma i kontakt med.
Förstår inte varför det blivit såhär? Har det någonting med hacking att göra?
Inget alls, robots.txt är en väl etablerad teknik för att styra vad sökmotorer kan indexera och vad de ej kan indexera. Det är bara korkat att påstå att "problemet sitter hos google" när det är uppenbart att linkedin själva lagt upp filen och när google följer standard.
http://sv.wikipedia.org/wiki/Robots_Exclusion_Standard
Hittade nu denna disclaimer hos linkedin i deras robots.txt:
# Notice: If you would like to crawl LinkedIn,
# please email whitelistcrawl@linkedin.com to apply
# for white listing.
vilket skulle kunna förklara att de skyller på google. Det är väl så att google inte brytt sig om att skicka nåt mail dit och be om en whitelisting då.