Omzeilen van registratie en betaling van sites dankzij Google

Beveiligingsexpert Martijn Brinkers heeft een manier gevonden om zonder registratie of betaling binnen te komen bij sites waarvoor dit normaal wel nodig is. Hiervoor maakt hij gebruik van de gegevens van Googles zoekrobot, zo lezen we op WebWereld. Veel van de registratiesites houden een achterdeur open voor de zoekrobot, zodat zij toch opgenomen kunnen worden in Googles database. Om zelf zonder registratie de sites te kunnen bezoeken is het dus voldoende om de zoekrobot na te bootsen.

Dit is te doen door in de browser de user agent aan te passen in Googlebot/2.1 (+http://www.googlebot.com/bot.html). Er zijn voor de verschillende browsers speciale programma’s beschikbaar om de user agent aan te passen. Niet alleen registratie is zo te omzeilen, ook sites waarvoor normaliter abonnementsgeld moet worden betaald zijn op deze manier gratis te bezoeken. Deze truc werkt echter niet bij alle sites; de New York Times bijvoorbeeld presenteert nog steeds een inlogscherm.

Brinkers denkt dat deze site gebruik maakt van een extra controle, zoals het controleren op IP-adres. Brinkers’ actie komt waarschijnlijk voort uit onvrede over de werkwijze van de registratiesites: hij noemt het zoekmachinevervuiling, omdat hij niet zonder meer terecht kan op de resultaten die Google tevoorschijn tovert. Hij zegt dat het mogelijk zou moeten zijn om de resultaten te filteren op toegankelijkheid. Omdat men hiervoor afhankelijk is van de sitebouwer die dit in de meta-tags moet aangeven, noemt hij dit echter een onrealistische wens.

Reacties (72)

[PuzzleSolver]

Net nog in google hetzelfde geval gehad, ik gebruik in dat geval de "in cache" link om de info toch te lezen. Leuk dat het op deze manier ook kan.

[SnoW]

Voor webmasters bestaat de mogelijkheid om via <META NAME="ROBOTS" CONTENT="NOARCHIVE"> de in-cache-optie bij zoekmachines uit te schakelen.

Veel betaalde sites maken (helaas) van deze mogelijkheid gebruik.

[Verwijderd]

Zoekmachines lezen toch robot.txt uit en al tijden niet meer de meta tags. Of vergis ik me?

[_Thanatos_]

Wappie, het is idd een fabeltje dat je zoekmachines kunnen leiden met metatags. Alhoewel ze er nog wel wat mee doen, wegen ze lang niet zo zwaar meer als vroeger. Dit is uiteraars weer te danken aan de "webmasters" die er wel eventjes misbruik van gingen maken.

[Sardia]

Je vergist je:
http://www.google.com/bot.html
bij google, waar het hier om gaat, lukt dat wel zeker.

[neliz]

Tsja, het is nu leuk om bijna alle kranten te lezen..

Het werkt zeer goed in combinatie met bugmenot.com

[musiman]

Hmmm, je hebt nog maar 2 punten gekregen, terwijl bugmenot.com echt IDEAAL is!
Er bestaat zowel een IE als een Mozilla plug-in (ze noemen 't een extension) en wanneer je ergens op een site staat waar registratie verplicht is, klik je met de rechtermuisknop en kiest "bugmenot". Vervolgens wordt er door dit tooltje vanaf een database van bugmenot.com login informatie (username en password) gehaald die daar door andere bugmenot gebruikers ingezet is. Zo kun je naar www.volkskrant.nl gaan en met een "bugmenot username" inloggen om alle nieuwsitems te lezen!

Er bestaan zelfs bugmenot mailadressen! Met een beetje zoeken vind je ze wel

[Verwijderd]

Er staat wel een minuscuul foutje in de user agent, er mist aan het eind nog een ')' .

Googlebot/2.1 (+http://www.googlebot.com/bot.html)

Zelf heb ik dit ook even gecontroleerd (uit wetenschappelijke insteresse natuurlijk ) met de firefox plugin "User Agent Switcher", met de googlebot U.A. kon ik zonder in te loggen de artikelen op www.volkskrant.nl lezen (waarvoor je dus eigenlijk moet inloggen, wat overigens wel gratis is).

Edit:
Naast de volkskrant werkt dit ook op:
- www.nrc.nl
- www.telegraaf.nl
- www.ad.nl

[bgever]

Er staat wel een minuscuul foutje in de user agent

Er staat er nog eentje in:

Googlebot/2.1 (+http://www.googlebot.com/bot.hrml.

Het is .html ipv .hrml... Maar dit had je in je eigen versie al verbeterd...

[Tyrian]

Hotmail gaat een beetje over zijn nek met Google als user agent:

Beperkingen van de webbrowsersoftware


Je huidige software beperkt je mogelijkheid om Hotmailte gebruiken

Je gebruikt een webbrowser die niet door Hotmail wordt ondersteund. Als je je huidige browsersoftware blijft gebruiken, kunnen we niet garanderen dat Hotmail juist werkt.

We raden aan de browsersoftware bij te werken en het volgende programma te downloaden: Microsoft Internet Explorer 6.

[Verwijderd]

uiteraard raden hun je aan op MSIE 6 te installen

[Verwijderd]

GMail heeft hetzelfde probleem grappig genoeg

[Verwijderd]

Werkt als een trein. Ben benieuwd hoe lang. Hieronder de reg key voor IE 6 ipv zo'n betaald progje.

Onderstaande in een *.reg bestand plaatsen.

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\User Agent]
"Compatible"="+http://www.googlebot.com/bot.html"
@="Googlebot/2.1"
"Version"=" "
"Platform"=" "

[waterstof]

En GOOGLE BOT én Windows Update tegelijkertijd.

* Run de RegKey
* Ga naar: HKEY_LOCAL_MACHINE / SOFTWARE / Microsoft / Windows / CurrentVersion / Internet Settings / 5.0 / User Agent
* Verwijder de sleutels: Platform & Version

Nu kan je dus die sites bezoeken zoals AD.nl, etc... en je kan de UPDATE draaien

Suc6

[kodak]

Ik vind het een beetje overdreven om deze beveiligingsexpert hier veel credit voor te geven.
Het is natuurlijk wel leuk voor veel mensen dat het nu zo publiekelijk bekend is, maar het is niet echt een lek in de beveiliging te noemen als de websitebouwers er zelf voor kiezen om op useragent basis toegang tot de gegevens te verschaffen en de vaak voor pr doeleinde bedoelde registratie en tracking omzeild kan worden.
Ik heb het zelf al een jaartje geleden geprobeert naar aanleiding van een artikel dat ik opzocht omdat ik het vreemd vond dat veel zoekmachines (niet alleen google dus) content konden laten zien die voor gebruikers die niet geregistreerd waren verborgen bleven.Alleen zo zijn bijna wel zeker al heel veel meer mensen er zelf eerder achter dat gekomen dat sommige sites zo gebouwd zijn om toegang te verlenen.
Ik weet ook niet of we hier nu blij mee moeten zijn of niet dat het zo aan de grote klok gehangen wordt. De kans is aanwezig dat dit ten kosten gaat van het zoeken of de registratie en authenticatie nog strenger gaat worden om van gratis diensten gebruik te kunnen maken.

[Verwijderd]

Maar dat laatste is toch juist het punt van die man? Hij vindt dat informatie die stiekem alleen bereikt kan worden via betaling, niet zomaar in google mag komen. Door dit systeem publiek te maken weet hij de discussie uit het 'academisch niveau' te trekken. Heel slim gedaan - en als je het er niet mee eens bent, zal je dus een volwaardig technisch alternatief moeten verzinnen .

[Verwijderd]

Werkt ook prima bij de New York Times ... gewoon &partner=google achter de url aanplakken ...

[Odysseus1985]

sry voor mijn n00bheid maar dat van de NY Times werkt niet bij mij...hij vraagt gewoon om in te loggen of te registreren...

[Verwijderd]

Je lijkt gelijk te hebben: de 'functionaliteit' is uitgeschakeld lijkt het...

[Verwijderd]

ik vind het eerlijk gezegd maar moeilijkdoenerij. als ik een bepaalde pagina uit de volkskrant oid wil lezen, haal ik hem wel gewoon uit de google cache. werkt bijna altijd.

[kodak]

Maar dat neemt wel een heel stuk aan de beleving van het surfen weg en maakt het surfen ook behoorlijk omslachtig. Het is natuurlijk maar net wat je makkelijker vind. Als je een pagina wil bekijken is het nabootsen van een useragent soms wat overdreven.
Ik heb alleen al vaak gemerkt dat die gegevens lang niet altijd in de google cache staan of het moeilijk is gemaakt om die informatie dan te bekijken.
In mozilla heb ik een tool zitten waar ik zelf met twee klikken de useragent even kan aanpassen. Zo moeilijk hoeft het omschakelen dus niet te zijn.

[cazzie]

en windows update werkt ook niet meer, grappig

[bolke]

Ach. met de iligale keys gaat het straks toch uit. En op tweakers zit gemiddeld 95% iligaal te draaien.