Mobile User-Agents beim Scraping – warum sie oft besser funktionieren
Ausgangspunkt
Bei einigen Webseiten wurden meine Requests regelmäßig umgeleitet oder ich bekam stark verändertes HTML. Ursache: Der verwendete User-Agent war ein klassischer Desktop-String. Viele moderne Seiten liefern heute unterschiedliche Inhalte je nach Gerätetyp.
Ich wollte testen, wie sich Mobile User-Agents beim Scraping verhalten – und ob sie Blockaden vermeiden oder gar bessere Daten liefern.
Was ist ein Mobile User-Agent?
Das ist der User-Agent-Header eines typischen Smartphones. Er signalisiert dem Server, dass es sich um einen mobilen Browser handelt – z. B. ein iPhone oder Android-Gerät.
Mozilla/5.0 (iPhone; CPU iPhone OS 15_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.5 Mobile/15E148 Safari/604.1
Vorteile von Mobile User-Agents
- Oft wird weniger JavaScript geladen – das DOM ist schlanker
- Inhalte sind häufig sofort sichtbar – ohne auf JS zu warten
- Einige Seiten haben keinen oder schwächeren Bot-Schutz im mobilen Frontend
- Reduzierter Traffic – nützlich bei langsamen Proxies
Beispiel: Wechsel des User-Agents in httpx
import httpx
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 11; SM-G991B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0 Mobile Safari/537.36",
"Accept-Language": "de-DE,de;q=0.9",
}
r = httpx.get("https://zielseite.de", headers=headers)
print(r.text[:500])
Unterschiede im DOM
Im Vergleich zur Desktop-Version:
- Weniger Ads & Tracking-Skripte
- Oft vereinfachte Navigation (nur relevante Inhalte)
- Einige Inhalte direkt im HTML statt dynamisch nachgeladen
Wann lohnt sich der Einsatz?
- Wenn die Seite im Desktop-Modus „leer“ aussieht
- Bei Captchas oder JavaScript-Hürden
- Für Preisvergleich, TikTok- / Instagram-Analyse, Seiten mit AMP
⚠️ Hinweise
- Manche Seiten blocken Mobile-UAs → teste immer beides
- Mobile DOM ≠ Desktop DOM → XPath/CSS-Selektoren anpassen
- Wenn du mobile UA nutzt, dann auch Headers wie
Accept&Viewportmitdenken
Fazit
Ein Wechsel auf Mobile User-Agents kann beim Scraping echten Unterschied machen – weniger Blockaden, bessere Inhalte, weniger Aufwand. Teste beide Varianten und nutze, was am besten durchkommt.
Getestet im April 2025 mit httpx und realen Seiten.
