Javascript Girl
  1. Javascript Girl
  3. Analysez plusieurs pages sans modification dans l'adresse url
Intereting Posts
Comment puis-je formater les durées du temps en utilisant exactement Moment.js? Comment afficher l'icône de chargement lors du rendu des marqueurs sur la carte Comment télécharger les anciens navigateurs (ex Safari 5.1.4) Existe-t-il un moyen complémentaire d'obtenir quelque chose comme des événements de souris? Comment pousser vers un tableau dans une position particulière? L'exemple basique de Socket.IO ne fonctionne pas Google Maps: index polygone et marqueur Z Uncaught TypeError: Impossible de lire la propriété 'aDataSort' de undefined Quelles sont les sémantiques de différents sujets RxJS? Option TimeZone Chrome à Date.toLocaleString () Demande de flacon Python à partir d'url – pour décoder l'image base64 Développement d'extension Chrome – POST sur un nouvel onglet Comment appeler un href par onclick événement d'un bouton? La modification des onglets du navigateur déclenche indéniablement l'événement de mise au point, en particulier dans Google Chrome Historique de la fenêtre arrière (-1) ne fonctionne pas

Analysez plusieurs pages sans modification dans l'adresse url

Je souhaite analyser le contenu du tableau ici . Toutefois, le tableau se poursuit en plusieurs pages. Mon problème est que je ne peux pas analyser les pages à partir de la page 2 puisqu'il n'y a pas de changement dans l'adresse url . Comment puis-je localiser l'adresse url où sont stockées d'autres pages? J'utilise lxml et les requests .

Si vous ouvrez Chrome DevTools et cliquez sur "2" sur le contrôle de pagination, vous verrez une requête faite par le script pour récupérer la date de la page "2": 

 POST https://www.mutualfundindia.com/MF/return/TopFundDetails?page=2

Avec les données du formulaire: 

 __RequestVerificationToken:AYv1N1VEGXTeLKMbnHolT_bste-CiFcH1GAjQgh1O7c_Ygm0-wIP3j47yN6e5tzYx3EumwCRBYcxI6825nH28W_qO60ZMlnAm4f1utRjqL4wgokl87pgsV4anV4vKtSjk6XV0g2 Rank:-1 Type:-1 Nature:-1 SubNature:-1 cmdAum:1 Period:1Year ShortingOrder:DESC hdHeaderId:1Year

Vous pouvez trouver la valeur de __RequestVerificationToken sur la page, dans l'élément: 

 <input name="__RequestVerificationToken"...

La réponse de la demande est un HTML pur.

Je suppose que si vous faites de telles demandes, vous pouvez analyser toute la date.

J'espère que cela t'aides.