Autore Topic: parsing html dinamico  (Letto 2183 volte)

Offline andre_sghedo

  • Nuovo arrivato
  • *
  • Post: 27
  • Respect: 0
    • Mostra profilo
  • Sistema operativo:
    windows 7
parsing html dinamico
« il: 15 Dicembre 2011, 11:12:50 CET »
0
Qualcuno sa come è possibile ottenere dati da un sito html attraverso un normale parsing dove però le informazioni sono variabili nel tempo...ad esempio un diretta.it che aggiorna i risultati e le partite ora per ora e giorno per giorno...

Offline pisciotta.f

  • Utente junior
  • **
  • Post: 52
  • Respect: +2
    • Mostra profilo
Re:parsing html dinamico
« Risposta #1 il: 15 Dicembre 2011, 16:36:47 CET »
0
Semplicissimo, devi analizzare la pagina DOM che ti viene restituita dal parsing.. in base a quella fai uno studio sui singoli tag dove sono contenute le informazioni, in modo tale da sapere in quali tag andar a prendere le informazioni!

Generalmente è difficile che un sito cambi radicalmente la propria gestione, però potrebbe capitarti qualche volta di dover modificare il tuo codice in base al sito a cui fai riferimento! ;)   :-P

Offline _SC_

  • Nuovo arrivato
  • *
  • Post: 20
  • Respect: 0
    • Mostra profilo
Re:parsing html dinamico
« Risposta #2 il: 27 Dicembre 2011, 17:04:20 CET »
0
Usa la libreria JSOUP , è molto buona.
Poi se un sito è realmente dinamico e radicalmente cambia la struttura dei dati non riuscirai mai a ottenere informazioni. In questo caso ci sono società che a pagamento ti offrono i dati richiesti, ma si tratta di grosse cifre, tipo 2000 euro per i risultati delle partite, per capire l'ordine di grandezza.

Offline pisciotta.f

  • Utente junior
  • **
  • Post: 52
  • Respect: +2
    • Mostra profilo
Re:parsing html dinamico
« Risposta #3 il: 27 Dicembre 2011, 17:22:21 CET »
0
_SC_, non diciamo stupidaggini (con tutto rispetto)... personalmente ho fatto il parsing html di uno dei siti più cliccati in Italia (ovviamente dinamico), gestendo semplicemente i dati dal DOM!

Offline _SC_

  • Nuovo arrivato
  • *
  • Post: 20
  • Respect: 0
    • Mostra profilo
Re:parsing html dinamico
« Risposta #4 il: 27 Dicembre 2011, 17:27:04 CET »
0
Mah..
per non far dire stupidaggini bisognerebbe per prima cosa tagliare la lingua a te.

Possibile che in ogni forum italiano, e questo non fa eccezione, il numero di imbecilli lingua lunga che non fanno altro che
1) offendere
2) indirizzare su google
3) aprire la bocca per farle prendere aria

sia percentualmente 9/10 ?


Il ragazzo che ha aperto la discussione ha chiesto come parsare una pagina e come farlo in caso di siti dinamici. Io ho risposto nel merito consigliando una libreria e consigliando anche altri metodi, come servirsi di una società che raccoglie dati.

Il tuo consiglio quale è stato? analizzare il dom? che cazzo di consiglio è???
E poi come ti permetti di offendermi? Ma chi straminkia ti ha autorizzato?

Ma vaffankulo demente.

Offline pisciotta.f

  • Utente junior
  • **
  • Post: 52
  • Respect: +2
    • Mostra profilo
Re:parsing html dinamico
« Risposta #5 il: 27 Dicembre 2011, 17:29:05 CET »
0
Io penso che stai un po esagerando!

Ti ho semplicemente risposto che il parsing è possibile farlo anke x siti dinamici e senza spendere 2000€ XD  e per lo più senza utilizzare delle librerie!

Semplice no?

Offline Nicola_D

  • Utente storico
  • *****
  • Post: 2479
  • SBAGLIATO!
  • Respect: +323
    • Github
    • Google+
    • nicoladorigatti
    • Mostra profilo
  • Dispositivo Android:
    Nexus 6p, Nexus 4, Nexus S, Nexus 7(2012)
  • Sistema operativo:
    Windows 7
Re:parsing html dinamico
« Risposta #6 il: 27 Dicembre 2011, 21:24:18 CET »
0
stiamo buoni e caliamo i toni ragazzi....
IMPORTANTE:NON RISPONDO A PROBLEMI VIA MESSAGGIO PRIVATO
LOGCAT: Non sai cos'è? -> Android Debug Bridge | Android Developers
               Dov'è in Eclipse? -> Window -> Open Prospective -> DDMS e guarda in basso!
[Obbligatorio] Logcat, questo sconosciuto! (Gruppo AndDev.it LOGTFO) - Android Developers Italia

Offline Ricky`

  • Amministratore
  • Utente storico
  • *****
  • Post: 3489
  • Respect: +506
    • Github
    • Google+
    • rciovati
    • Mostra profilo
Re:parsing html dinamico
« Risposta #7 il: 27 Dicembre 2011, 21:55:18 CET »
+1
Mah..
per non far dire stupidaggini bisognerebbe per prima cosa tagliare la lingua a te.

Possibile che in ogni forum italiano, e questo non fa eccezione, il numero di imbecilli lingua lunga che non fanno altro che
1) offendere
2) indirizzare su google
3) aprire la bocca per farle prendere aria

sia percentualmente 9/10 ?


Il ragazzo che ha aperto la discussione ha chiesto come parsare una pagina e come farlo in caso di siti dinamici. Io ho risposto nel merito consigliando una libreria e consigliando anche altri metodi, come servirsi di una società che raccoglie dati.

Il tuo consiglio quale è stato? analizzare il dom? che cazzo di consiglio è???
E poi come ti permetti di offendermi? Ma chi straminkia ti ha autorizzato?

Ma vaffankulo demente.

Sebbene io sono d'accordo con te sull'argomento purtroppo se un sito è totalmente dinamico (e con questo, pisciotta.f, intendiiao che cambia totalmente la struttura) non c'è DOM o jSoup che tenga... come direbbe il saggio Lino Banfi sono volatili per diabetici.
Non condivido però i modi. E' vero che pisciotta.f è entrato a gamba tesa sul tuo intervento ma ti sembra il modo di rispondere? Avresti fatto più bel figura argomentando quanto avevi detto in precedenza.

Offline pisciotta.f

  • Utente junior
  • **
  • Post: 52
  • Respect: +2
    • Mostra profilo
Re:parsing html dinamico
« Risposta #8 il: 28 Dicembre 2011, 06:54:25 CET »
0
Sebbene io sono d'accordo con te sull'argomento purtroppo se un sito è totalmente dinamico (e con questo, pisciotta.f, intendiiao che cambia totalmente la struttura) non c'è DOM o jSoup che tenga... come direbbe il saggio Lino Banfi sono volatili per diabetici.
Non condivido però i modi. E' vero che pisciotta.f è entrato a gamba tesa sul tuo intervento ma ti sembra il modo di rispondere? Avresti fatto più bel figura argomentando quanto avevi detto in precedenza.

Eppure un sito per quanto possa esser dinamico, mantiene sempre una determinata struttura, ed è per questo che il parsing è comunque possibile attuarlo analizzando bene il sito in considerazione! Certo lavoro abbastanza intenso, ma fattibilissimo! ;) Parlo per esperienza personale!

Offline Nicola_D

  • Utente storico
  • *****
  • Post: 2479
  • SBAGLIATO!
  • Respect: +323
    • Github
    • Google+
    • nicoladorigatti
    • Mostra profilo
  • Dispositivo Android:
    Nexus 6p, Nexus 4, Nexus S, Nexus 7(2012)
  • Sistema operativo:
    Windows 7
Re:parsing html dinamico
« Risposta #9 il: 28 Dicembre 2011, 09:44:18 CET »
0
Eppure un sito per quanto possa esser dinamico, mantiene sempre una determinata struttura, ed è per questo che il parsing è comunque possibile attuarlo analizzando bene il sito in considerazione! Certo lavoro abbastanza intenso, ma fattibilissimo! ;) Parlo per esperienza personale!
puoi anche usare jquery per quello, ma anche li, se ti cambiano un ID ad un div o cose del genere, sei fregato!
IMPORTANTE:NON RISPONDO A PROBLEMI VIA MESSAGGIO PRIVATO
LOGCAT: Non sai cos'è? -> Android Debug Bridge | Android Developers
               Dov'è in Eclipse? -> Window -> Open Prospective -> DDMS e guarda in basso!
[Obbligatorio] Logcat, questo sconosciuto! (Gruppo AndDev.it LOGTFO) - Android Developers Italia

Offline pisciotta.f

  • Utente junior
  • **
  • Post: 52
  • Respect: +2
    • Mostra profilo
Re:parsing html dinamico
« Risposta #10 il: 28 Dicembre 2011, 10:24:37 CET »
0
puoi anche usare jquery per quello, ma anche li, se ti cambiano un ID ad un div o cose del genere, sei fregato!

Perfettamente vero! Ma difficilmente un sito cambia gli ID da un giorno all'altro! Quindi sostanzialmente ( così come ho specificato sin dall'inizio ) dovrai dipendere sempre da quel sito, ma non credo sia un problema grossissimo!

Offline Nicola_D

  • Utente storico
  • *****
  • Post: 2479
  • SBAGLIATO!
  • Respect: +323
    • Github
    • Google+
    • nicoladorigatti
    • Mostra profilo
  • Dispositivo Android:
    Nexus 6p, Nexus 4, Nexus S, Nexus 7(2012)
  • Sistema operativo:
    Windows 7
Re:parsing html dinamico
« Risposta #11 il: 28 Dicembre 2011, 10:29:49 CET »
0
Perfettamente vero! Ma difficilmente un sito cambia gli ID da un giorno all'altro! Quindi sostanzialmente ( così come ho specificato sin dall'inizio ) dovrai dipendere sempre da quel sito, ma non credo sia un problema grossissimo!
beh insomma, vedi il sito della vodafone che cambia la struttura spesso, tutti i programmi che inviano gli sms devono sempre stargli dietro!
IMPORTANTE:NON RISPONDO A PROBLEMI VIA MESSAGGIO PRIVATO
LOGCAT: Non sai cos'è? -> Android Debug Bridge | Android Developers
               Dov'è in Eclipse? -> Window -> Open Prospective -> DDMS e guarda in basso!
[Obbligatorio] Logcat, questo sconosciuto! (Gruppo AndDev.it LOGTFO) - Android Developers Italia

Offline pisciotta.f

  • Utente junior
  • **
  • Post: 52
  • Respect: +2
    • Mostra profilo
Re:parsing html dinamico
« Risposta #12 il: 28 Dicembre 2011, 10:31:46 CET »
0
beh insomma, vedi il sito della vodafone che cambia la struttura spesso, tutti i programmi che inviano gli sms devono sempre stargli dietro!

Struttura si, ma difficilmente si mettono a cambiare i content! quelli dovrebbero rimanere sempre gli stessi!  :money_mouth:

Offline ciopper90

  • Utente junior
  • **
  • Post: 106
  • Respect: +4
    • Mostra profilo
Re:parsing html dinamico
« Risposta #13 il: 28 Dicembre 2011, 11:03:59 CET »
0
Struttura si, ma difficilmente si mettono a cambiare i content! quelli dovrebbero rimanere sempre gli stessi!  :money_mouth:
ti so dire che puo aver cambiato aspetto estetico spesso..pero ancora non ha subito grandi cambiamenti nell'invio di sms :D

Offline pisciotta.f

  • Utente junior
  • **
  • Post: 52
  • Respect: +2
    • Mostra profilo
Re:parsing html dinamico
« Risposta #14 il: 28 Dicembre 2011, 11:05:00 CET »
0
ti so dire che puo aver cambiato aspetto estetico spesso..pero ancora non ha subito grandi cambiamenti nell'invio di sms :D

parole sante! XD  :-*