Parsing pagina Wikipedia come plinkArt

[dodopepper]

Ragazzi come sempre ho bisogno di qualche consiglio. Dovrei fare il parsing di una pagina wikipedia (anche la versione mobile) per prendere il testo dell'articolo, praticamente come fa PlinkArt per capirci. Qualcuno sa aiutarmi per dirmi come iniziare a muovermi? Grazie mille.

[Vytek]

Sto avendo lo stesso problema. E stavo vedendo questo progetto:

Jwbf - Getting Started

Che ne dite?

Un saluto...

[dodopepper]

Ok meglio che siamo in due ad avere lo stesso problema, così siamo + motivati! Io stavo già pensando "oltre" perchè ste api pronte sono mal documentate! Guardando un po' i sorgenti di una pagina wikipedia mi pare di vedere che il testo "utile" sia sempre fra tag <p> e <\p> ora sta tutto a prendere i contenuti di sti tag e poi pulire tutto quello "extra" ovvero tutti gli altri tag e quello che contengono salvando solo ed esclusivamente il testo, magari al massimo le informazioni di "a capo" e "nuovo paragrafo".
Dunque si potrebbe fare:
1.prendere tutto il codice html della pagina wikipedia (con la url già caricata)
2. Scorrere tutto il codice e prendere solo ed esclusivamente i dati contenuti fra <p> e <\p>
3. Per ogni paragrafo preso fare la pulizia da tutti gli altri tag salvando solo il testo!


Che ne dite? Se l'idea è corretta come implementarla?

[dodopepper]

stavo leggendo questa guida [medio] Ottenere dati da una pagina HTML - Android Developers Italia e effettivamente potrebbe fare al caso nostro però leggevo anche il progetto da te  linkato e sembra documentato abbastanza bene, si potrebbe provare prima questo e in caso di mesto fallimento passare alla forza bruta.  Aspetto tuoi feedback e intanto continuo a documentarmi


EDIT: Ma anche No, è documentato manco il piffero cavoli... dobbiamo navigare a naso.....

[bradipao]

Se vi basta poter estrarre del contenuto da una data pagina, potrebbe farvi comodo la funzione di "export" della pagina stessa in XML, probabilmente molto più parsabile dell'HTML. Se vi è d'aiuto, qua si trova come fare http://en.wikipedia.org/wiki/Help:Export, altrimenti ingorate il mio intervento. 

[Vytek]

La questione non è di facile soluzione. Se prendi anche una pagina qualsiasi troverai che il codice HTML generato è tantissimo e non è assolutamente facile creare un parser per l'elaborazione del tutto.

Un buon punto di partenza per la pulizia del codice HTML:

HtmlCleaner Project Home Page

Se si vuole qualcosa di più semplice forse qualcosa del genere già va bene:
http://en.wikipedia.org/wiki/User:MER-C/Wiki.java

Ma c'e' comunque da lavorare e riscrivere un po' il tutto per Android.

[dodopepper]

Se vi basta poter estrarre del contenuto da una data pagina, potrebbe farvi comodo la funzione di "export" della pagina stessa in XML, probabilmente molto più parsabile dell'HTML. Se vi è d'aiuto, qua si trova come fare http://en.wikipedia.org/wiki/Help:Export, altrimenti ingorate il mio intervento. 

La cosa sembra interessante ma non riesco ad esportare nemmeno una pagina in xml....

[Qlimax]

pagina:
http://it.wikipedia.org/wiki/Modello_di_business

xml:
http://it.wikipedia.org/wiki/Speciale:Esporta/Modello_di_business


oppure

pagina:
http://en.wikipedia.org/wiki/FBI

xml:
http://en.wikipedia.org/wiki/Special:Export/FBI



Saluti

[dodopepper]

Ah ok allora facevo bene, solo che non esce praticamente niente dell'articolo con la conversione in xml....a questo punto è una idea da abbandonare, bisogna procedere con il parsing html

[dodopepper]

Ok, credo di essere arrivato ad un buon punto. A noi interessa solo il testo contenuto nei paragrafi, giusto? A questo punto con queste due istruzioni

Codice (Java): [Seleziona]

rootNode=rootNode.findElementByName("p", true); //Prende solo i paragrafi (tag p), ora solo il primo....
                testo.setText(rootNode.getText()); //All'interno della parte selezionata prende solo ed esclusivamente il testo.
prendo dal nodo generico solo i nodi fatti da paragrafi (ora sto cercando di capire la situazione quindi banalmente prende solo il primo) da questi poi estrae solo ed esclusivamente il testo. A quanto pare si sta mostrando + semplice di quanto pensassimo.

[dodopepper]

Bon, risolto, ora sarebbe bello però prendere anche qualcosa della formattazione oppure i titoli dei paragrafi in grassetto ecc.

Ecco il codice

Codice (Java): [Seleziona]

package prova.parser;

import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;

import org.htmlcleaner.CleanerProperties;
import org.htmlcleaner.HtmlCleaner;
import org.htmlcleaner.TagNode;

import android.app.Activity;
import android.os.Bundle;
import android.util.Log;
import android.widget.TextView;

public class Parser extends Activity {
        private TagNode rootNode;
        private String url_str = "http://en.wikipedia.org/wiki/Dog";
       
        /** Called when the activity is first created. */
    @Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.main);
        TextView testo = (TextView)findViewById(R.id.Parser);
     // inizializzazione dell'oggetto HtmlCleaner utile a generare un html pulito
                HtmlCleaner cleaner = new HtmlCleaner();
                CleanerProperties props = cleaner.getProperties();
                props.setAllowHtmlInsideAttributes(true);
                props.setAllowMultiWordAttributes(true);
                props.setRecognizeUnicodeChars(true);
                props.setOmitComments(true);
                 
                // apertura della connessione
                URL url;
                try {
                       
                        url = new URL(url_str);
                        URLConnection conn = url.openConnection();
                       
                        //ora utilizziamo l'oggetto cleaner per "ripulire" l'html e inizializzare l'oggetto rootNode
                        rootNode = cleaner.clean(new InputStreamReader(conn.getInputStream()));
                       
                       
                } catch (MalformedURLException e) {
                        // TODO Auto-generated catch block
                        Log.e("Error", e.getMessage());
                       
                } catch (IOException e) {
                        // TODO Auto-generated catch block
                        Log.e("Error", e.getMessage());
                }
                TagNode[] nodes= rootNode.getElementsByName("p", true); //Prende solo i paragrafi (tag p), ora solo il primo....
               
                for(int i=0; i<nodes.length; i++){
                testo.append("\n"+nodes[i].getText()+"\n"); //All'interno della parte selezionata prende solo ed esclusivamente il testo.
                }
    }
}

[dodopepper]

Premetto che sarebbe utile togliere i "sup" che sono proprio brutti, forse si può sfruttare il metodo che ti fa la remove dal nodo sempre della classe html cleaner ovvero removeAttributes, ora ci provo. Per ora ho aggiunto un altro step.

Così prendiamo anche la formattazione mostrando a video il testo come html formattato e convertito in spanned text

Codice (Java): [Seleziona]

TagNode[] nodes= rootNode.getElementsByName("p", true);
               
                for(int i=0; i<nodes.length; i++){
                        //HINT Puoi prendere il nodo nodes[i] e serializzarlo in outputStream, poi prendere il metodo Html.fromHtml e dallo stream in ingresso
                        //convertito in stringa vedere che ci esce.
                        XmlSerializer serializer =new SimpleXmlSerializer(props);
                       
            try {
                        testo.append(Html.fromHtml(serializer.getXmlAsString(nodes[i])));
                } catch (IOException e) {
                        // TODO Auto-generated catch block
                        Log.e("Error", e.getMessage());

                }      
                //testo.append("\n"+nodes[i].getText()+"\n"); //All'interno della parte selezionata prende solo ed esclusivamente il testo.
                }
EDIT 2:
Ho provato con removeAttribute("sup") ma non funziona, qualcuno ha idea del perchè?

[dodopepper]

Risolto pure questo, il problema era che provavo a togliere un attributo. Ho risolto con queste istruzioni

Codice (Java): [Seleziona]

TagNode[] nodesToRemove=rootNode.getElementsByName("sup", true);
                for (int i=0;i<nodesToRemove.length;i++)
                nodesToRemove[i].removeFromTree();

[dodopepper]

JD non ho capito il motivo della correzione e cosa hai corretto

[JD]

Niente di grosso, come scritto nel Motivo ho solo sistemato il bbcode code per evidenziare la sintassi java