HttpURLConnection: come ottenere la versione web?

[ligio]

Ciao!
Ho un problema con HttpURLConnection e il parsing di una pagina web.
Sto creando un'applicazione che necessita il download dell'HTML di una pagina web (www.android-software.fr) ed estrae il path di una immagine (french.png).

Il mio problema è che utilizzando HttpURLConnection mi viene restituito l'HTML della pagina Mobile e NON la versione WEB standard della pagina!

Ho provato a settare uno User-Agent particolare in questo modo:

Codice (Java): [Seleziona]

HttpURLConnection ucon = (HttpURLConnection) url.openConnection();
ucon.setRequestProperty ("User-agent", "Mozilla/5.0 (Windows; U; Windows NT 6.0; it; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16");
ucon.setRequestMethod("GET");
ma purtroppo non funziona! Mi viene sempre restituito l'html della pagina mobile!
Come posso "forzare" la richiesta della pagina web standard invece della versione mobile? Forse devo utilizzare qualcosa di diverso dalla HttpURLConnection ?

Grazie per l'aiuto!

[gGx]

Potresti gentilmente inserire il codice preciso della sezione interessata? Magari usando il tag Java.

Comunque, ad occhio mi sembra che l'errore stia nel fatto che tu PRIMA apri la connessione e POI imposti user-agent e metodo (che è GET di default, quindi il tuo inserimento è ridondante).


public void setRequestProperty (String field, String newValue)

Since: API Level 1
Sets the value of the specified request header field. The value will only be used by the current URLConnection instance. This method can only be called before the connection is established.

e

public void setRequestMethod (String method)

Since: API Level 1
Sets the request command which will be sent to the remote HTTP server. This method can only be called before the connection is made.

[ligio]

Ciao gGx,
grazie per avermi risposto così velocemente... 
non è che sapresti anche dirmi come utilizzare setRequestProperty() prima di richiamare openConnection() ?
Non ho trovato nulla infatti su come ottenere un oggetto di tipo HttpURLConnection senza richiamare il metodo openConnection...

e comunque ho trovato strano il fatto che cercando con Google, tutti coloro che utilizzano setRequestProperty lo fanno dopo aver chiamato openConnection...

grazie comunque per il supporto!

[MarcoDuff]

L'ordine è esatto. Per connessione stabilita dei metodi si intende richiamare i metodi di I/O sui buffer o il metodo connect.

Alcuni siti non guardano soltanto l'user-agent per controllare se una connessione viene o meno da un dispositivo desktop o mobile, prova a copiare tutti i dati di connessione:

Codice: [Seleziona]

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Charset:ISO-8859-1,utf-8;q=0.7,*;q=0.3
Accept-Encoding:gzip,deflate,sdch
Accept-Language:it-IT,it;q=0.8,en-US;q=0.6,en;q=0.4
Connection:keep-alive
User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.60 Safari/534.30

[ligio]

Ciao MarcoDuff!
Ho provato ad aggiungere tutte le intestazioni che hai indicato ma purtroppo non funziona!
Il sito in questione è realizzato con Wordpress e utilizza il sistema di "browser detection" di WP-Touch (me lo studierò bene per capire come risolvere il problema!)

Ma come fanno i browser (come ad esempio Dolphin HD) a bypassare i controlli di browser/device detection?

Cmq, posto qui sotto la porzione di codice che utilizzo per scaricare il sorgente della pagina:

Codice (Java): [Seleziona]

public static int insertInfo(String siteUrl)
{
           // setup the url
           URL url = new URL(siteUrl);
           
           HttpURLConnection ucon = (HttpURLConnection) url.openConnection();
           ucon.setInstanceFollowRedirects(true);
                   ucon.setUseCaches(false);
                   
                   ucon.setRequestProperty("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
                   ucon.setRequestProperty("Accept-Charset", "ISO-8859-1,utf-8;q=0.7,*;q=0.3");
                   ucon.setRequestProperty("Accept-Encoding", "gzip,deflate,sdch");
                   ucon.setRequestProperty("Accept-Language", "it-IT,it;q=0.8,en-US;q=0.6,en;q=0.4");
                   ucon.setRequestProperty("Connection", "keep-alive");
                   ucon.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 6.0; it; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16");
           
                   if(ucon.getResponseCode() / 100 != 2) {
                                ucon.disconnect();
                                return 0;
                   }
                       
                   BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream()));
                   String resultHTML = "";
                   String s = "";
           
                   while ((s = in.readLine()) != null) {
                       resultHTML += s;
                   }

                   System.out.print(resultHTML);
                   return 1;
}
Quali altre soluzioni posso provare? Al momento ho la mente vuota... 

[gGx]

[...]

e comunque ho trovato strano il fatto che cercando con Google, tutti coloro che utilizzano setRequestProperty lo fanno dopo aver chiamato openConnection...

Sìsì, scusami ho risposto con troppa fretta ed in effetti non ho trovato altro metodo per inizializzare HttpURLConnection...

Perché non provi invece ad usare HttpClient di Apache invece del HttpURLConnection? Probabilmente è un po' più "versatile" Tra l'altro, utilizzando un DefaultHttpClient() dovresti avere già preimpostato un user-agent generico.

Una cosa del genere:

Codice (Java): [Seleziona]

DefaultHttpClient client = new DefaultHttpClient();
HttpGet get = new HttpGet("http://www.android-software.fr/");
get.setHeader("User-Agent", "Mozilla/5.001 (windows; U; NT4.0; en-US; rv:1.0) Gecko/25250101");
HttpResponse resp = client.execute(get);

/* A seguire, leggi tutto con un BufferedReader */

[MarcoDuff]

Prova a chiamare connect prima di getResponseCode

Sent using Tapatalk.

[ligio]

Oh oh oh... ragazzi, ho trovato!!!!  Dichiaro anche di aver vinto il cappello del somaro per la giornata corrente!
E, ahimè, ho immortalato proprio nel codice che ho postato qui sopra (nel commento delle 12:47) il mio errore!

Andavo a istanziare una HttpURLConnection per poi... NON UTILIZZARLA!

Ho modificato infatti

Codice (Java): [Seleziona]

BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream()));
in

Codice (Java): [Seleziona]

BufferedReader in = new BufferedReader(new InputStreamReader(ucon.getInputStream()));
e tutto funziona!!!

Adesso posso ottimizzare lo script controllando se il contenuto è in formato gzip oppure no... ma questa è un'altra faccenda!

Grazie a tutti per l'aiuto!
Dichiaro "chiuso" il topic!

buona giornata!

[Ricky`]

Andavo a istanziare una HttpURLConnection per poi... NON UTILIZZARLA!

è successo a tutti, almeno una volta

[MarcoDuff]

lol non me ne sono accorto!!! 

[Allen]

Salve, potete dirmi perché nn funziona questo codice? Vi ringrazio anticipatamente

Codice (Java): [Seleziona]

public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.main);
       
        TextView t=(TextView) findViewById(R.id.editText1);
       
        try {
                        URL url=new URL("[url=http://vid.ilmessaggero.it/?vid=5410"]
        Il Messaggero - Video - HOME - Caccia allo squalo killer
[/url]);
                        try {
                                HttpURLConnection conn=(HttpURLConnection) url.openConnection();
                                BufferedReader b=new BufferedReader(new InputStreamReader (conn.getInputStream()));
                                String a=b.readLine();
                                t.setText(a);
                        } catch (IOException e) {
                                // TODO Auto-generated catch block
                                e.printStackTrace();
                        }
                } catch (MalformedURLException e) {
                        // TODO Auto-generated catch block
                        e.printStackTrace();
                }
    }
Ho inserito <uses-permission android:name="android.permission.INTERNET"></uses-permission> come bisogna fare.

Ecco l'errore:

Codice: [Seleziona]

02-03 12:43:54.148: E/AndroidRuntime(536): java.lang.RuntimeException: Unable to start activity ComponentInfo{exemple.android/exemple.android.PROVAURLActivity}: android.os.NetworkOnMainThreadException
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:1956)
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:1981)
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.app.ActivityThread.access$600(ActivityThread.java:123)
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.app.ActivityThread$H.handleMessage(ActivityThread.java:1147)
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.os.Handler.dispatchMessage(Handler.java:99)
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.os.Looper.loop(Looper.java:137)
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.app.ActivityThread.main(ActivityThread.java:4424)
02-03 12:43:54.148: E/AndroidRuntime(536):         at java.lang.reflect.Method.invokeNative(Native Method)
02-03 12:43:54.148: E/AndroidRuntime(536):         at java.lang.reflect.Method.invoke(Method.java:511)
02-03 12:43:54.148: E/AndroidRuntime(536):         at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:784)
02-03 12:43:54.148: E/AndroidRuntime(536):         at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:551)
02-03 12:43:54.148: E/AndroidRuntime(536):         at dalvik.system.NativeStart.main(Native Method)
02-03 12:43:54.148: E/AndroidRuntime(536): Caused by: android.os.NetworkOnMainThreadException
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.os.StrictMode$AndroidBlockGuardPolicy.onNetwork(StrictMode.java:1099)
02-03 12:43:54.148: E/AndroidRuntime(536):         at java.net.InetAddress.lookupHostByName(InetAddress.java:391)
02-03 12:43:54.148: E/AndroidRuntime(536):         at java.net.InetAddress.getAllByNameImpl(InetAddress.java:242)
02-03 12:43:54.148: E/AndroidRuntime(536):         at java.net.InetAddress.getAllByName(InetAddress.java:220)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpConnection.<init>(HttpConnection.java:71)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpConnection.<init>(HttpConnection.java:50)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpConnection$Address.connect(HttpConnection.java:351)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpConnectionPool.get(HttpConnectionPool.java:86)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpConnection.connect(HttpConnection.java:128)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpEngine.openSocketConnection(HttpEngine.java:308)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpEngine.connect(HttpEngine.java:303)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpEngine.sendSocketRequest(HttpEngine.java:282)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpEngine.sendRequest(HttpEngine.java:232)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpURLConnectionImpl.getResponse(HttpURLConnectionImpl.java:273)
02-03 12:43:54.148: E/AndroidRuntime(536):         at libcore.net.http.HttpURLConnectionImpl.getInputStream(HttpURLConnectionImpl.java:168)
02-03 12:43:54.148: E/AndroidRuntime(536):         at exemple.android.PROVAURLActivity.onCreate(PROVAURLActivity.java:28)
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.app.Activity.performCreate(Activity.java:4465)
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1049)
02-03 12:43:54.148: E/AndroidRuntime(536):         at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:1920)
02-03 12:43:54.148: E/AndroidRuntime(536):         ... 11 more
02-03 12:43:56.838: I/Process(536): Sending signal. PID: 536 SIG: 9


[Ricky`]

Ciao e benvenuto.
Ti invito ad usare gli appositi tagli code per evidenziare il codice.

Per il tuo problema, devi spostare il codice che fa la chiamata http in un thread separato.

[Allen]

Mi puoi spiegare meglio cosa fare?;-)Nel mio progetto ho creato un'unica Activity in cui faccio questo. Vuoi dire che in una prima Activity devo fare la richiesta Http e in una seconda prendo il risultato ottenuto nella prima (ovvero il BufferedReader) e lo utilizzo? grazie

[Ricky`]

Mi puoi spiegare meglio cosa fare?;-)Nel mio progetto ho creato un'unica Activity in cui faccio questo. Vuoi dire che in una prima Activity devo fare la richiesta Http e in una seconda prendo il risultato ottenuto nella prima (ovvero il BufferedReader) e lo utilizzo? grazie

No non serve che fai due activity.
Basta solo che usi un componente tipo AsyncTask e vai a fare la chiamata http in un thread separato:

AsyncTask | Android Developers

[Allen]

Ho fatto cm hai detto, forse è migliorata la situazione ma secondo me c'è un errore nelle tre righe principali della connessione http. ti posto di nuovo il codice in attesa di un tuo aiuto o di quello di qualcuno che capisce il possibile errore.

Codice (Java): [Seleziona]

public class PROVAURLActivity extends Activity {

        private String url = "http://www.google.it/";
        private TextView t1;

        /** Called when the activity is first created. */
        @Override
        public void onCreate(Bundle savedInstanceState) {
                super.onCreate(savedInstanceState);
                setContentView(R.layout.main);
                t1 = (TextView) findViewById(R.id.editText1);
                new SorgenteUrl().execute(url);
        }

        private class SorgenteUrl extends AsyncTask<String, Void, BufferedReader> {

                protected BufferedReader doInBackground(String...strings ) {
                        try {
                                URL myUrl = new URL(url);
                                HttpURLConnection conn = (HttpURLConnection) myUrl
                                                .openConnection();
                                BufferedReader in = new BufferedReader(new InputStreamReader(
                                                conn.getInputStream()));
                                return in;
                        } catch (MalformedURLException e) {
                                // TODO Auto-generated catch block
                                Log.e("ERRORE","url errore");
                                e.printStackTrace();
                                return null;
                        } catch (IOException e) {
                                // TODO Auto-generated catch block
                                Log.e("ERRORE", "IOException");
                                e.printStackTrace();
                                return null;
                        }
                }

                protected void onPostExecute(BufferedReader in) {
                        try {
                                in.readLine();
                        } catch (IOException e) {
                                // TODO Auto-generated catch block
                                e.printStackTrace();
                        }
                }

        }
} E l'eccezione è la seguente:

Codice: [Seleziona]

02-03 16:03:54.029: E/AndroidRuntime(536): android.os.NetworkOnMainThreadException
02-03 16:03:54.029: E/AndroidRuntime(536):         at android.os.StrictMode$AndroidBlockGuardPolicy.onNetwork(StrictMode.java:1099)
02-03 16:03:54.029: E/AndroidRuntime(536):         at libcore.io.BlockGuardOs.recvfrom(BlockGuardOs.java:163)
02-03 16:03:54.029: E/AndroidRuntime(536):         at libcore.io.IoBridge.recvfrom(IoBridge.java:503)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.net.PlainSocketImpl.read(PlainSocketImpl.java:488)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.net.PlainSocketImpl.access$000(PlainSocketImpl.java:46)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.net.PlainSocketImpl$PlainSocketInputStream.read(PlainSocketImpl.java:240)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.io.BufferedInputStream.read(BufferedInputStream.java:304)
02-03 16:03:54.029: E/AndroidRuntime(536):         at libcore.net.http.ChunkedInputStream.read(ChunkedInputStream.java:52)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.io.InputStream.read(InputStream.java:163)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.util.zip.InflaterInputStream.fill(InflaterInputStream.java:198)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.util.zip.InflaterInputStream.read(InflaterInputStream.java:152)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.util.zip.GZIPInputStream.read(GZIPInputStream.java:167)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.io.InputStreamReader.read(InputStreamReader.java:244)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.io.BufferedReader.fillBuf(BufferedReader.java:130)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.io.BufferedReader.readLine(BufferedReader.java:354)
02-03 16:03:54.029: E/AndroidRuntime(536):         at exemple.android.PROVAURLActivity$SorgenteUrl.onPostExecute(PROVAURLActivity.java:55)
02-03 16:03:54.029: E/AndroidRuntime(536):         at exemple.android.PROVAURLActivity$SorgenteUrl.onPostExecute(PROVAURLActivity.java:1)
02-03 16:03:54.029: E/AndroidRuntime(536):         at android.os.AsyncTask.finish(AsyncTask.java:602)
02-03 16:03:54.029: E/AndroidRuntime(536):         at android.os.AsyncTask.access$600(AsyncTask.java:156)
02-03 16:03:54.029: E/AndroidRuntime(536):         at android.os.AsyncTask$InternalHandler.handleMessage(AsyncTask.java:615)
02-03 16:03:54.029: E/AndroidRuntime(536):         at android.os.Handler.dispatchMessage(Handler.java:99)
02-03 16:03:54.029: E/AndroidRuntime(536):         at android.os.Looper.loop(Looper.java:137)
02-03 16:03:54.029: E/AndroidRuntime(536):         at android.app.ActivityThread.main(ActivityThread.java:4424)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.lang.reflect.Method.invokeNative(Native Method)
02-03 16:03:54.029: E/AndroidRuntime(536):         at java.lang.reflect.Method.invoke(Method.java:511)
02-03 16:03:54.029: E/AndroidRuntime(536):         at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:784)
02-03 16:03:54.029: E/AndroidRuntime(536):         at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:551)
02-03 16:03:54.029: E/AndroidRuntime(536):         at dalvik.system.NativeStart.main(Native Method)