Tre tipi per estrazione dei dati web e nel prezzo competitivo

Uso delle espressioni regolari per estrarre i dati grezzi può essere un po 'intimidatorio per chi non lo sapesse e un po' confuso come uno script può contenere un sacco di loro. Allo stesso tempo, se avete già familiarità con le espressioni regolari, e raschiare il progetto è relativamente piccolo, possono essere una grande soluzione. Altri approcci o vocabolari gerarchici destinati a rappresentare le offerte dominio contenuto con lo sviluppo.

Ci sono alcune aziende (compreso il nostro) specifici per applicazioni commerciali sono offerti agli screen scraping. Applicazioni variano ampiamente, ma per medie e grandi progetti, sono spesso una buona soluzione. Ognuno ha la propria curva di apprendimento, prendere il tempo per imparare una nuova applicazione deve pianificare sui pro ei contro.

Qual è il modo migliore per recuperare i dati? Approcci diversi, così come consigli su quando si dovrebbe avere alcun uso alcuni dei pro e dei contro:

Vantaggi:

- Se hai già una espressione regolare e avere familiarità con almeno un linguaggio di programmazione, può essere una soluzione rapida
-. espressione regolare che il contenuto di tali piccoli cambiamenti non li si romperà nella "vaghezza" per raggiungere una quantità ragionevole

Le espressioni regolari sono supportati in. la maggior parte dei moderni linguaggi di programmazione. Diamine, anche VBScript è un motore di espressioni regolari. E 'anche un bene perché le varie implementazioni di espressioni regolari non è significativamente differente nei loro sintassi

Svantaggi:.

Non hanno molta esperienza con loro può essere complicato per. Imparare le espressioni regolari non è come Perl per Java

-. Essi sono spesso fonte di confusione per analizzare
-. Il processo di scoperta dei dati (in cui i dati da pagine web diverse si desidera ottenere a pagina incrocio) rimane a essere affrontate, e molto complesso, come si può utilizzare i cookie o simile esigenza

Vantaggi:.

- modelli di dati generalmente costruite esempio, se si estraggono informazioni dai siti web su vetture già estrazione motore, modello , e gratificante, facilmente per strutture di dati esistenti è stato in grado di identificare (come ad esempio l'inserimento dei dati nel database i posti giusti)
- manutenzione relativamente basso lungo termine

Svantaggi:.
<. p> - Per lavorare con rispetto a tale motore è complesso
-. sono costosi da costruire questi tipi di motori

Nel caso in cui i dati sono altamente strutturato (cioè non è chiaramente indicata sui vari campi. per identificare), l'espressione regolare ha più senso andare con un screen scraping un'applicazione

software screen scraping

Vantaggi:

- Le cose complesse astratte via.. Qualcosa sulle espressioni regolari, HTTP, o biscotti senza conoscere la screen scraping applicazioni possono fare qualsiasi cosa cose molto sofisticati
-. Configurazione del sito era di essere drasticamente ridimensionato riduce la quantità di tempo
-. Il supporto per una società commerciale . Se si esegue in problemi durante l'utilizzo di un'applicazione commerciale, screen scraping, è probabile che ci sono forum di supporto e linee di aiuto in cui è possibile ottenere aiuto

Svantaggi:.

- La curva di apprendimento. Ogni applicazione ha il suo modo di fare le cose nel screen scraping
-. Una possibile costo
-.. Un approccio individuale

Quando le applicazioni che raschiano la schermata utilizzano questo approccio per facilità d'uso, prezzo, fitness, e si occupano di una vasta gamma di scenari molto diversi. Le probabilità sono, tuttavia, che se non ti dispiace spendere un po ', ti ritrovi utilizzando uno può risparmiare una notevole quantità di tempo. Se si dispone di una sola pagina, una rapida raschiatura con le espressioni regolari che è possibile utilizzare praticamente qualsiasi lingua die. Più di qualsiasi cosa, anche se forse, avete progettato per screen scraping di investire nella domanda.

Al momento abbiamo un progetto impegnato nella estrazione del annunci sui giornali lavoro. Circa i dati negli annunci, come si può ottenere è. Tuttavia, abbiamo dovuto trovare il trattamento dei dati. abbiamo deciso di utilizzare lo schermo raschietto ed è semplicemente fantastico per affrontare. Il processo di base che le varie pagine del sito le date croce schermo raschietto poi inseriti in un database Hotel  .;