Scraping, nateja i normalització de dades

Még több ilyen

TICstorics

Szerző: Alba Gayoso

Mapa conceptual para metodologia de la investigacion

Szerző: guillermo alberione

UD 2 DOCUMENTACIÓ DE MITJANS Necessitat d'informació vinculada al sector audiovisual i a la comunicació.

Szerző: Maria Gamiz Pelaez

La agricultura y la ganadería en el Neolítico

Szerző: Sara CANO CARMONA

És fonamental guardar sempre una còpia de les dades

Avantatges

Fusiona i/o redueix el conjunt de dades

Millora la qualitat de les dades

Ajuda a explorar i conèixer millor les dades amb els quals treballarem

Facilita el treball amb grans conjunts de dades

Eines principals

Per datasets petits

Per datasets grans

OpenRefine

Tasques principals

Modificació de l’estructura

Normalització de noms

Filtratge i selecció de dades

Eliminació de files buides

Pot suportar, com a màxim, aproximadament 50 fórmules d'importació

Hauràs de vigilar bé que tota la puntuació de la fórmula estigui ben escrita

Es produirà un error quan dues fórmules es col·loquin en camps contigus o molt pròxims i intentin descarregar en un mateix camp diferents dades

Funcions més utilitzades

IMPORTXML

Importa diferents tipus de dades estructurades (HTML, CSV, etc.)

mporta dades procedents de documents estructurats, inclosos documents XML, HTML, CSV, TSV i canals RSS o feeds

=IMPORTXML ("URL"; "//[XPath+COMANDO XML]")

IMPORTFEED

Importa contingut de canals de contingut sindicat (RSS, etc.)

Permet importar entrades o fraccions d'entrades procedents de feeds (canals RSS)

=IMPORTFEED ("URL"; "consulta" [opcional]; "items [capçaleres]"; TRUE [fer visible]; X [nombre d’elements]”)

IMPORTHTML

importa taules o llistes de documents HTML

Permet importar al full de càlcul dades procedents de taules i llistes en línia

Sintaxi

=IMPORTHTML ("URL"; "list"; 1)

=IMPORTHTML ("URL"; "table"; 1)

=IMPORTHTML ("URL"; "query"; index)

Scraping, nateja i normalització de dades

Normalització de dades

Homogeneïtzar dades per donar coherència

Nateja

Detectar i eliminar errors o registres duplicats

Scraping de Dades

Tècnica per capturar dades en línia mitjançant programes o robots per estructurar i recopilar informació.

Objectes que es poden rastrejar

Taules PDF

Scraping amb Tabula

Permet l'extracció de taules a partir de documents PDF.

El seu funcionament requereix, normalment, la identificació manual de les taules que es desitgen extreure.

Contingut sindicat

LLocs web

Fulls de càlcul

Scraping amb fulls de càlcul de Google

Es pot configurar el full d'estil perquè ens enviï un correu cada vegada que es produeix un canvi en la llista o taula

Les dades s'actualitzen quan la taula o la llista del lloc web s'actualitza.

Les dades romandran al nostre full en línia mentre aquests continuïn en la web analitzada