(es) Datahub - Importaciones automáticas
Trabajar con herramientas de gestión de las relaciones con los clientes, como Marketing Automation, a menudo implica procesar grandes cantidades de datos. Estos datos deben introducirse, o importarse, en el sistema. De hecho, los usuarios autorizados pueden importar nuevos contactos en Marketing Automation, pero los contactos constituyen solo un tipo de datos.
Para satisfacer esta necesidad, Splio ofrece una solución a través de la funcionalidad de importación automática. Con esta funcionalidad, podrás proporcionar a Splio varios tipos de datos de forma organizada. Simplemente, prepara los archivos y cárgalos en una carpeta especial, desde la que un script automático los cogerá e importará los datos por ti.
Prerrequisitos
- La funcionalidad de importación automática debe ser configurada previamente por tu Splio Project Manager.
- Tienes que poder abrir y guardar archivos en formato CSV y con codificación UTF-8.
- Es necesario poder mover, copiar y renombrar archivos localmente.
- Se requiere una conexión SFTP para cargar los archivos de importación.
Fases de importación
Sigue estos pasos para que Splio importe automáticamente tus ficheros de datos:
- Prepara los archivos CSV - sigue las siguientes directrices para crear y formatear los archivos que contienen tus datos.
- Carga los archivos - conéctate al repositorio sFTP y carga los archivos. Tu Project Manager te proporcionará los detalles de conexión si los necesitas.
- Comprueba el estado - Splio procesa los archivos importados de forma programada y envía alertas y resultados a las direcciones de correo electrónico configuradas a tal propósito. También puede examinar los archivos de acceso en el repositorio para obtener más detalles.
Instrucciones para ficheros de datos
Cuando prepares los archivos de datos para cargarlos, sigue las siguientes directrices.
- Cada archivo debe contener datos pertenecientes a una sola sección.
- Los archivos deben utilizar el formato CSV, sin datos multilínea.
- Utiliza la codificación UTF-8 sin BOM.
- Los nombres de los archivos deben indicar el universo, la sección, la subsección y la fecha.
- La prioridad de importación depende de las secciones y puede sobreescribirse agrupando los ficheros.
- Pueden utilizarse identificadores opcionales para distinguir los ficheros.
Estas directrices se explican detalladamente a continuación.
Para facilitar su gestión, los archivos de importación pueden cargarse como archivos comprimidos.
Secciones
Cada archivo de importación debe pertenecer a un tipo de datos o “sección” que Splio sea capaz de reconocer. Todos los nombres de sección están predefinidos y escritos en minúsculas. En este caso, la distinción entre mayúsculas y minúsculas es importante.
A continuación se detallan todas las secciones disponibles, con breves descripciones. El nombre de cada sección es un enlace en el que se puede hacer clic para abrir la guía correspondiente.
contacts
– personas, clientes o contactos de tu base de datos;stores
– tiendas y POS;products
– productos de catálogo;abandonedcarts
– carritos de la compra abandonados o pedidos que nunca se completaron o pagaron;orders
– pedidos realizados por los clientes;ordersitems
– productos individuales contenidosorders
eabandonedcarts
(como los artículos individuales de un pedido).
Consulta las guías específicas para saber qué campos de datos (columnas) debes y puedes incluir en cada sección.
Campos de cancelación
Splio permite la supresión de datos de la base de datos gracias a la funcionalidad de importación automática. Si necesita borrar datos, consulta la guía de cancelación.
Secciones de Loyalty
Hay una serie de ámbitos adicionales que se utilizan para importar datos de los programas de Loyalty. Sigue los enlaces para obtener más información sobre los distintos ámbitos:
cardcode
– para gestionar la inscripción individual en los programas de Loyalty;creditpoints
– para acreditar (conceder) puntos a los miembros de los programas de Loyalty;events
– para asociar los eventos a las personas;masterreward
,earnreward
, yburnreward
– para crear registros de master rewards, para asignarlas a los miembros de los programas (earn) y permitirles obtener (burn) rewards;
Formato de los archivos
Los archivos de importación utilizan el formato de Comma-Separated Values (valores separados por comas), por lo que suelen denominarse archivos CSV o archivos *.csv. Concretamente, los archivos CSV son archivos de texto en los que el contenido se organiza en columnas y filas, como en una tabla. Las columnas están separadas por punto y coma (';') y cada línea del archivo es una fila. Es un formato muy utilizado que puede editarse con editores de texto y también puede guardarse y exportarse con la mayoría de bases de datos y hojas de cálculo.
Codificación UTF-8
Todos los archivos de importación deben guardarse utilizando la codificación UTF-8 sin lista de materiales. Se trata de un sistema ampliamente utilizado que permite la coexistencia de caracteres de distintos idiomas, por ejemplo francés y chino, en un mismo archivo.
Todos los editores de archivos de texto y programas de hojas de cálculo modernos son capaces de guardar archivos CSV con codificación UTF-8, habiéndose convertido en un sistema predefinido en muchos sistemas.
El byte order marker (BOM) es un carácter especial añadido al principio del archivo. Asegúrate de no usarlo.
Encabezado
El encabezado es la primera línea del archivo CSV. Esta línea indica a Splio cuántas columnas hay en el fichero de datos y lo que representa cada columna.
El encabezado debe indicar siempre las columnas apropiadas para la categoría del fichero y debe contener las que sean esenciales. Si se añade un nombre de columna no reconocido en la sección o si falta una columna esencial, el fichero no será importado.
Líneas del fichero
Todas las líneas del fichero deben contener el mismo número de columnas que el encabezado. Splio omitirá todas las líneas que no cumplan este requisito.
Cada línea del fichero de datos indica un solo artículo de la sección. No se admiten datos multilínea: Por lo tanto, Splio omitirá todas las líneas que contengan este tipo de datos.
Es posible introducir valores de texto entre comillas. Sin embargo, no es posible utilizarlas para proporcionar valores que se extiendan por varias líneas.
Para indicar números decimales, se utiliza un punto ('.') como separador decimal o punto. No utilices ningún separador para los millares. Utiliza "-"para indicar números negativos y ningún signo para los números positivos.
Ejemplo
Mike Cole ha recibido un archivo de contactos para importar. El archivo es corto, así que decide examinarlo. Lo abre en su editor de texto y mira las dos primeras líneas:
email;firstname;lastname;cellphone;subscriptions
"[email protected]";"Jean";"Boulanger";"33120202020";"-5"
Mike lee el encabezado, que contiene cinco columnas de contactos. Reconoce todas las columnas y efectivamente son correctas.
A continuación, pasa a la segunda fila. Cuenta 5 columnas, un dato positivo. La primera es un valor de texto, entre comillas, y es una dirección de correo electrónico correctamente escrita. La segunda es también un valor de texto entre comillas, la tercera es un texto sin comillas. Le sigue un valor numérico, el número de teléfono, y por último un número negativo, que es lo normal en una columna de entrada.
Uso de archivos y ficheros comprimidos
Para mayor comodidad, los archivos CSV pueden agruparse en archivos comprimidos para reducir su tamaño y el número de archivos cargados. Splio admite los siguientes tipos de archivos, según la extensión del nombre del archivo: .zip, .tar, .gz, .bz2.
Sin embargo, todos los ficheros dentro de los archivos adjuntos deben organizarse en grupos. Esto se hace añadiendo un prefijo apropiado al nombre del archivo según las reglas de secuenciación de archivos que se describen a continuación. Esto permite a Splio procesar los ficheros dentro del archivo en un orden claro y predefinido.
Ten en cuenta que la agrupación/secuenciación forma parte de las reglas de denominación. Los archivos importados deben seguir todas las normas de denominación (más abajo), formato y codificación (más arriba). Por otro lado, no hay reglas específicas para nombrar a los archivos. Splio los examinará y descomprimirá, y después procesará su contenido.
Pautas de denominación de ficheros y orden de procesamiento
A la hora de seleccionar los archivos para la importación, Splio se basa en un procedimiento específico de denominación. La forma en que se escriben los nombres de los archivos debe cumplirse con precisión, de lo contrario la importación no se iniciará o fallará durante el proceso.
Si se utiliza el mismo nombre de fichero para importaciones posteriores, solo se almacenará el último fichero en el directorio de archivos. Esto significa que se perderá el contenido de los ficheros anteriores y no se podrá proporcionar ninguna información.
Denominación estándar de los ficheros
Todos los fichero deben nombrarse de esta manera:
<universe>_<scope>_<subsection>_<date>.csv
Los guiones bajos delimitan los elementos que deben sustituirse por un valor real y son obligatorios.
Hay cinco partes obligatorias, como se explica a continuación. Ten en cuenta que es posible ampliar el nombre del archivo con información adicional al principio ( denominado prefijo). Los prefijos y sufijos son opcionales y se examinan en las secciones siguientes.
- es el nombre de tu universo Splio, y todos los archivos que quieras importar automáticamente deben estar marcados como tales;
- es una de las secciones descritas en el párrafo anterior;
- se utiliza para identificar una importación específica o los ajustes de importación, por ejemplo, el nombre del archivo de origen o si se deben actualizar o no los datos existentes. El Project Manager configura las direcciones de correo electrónico para cada subsección con el fin de recibir alertas y resultados.
- es la fecha del archivo utilizada para determinar el orden cronológico de las importaciones de cada sección. La fecha debe tener este formato: 'aaaammdd' o '20180315'.
Por ejemplo, en el universo Splio « myuniverse “, un fichero de la subsección ” toystore » que contiene contactos y lleva una de las fechas anteriormente mencionadas se llamaría myuniverse_contacts_toystore_20180315.csv.
Recuerda que para que los ficheros puedan ser importados, todas las combinaciones de secciones y nombres deben estar definidas en el fichero de configuración. Este archivo se gestiona con el ayuda del Project Manager.
Orden de tramitación de los archivos
Splio siempre sigue el mismo orden al importar archivos, de un ámbito a la vez, pasando al siguiente sólo después de que todas las importaciones dentro de la actual hayan terminado. Los ficheros se extraen del repositorio FTP/SFTP en el siguiente orden:
Si no tienes Loyalty:
- grupo de archivos (vease abajo)
- contactos
- tiendas
- productos
- pedidos
- abandoned carts (carritos abandonados)
- ordersitems
- batch (lote)
Si tienes Loyalty, puedes añadir también
- cardcode
- earnreward
- burnreward
- creditpoints
- deletecontacts (supresión de contactos)
- events (eventos)
- tierchange (cambio de nivel)
- masterreward
Los archivos de una misma sección se ordenan según las fechas que aparecen en sus nombres, de la más antigua a la más reciente.
Denominación avanzada de los archivos: Ordenar los archivos por grupos
El orden de importación por defecto es bastante claro, pero puede no ser suficiente. Tú y otros usuarios de tu empresa a menudo necesitaréis importar archivos en un orden específico, por ejemplo, contactos o tiendas antes que los datos de ventas (pedidos y ordersitems) que se basan en estos contactos.
Si los pedidos se introducen en el repositorio y se cogen para su importación antes de que se importen los contactos correspondientes, Splio omitirá todas las líneas que hacen referencia a contactos que aún no se han importado.
Sin embargo, este grave riesgo puede evitarse fácilmente agrupando los archivos dandote la oportunidad de controlar el orden de importación.
Los grupos se crean añadiendo un prefijo especial <idgrupo>.YY-ZZ al principio del nombre del fichero. Este prefijo consta de:
- un identificador de grupo, o <id_grupo>, seguido de
- un punto '.',
- un número de 2 cifras del fichero seleccionado en la secuencia, representado como YY,
- un guión "-",
- un número de 2 cifras del último fichero de la secuencia, representado como ZZ, y un guión bajo "_".
El <group_id> es una cadena de caracteres que representa el nombre del grupo. Los números YY y ZZ pueden tener valores comprendidos entre 01 y 99. Los ficheros de una secuencia deben contener números sucesivos que empiecen por 01 y terminen por ZZ.
El valor ZZ indica a Splio cuántos números hay. No omitas ningún número dentro de una secuencia, de lo contrario Splio quedará a la espera del archivo que falte.
Nombres de archivo agrupados con ejemplos
El nombre completo del archivo puede resumirse como:
<group_id>.YY-ZZ_<universe>_<scope>_<subsection>_<date>.csv
Como se puede ver, la parte que comienza con es el mismo nombre de archivo básico que ya conoces. Mira los siguientes ejemplos:
daily.01-03_myuniverse_contacts_toystore_20180315.csv
daily.02-03_myuniverse_products_toystore_20180315.csv
daily.03-03_myuniverse_orders_toystore_20180315.csv
weekly.02-02_myuniverse_stores_toystore_20180315.csv
Hay dos grupos: ''daily'' está completo con 3 ficheros, ''weekly'' aún está incompleto a la espera de que se importe un fichero con el prefijo weekly.01-02_.
Ordenar los ficheros: Cómo se procesan los grupos
Splio intenta importar todos los grupos (ficheros secuenciados) antes de importar los ficheros individuales (no secuenciados). El orden de importación se muestra arriba.
Los grupos se analizan uno a uno, por orden alfabético según el group_id.
En primer lugar, Splio comprueba si el grupo está completo, es decir, si hay al menos un fichero en el grupo por cada número del 01 al ZZ. Si faltan uno o varios ficheros, Splio pasa al grupo siguiente. Los ficheros que pertenecen al grupo incompleto no se eliminan ni se procesan, sino que quedan pendientes de la importación de los ficheros restantes.
Cuando se trabaja con un grupo de ficheros, Splio los importa uno a uno en el orden dictado por el número dentro del grupo (YY). Si hay varios ficheros con el mismo número, se importa primero el de fecha más reciente. Esto permite proceder a la importación automática incluso con ficheros entregados a intervalos de tiempo diferentes. Por ejemplo, es posible mantener el control sobre el orden de importación aunque uno de sus compañeros entregue ficheros tres veces por semana y otro lo haga diariamente.
Ten en cuenta que, una vez iniciada la importación de un grupo, los ficheros que lo componen se tratan de forma secuencial. Si un fichero de la secuencia es rechazado (por ejemplo, falta una columna obligatoria o, al contrario, hay una columna no válida), Splio interrumpe la importación del grupo y pasa a la siguiente.
Denominación avanzada del archivo: identificador opcional
Cuando se suben varios archivos al día, puede resultar necesario distinguir aún más algunos archivos: añadir un comentario, un identificador o quizás solo un número. Cuando hay un gran número de archivos con nombres similares, la necesidad de poder distinguirlos de un vistazo y encontrarlos más rápidamente puede ser extremadamente útil.
Para satisfacer esta necesidad, Splio ofrece un identificador opcional en forma de sufijo _ que se añade a los nombres de los archivos. Los sufijos se añaden siempre al final (inmediatamente antes de la parte .csv, igual que los prefijos se añaden al principio). Este sufijo consiste en un guión bajo seguido de caracteres alfanuméricos (letras y dígitos). Un nombre de archivo que lo incluya podría ser así:
<universe>_<scope>_<subsection>_<date>_<id>.csv
Todos los demás componentes de este nombre de archivo se han explicado anteriormente en la sección de denominación básica de archivos. Los siguientes ejemplos muestran tres nombres de archivo. Observa cómo el sufijo opcional ayuda a distinguirlos.
myuniverse_contacts_toystore_20180315_updates.csv
myuniverse_contacts_toystore_20180315_noon.csv
myuniverse_orders_toystore_20180228_daily.csv
El identificador opcional no es gestionado por Splio, por lo que no se realizará ninguna acción particular en función del él. Sin embargo, Splio mantendrá este identificador intacto al mover archivos a otros directorios y utilizará el mismo identificador para marcar los archivos de registro correspondientes.
SFTP/FTP Repositorio de Splio
El repositorio que puedes ver en el gráfico al principio del artículo ha sido creado como parte de la configuración del universo Splio. Tu contacto en Splio te proporcionará la dirección de tu repositorio FTP, un nombre de usuario y una contraseña. Si no sabes configurar un cliente FTP autónomamente, pide ayuda a un técnico informático de tu empresa.
Si el repositorio está vacío, ponte en contacto con tu Project Manager o con el equipo de soporte de Splio. La funcionalidad de importación automática puede requerir la activación.
Estructura del Directorio
El repositorio FTP contiene una estructura de directorios predefinida que utiliza la automatización de la importación.
En el directorio principal del repositorio se encuentra la carpeta 'imports', que incluye todos los demás directorios necesarios. Aquí es donde tienes que guardar el fichero de configuración y todos los ficheros a importar.
Cuando finaliza la importación, el fichero se elimina de la carpeta 'imports' y se mueve a un subdirectorio específico según el resultado de la importación. Después, se envía un informe a las direcciones de correo electrónico especificadas en el archivo de configuración.
- "archives" es la ubicación por defecto de los ficheros procesados. Si la importación se ha realizado correctamente, el archivo importado se moverá aquí.
- "badlines" es donde se colocan los archivos con lineas rechazadas (por ejemplo, lineas de archivos de contacto sin correo electrónico o número de móvil, de archivos de tienda sin store_id, etc.).
- "bogus" es el directorio donde Splio mueve los ficheros considerados inválidos. Si olvidaste incluir una columna obligatoria o añadiste una inexistente, tu archivo CSV se moverá aquí.
- "logs" es la ubicación de los ficheros de texto que contienen los datos de monitorización de sus importaciones (estos ficheros se denominan ficheros o logs). Consulta la sección sobre logs (registros) más abajo.
- "notprocessed" es donde Splio coloca los archivos no procesados.
Logs
Cuando se realiza la importación automática, Splio prepara archivos especiales de seguimiento (llamados logs) que enumeran los errores y los eventos que se produjeron durante la importación. Se crea un archivo separado para cada archivo .csv en el directorio / imports / logs /.
La siguiente tabla muestra los mensajes que pueden aparecer en un archivo de log, con una breve descripción de cada mensaje y sugerencias sobre lo que se puede hacer para resolver la situación, si se da el caso. Las variables metasintácticas entre paréntesis angulares se sustituirán por los nombres y datos reales en el log.
Mensajes de log (registro) | Descripción |
---|---|
No se encuentra el universo “” | El nombre de archivo o la entrada en el archivo de configuración hace referencia a un universo Splio que no existe. Es necesario crear el universo o verificar si se está utilizando un nombre de universo correcto. |
No se encuentra la importación con el ID | La importación no ha sido todavía configurada. |
No se encuentra el account ftp con el ID <ftpaccountid> | Splio no puede recuperar archivos del repositorio FTP . La importación no se ha configurado correctamente o aún debe configurarse. |
No es posible abrir el directorio de trabajo “” | El directorio no está presente (por ejemplo, se ha eliminado) o se ha producido un error del sistema. |
No es posible abrir el fichero “<workdir/filename>” | Falta el archivo o está dañado: intente validar el archivo de importación y vuelve a cargarlo. Este mensaje de registro también puede indicar un error del sistema. |
JSON no es válido en el “_imports_config.json” | Si aparece este error en el registro, informa a un agente de Splio lo antes posible. |
Configuración no disponible para <sección> importaciones | Parece que tu archivo de configuración no contiene una configuración para esta sección. Si ves este error en tu registro, informa a un agente de Splio lo antes posible. |
No se encuentra la configuración para la importación de la sección denominada “” | Si aparece este error en el registro, informa a un operador de Splio lo antes posible. |
Falta el valor de configuración obligatorio “” | Si aparece este error en el registro, informa a un operador de Splio lo antes posible. |
Formato incorrecto para el valor de configuración '<$field>'. | Si aparece este error en el registro, informa a un operador de Splio lo antes posible. |
No es posible analizar el encabezado del fichero | Este error suele indicar que la codificación del archivo de importación es incorrecta. Asegúrate de que el archivo está codificado en UTF-8 y vuelve a subirlo. |
No es posible analizar la línea (:)** | Indica un problema con una línea específica del archivo. Deberías poder abrir el archivo y revisar la línea indicada. |
Updated 3 months ago