Cómo crear un panel de análisis en una aplicación Django

¡Hola amigos!

Python , visualización de datos y programación son los temas a los que me dedico profundamente. Por eso me gustaría compartir con ustedes mis ideas, así como mi entusiasmo por descubrir nuevas formas de presentar datos de manera significativa.

El caso que voy a cubrir es bastante común: tienes datos en el back-end de tu aplicación y quieres darle forma en el front-end. Si tal situación le suena familiar, este tutorial puede resultarle útil.

Después de completarlo, tendrá una aplicación impulsada por Django con tablas dinámicas y gráficos interactivos .

Prerrequisitos

Para seguir los pasos con confianza, necesita un conocimiento básico del marco de Django y un poco de creatividad . ✨

Para seguir adelante, puede descargar la muestra de GitHub.

Aquí hay una breve lista de herramientas que usaremos:

  • Python 3.7.4
  • Django
  • Virtualenv
  • Gráficos y tablas dinámicas Flexmonster (biblioteca JavaScript)
  • SQLite

Si ya ha configurado un proyecto de Django y se siente seguro sobre el flujo básico de creación de aplicaciones, puede ir directamente a la sección Conectar datos a Flexmonster que explica cómo agregarle componentes de visualización de datos.

¡Empecemos!

Empezando con Django

Lo primero es lo primero, asegurémonos de haber instalado Django en su máquina. La regla general es instalarlo en su entorno virtual configurado previamente, una herramienta poderosa para aislar sus proyectos entre sí.

Además, asegúrese de haber activado en un directorio recién creado. Abra su consola y arranque un proyecto de Django con este comando:

django-admin startproject analytics_project

Ahora hay un nuevo directorio llamado analytics_project. Comprobemos si hicimos todo bien. Vaya a analytics_projecte inicie el servidor con un comando de consola:

python manage.py runserver

Abra //127.0.0.1:8000/en su navegador. Si ves este impresionante cohete, entonces todo está bien:

A continuación, cree una nueva aplicación en su proyecto. Vamos a nombrarlo dashboard:

python manage.py startapp dashboard

Aquí hay un consejo : si no está seguro de la diferencia entre los conceptos de aplicaciones y proyectos en Django, tómese un tiempo para aprender sobre ello y tener una idea clara de cómo se organizan los proyectos de Django.

Aquí vamos. Ahora vemos un nuevo directorio dentro del proyecto. Contiene los siguientes archivos:

__init__.py para hacer que Python lo trate como un paquete

admin.py - configuración de las páginas de administración de Django

apps.py - ajustes para las configuraciones de la aplicación

models.py - clases que serán convertidas a tablas de base de datos por el ORM de Django

tests.py - clases de prueba

views.py - funciones y clases que definen cómo se muestran los datos en las plantillas

Posteriormente, es necesario registrar la aplicación en el proyecto.

Vaya a analytics_project/settings.pyy agregue el nombre de la aplicación a la INSTALLED_APPSlista:

INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.messages', 'django.contrib.staticfiles', 'dashboard', ]

Ahora nuestro proyecto conoce la existencia de la aplicación.

Puntos de vista

En el dashboard/views.py, crearemos una función que dirige al usuario a las plantillas específicas definidas en la dashboard/templatescarpeta. Las vistas también pueden contener clases.

Así es como lo definimos:

from django.http import JsonResponse from django.shortcuts import render from dashboard.models import Order from django.core import serializers def dashboard_with_pivot(request): return render(request, 'dashboard_with_pivot.html', {})

Una vez llamada, esta función se renderizará dashboard_with_pivot.html, una plantilla que definiremos pronto. Contendrá los componentes de la tabla dinámica y los gráficos dinámicos.

Algunas palabras más sobre esta función. Su requestargumento, una instancia de HttpRequestObject, contiene información sobre la solicitud, por ejemplo, el método HTTP utilizado (GET o POST). El método renderbusca plantillas HTML en un templatesdirectorio ubicado dentro del directorio de la aplicación.

También necesitamos crear un método auxiliar que envíe la respuesta con datos a la tabla dinámica en el front-end de la aplicación. Llamémoslo pivot_data:

def pivot_data(request): dataset = Order.objects.all() data = serializers.serialize('json', dataset) return JsonResponse(data, safe=False)

Probablemente, su IDE le está diciendo que no puede encontrar una referencia Orderen models.py. No hay problema, lo solucionaremos más tarde.

Plantillas

Por ahora, aprovecharemos el sistema de plantillas de Django.

Creemos un nuevo directorio templatesdentro dashboardy creemos la primera plantilla HTML llamada dashboard_with_pivot.html. Se mostrará al usuario cuando lo solicite. Aquí también agregamos los scripts y contenedores para los componentes de visualización de datos:

  Dashboard with Flexmonster 

Asignación de funciones de vistas a URL

Para llamar las vistas y mostrar las plantillas HTML renderizadas al usuario, necesitamos mapear las vistas a las URL correspondientes.

Aquí hay un consejo: uno de los principios de diseño de URL de Django dice sobre el acoplamiento flexible, no deberíamos crear URL con los mismos nombres que las funciones de Python.

Go to analytics_app/urls.py and add relevant configurations for the dashboard app at the project's level.

from django.contrib import admin from django.urls import path, include urlpatterns = [ path('admin/', admin.site.urls), path('dashboard/', include('dashboard.urls')), ] 

Now the URLs from the dashboard app can be accessed but only if they are prefixed by dashboard.

After, go to dashboard/urls.py (create this file if it doesn’t exist) and add a list of URL patterns that are mapped to the view functions:

from django.urls import path from . import views urlpatterns = [ path('', views.dashboard_with_pivot, name="dashboard_with_pivot"), path('data', views.pivot_data, name="pivot_data"), ]

Model

And, at last, we've gotten to data modeling. This is my favorite part.

As you might know, a data model is a conceptual representation of the data stored in a database.

Since the purpose of this tutorial is to show how to build interactive data visualization inside the app, we won’t be worrying much about the database choice. We’ll be using SQLite - a lightweight database that ships with the Django web development server.

But keep in mind that this database is not the appropriate choice for production development. With the Django ORM, you can use other databases that use the SQL language, such as PostgreSQL or MySQL.

For the sake of simplicity, our model will consist of one class. You can create more classes and define relationships between them, complex or simple ones.

Imagine we're designing a dashboard for the sales department. So, let's create an Order class and define its attributes in dashboard/models.py:

from django.db import models class Order(models.Model): product_category = models.CharField(max_length=20) payment_method = models.CharField(max_length=50) shipping_cost = models.CharField(max_length=50) unit_price = models.DecimalField(max_digits=5, decimal_places=2)

Working with a database

Now we need to create a database and populate it with records.

But how can we translate our model class into a database table?

This is where the concept of migration comes in handy. Migration is simply a file that describes which changes must be applied to the database. Every time we need to create a database based on the model described by Python classes, we use migration.

The data may come as Python objects, dictionaries, or lists. This time we'll represent the entities from the database using Python classes that are located in the models directory.

Create migration for the app with one command:

python manage.py makemigrations dashboard

Here we specified that the app should tell Django to apply migrations for the dashboard app's models.

After creating a migration file, apply migrations described in it and create a database:

python manage.py migrate dashboard

If you see a new file db.sqlite3 in the project's directory, we are ready to work with the database.

Let's create instances of our Order class. For this, we'll use the Django shell - it's similar to the Python shell but allows accessing the database and creating new entries.

So, start the Django shell:

python manage.py shell

And write the following code in the interactive console:

from dashboard.models import Order >>> o1 = Order( ... product_category="Books", ... payment_method="Credit Card", ... shipping_cost=39, ... unit_price=59 ... ) >>> o1.save()

Similarly, you can create and save as many objects as you need.

Connecting data to Flexmonster

And here's what I promised to explain.

Let's figure out how to pass the data from your model to the data visualization tool on the front end.

To make the back end and Flexmonster communicate, we can follow two different approaches:

  • Using the request-response cycle. We can use Python and the Django template engine to write JavaScript code directly in the template.
  • Using an async request (AJAX) that returns the data in JSON.

In my mind, the second one is the most convenient because of a number of reasons. First of all, Flexmonster understands JSON. To be precise, it can accept an array of JSON objects as input data. Another benefit of using async requests is the better page loading speed and more maintainable code.

Let's see how it works.

Go to the templates/dashboard_pivot.html.

Here we've created two div containers where the pivot grid and pivot charts will be rendered.

Within the ajax call, we make a request based on the URL contained in the data-URL property. Then we tell the ajax request that we expect a JSON object to be returned (defined by dataType).

Once the request is completed, the JSON response returned by our server is set to the data parameter, and the pivot table, filled with this data, is rendered.

The query result (the instance of JSONResponse) returns a string that contains an array object with extra meta information, so we should add a tiny function for data processing on the front end. It will extract only those nested objects we need and put them into a single array. This is because Flexmonster accepts an array of JSON objects without nested levels.

function processData(dataset) { var result = [] dataset = JSON.parse(dataset); dataset.forEach(item => result.push(item.fields)); return result; }

After processing the data, the component receives it in the right format and performs all the hard work of data visualization. A huge plus is that there’s no need to group or aggregate the values of objects manually.

Here's how the entire script in the template looks:

function processData(dataset) { var result = [] dataset = JSON.parse(dataset); dataset.forEach(item => result.push(item.fields)); return result; } $.ajax({ url: $("#pivot-table-container").attr("data-url"), dataType: 'json', success: function(data) { new Flexmonster({ container: "#pivot-table-container", componentFolder: "//cdn.flexmonster.com/", width: "100%", height: 430, toolbar: true, report: { dataSource: { type: "json", data: processData(data) }, slice: {} } }); new Flexmonster({ container: "#pivot-chart-container", componentFolder: "//cdn.flexmonster.com/", width: "100%", height: 430, //toolbar: true, report: { dataSource: { type: "json", data: processData(data) }, slice: {}, "options": { "viewType": "charts", "chart": { "type": "pie" } } } }); } });

Don't forget to enclose this JavaScript code in tags.

Phew! We’re nearly there with this app.

Fields customization

Flexmonster provides a special property of the data source that allows setting field data types, custom captions, and defining multi-level hierarchies.

This is a nice feature to have - we can elegantly separate data and its presentation right in the report's configuration.

Add it to the dataSource property of the report:

mapping: { "product_category": { "caption": "Product Category", "type": "string" }, "payment_method": { "caption": "Payment Method", "type": "string" }, "shipping_cost": { "caption": "Shipping Cost", "type": "number" }, "unit_price": { "caption": "Unit Price", "type": "number" } }

Dashboard's design

To make the dashboard, we’ve rendered two instances of Flexmonster (you can create as many as you want, depending on the data visualization goals you want to reach). One is for the pivot table with summarized data, and the other is for the pivot charts.

Both instances share the same data source from our model. I encourage you to try making them work in sync: with the reportchange event, you can make one instance react to the changes in another one.

You can also redefine the ‘Export’ button’s functionality on the Toolbar to make it save your reports to the server.

Results

Let’s start the Django development server and open //127.0.0.1:8000/dashboard/ to see the resulting dashboard:

Looks nice, doesn't it?

Feedback

This time we learned how to create a simple Django app and display the data on the client side in the form of an analytics dashboard.

I do hope you enjoyed the tutorial!

Please leave your comments below - any feedback on the code’s improvement is highly appreciated.

References

The source code for the tutorial can be found on GitHub.

And here’s the project with Flexmonster & Django integration that inspired me for this tutorial.

Further, I recommend walking through important concepts in the documentation to master Django:

  • Migrations in Django
  • QuerySets
  • Serializing Django objects