Fitoria.net

Django Suite IV: Hablemos un poco de caché.

fitoria — Wed, 16 Jan 2013 21:40:00 -0600

Decía Phil Karlton "Solo hay dos cosas dificiles en las ciencias de la computación: invalidación de caché y nombrar cosas."

En esta entrega de la serie Django Suite - después de mas de un año de ausencia - hablaré sobre el framework de caché de Django.

Principios de caché

Cuando hacemos un sitio, especialmente si estamos comenzando no tomamos en cuenta el desempeño del sitio y la cantidad de tiempo de procesamiento por cada petición. El tiempo de procesamiento de un sitio está afectado por varios factores el mas importante la cantidad de consultas que realizamos a la base de dato por cada request, generalmente estas varían según la complejidad de nuestras vistas y el tipo de usuario (anónimo o autenticado) que tengamos en el sitio.

Para mejorar el desempeño del sitio se usa el caché que no es mas que un almacenamiento rápido, generalmente en RAM, que nos evita recaer en operaciones de cálculo pesadas como lo son hacer muchas consultas de base de datos la lógica de las vistas y el renderizado de las mismas en la plantilla que normalmente son realizadas haciendo lectura/escritura de disco duro que agrega mas tiempo a la receta.

Hacer caché de datos no es tan dificil, lo dificil es saber cuando los datos cacheados ya no son válidos y debemos de recalcular de nuevo para construir un nuevo caché, de ahí la frase del inicio del post.

Caché framework

Django contiene un framework de caché que abstrae las operaciones básicas, sin que nosotros tengamos que preocuparnos por el motor de caché que usemos, por defecto Django soporta Memcached, caché en base de datos, caché en el sistema de archivos y memoria local, siendo no muy recomendados estos últimos tres.

Pero como todo en Django la comunidad da soporte para otros motores de caché opensource muy buenos ademas de memcached, como por ejemplo:

Varnish con django-varnish
Redis con django-redis-cache

Caché de vistas

Django nos provee con el decorador cache_page para hacer caché a una vista, el decorador lo que hace es lo siguiente.

Si la vista ha sido cargada por primera vez, hace todas las operaciones y la guarda en caché con tiempo de vencimiento designado en la llamada del decorador, caso contrario carga el resultado de la vista desde caché.

Ejemplo:

from django.views.decorators.cache import cache_page

@cache_page(60 * 15)
def my_view(request):
    ....

El valor de 60 * 15 representa la duración de la validez del caché en segundos, en este caso 15 minutos, se acostumbra mucho para asignar valores de vencimiento poner multiplicaciones de la cantidad de segundos en un minuto (60) por el número de minutos deseado.

En el caso que la vista tuviera parámetros como un mi_vista(request, post_id) el caché ser haría de manera individual por cada valor de post_id que tengamos presente. Mas detalles de esto en la documentación oficial.

Caché de fragmentos de plantillas

Fragmentos plantillas también pueden ser cacheadas, esto es especialmente útil para fragmentos que repetimos en casi todas las páginas, por ejemplo elementos de menú dinámicos, columnas de 'últimas noticias' o 'últimos post' en caso de ser un blog.

Ejemplo:

{% load cache %}
{% cache 500 menu %}
    .. mi super menu de página ..
{% endcache %}

Igual acá la template tag de cache acepta como parámetros la duracion en segundos, el nombre del fragmento y el conjunto de variables que deseamos establecer en el cache.

Este conjuto de variables es tremendamente útil para hacer caché en diversas situaciones tales como si el usuario está o no autenticado, el lenguaje del navegador del usuario ( en caso que usemos la opción de internacionalización y localización del sitio ), valor de alguna varible que usemos que puede modificar el resultado de la plantilla entre otros.

Ejemplo en código fuente de la vida real acá.

Generalmente la mejor documentación es el código fuente, y para verdaderamente entender y jugar con esta template tag recomiendo que vean como está hecha en este archivo

Caché manual

Si queremos verdaderamente sacar provecho al framework de caché de django tenemos que tomar ventaja del API de caché manual. Los motores de caché se basan en almacenamiento de llave-valor (hashmap) o en lo que python seríá un equivalente al tipo diccionario.

El api de caché es bastante simple, podemos ver su uso en el siguiente código fuente:

#importamos el objeto caché
from django.core.cache import cache

#guardamos algo en el cache con expiración de 60 segundos
cache.set('a', 'un valor cacheado', 60)
#leemos algo desde cache
valor = cache.get('a')
#borramos 'a' del cache 
cache.delete('a')

Básicamente esa es el API de bajo nivel, si nosotros ponemos como valor de tiempo 0 el caché nunca se vencerá y tendremos que eliminarlo manualmente a posteriori.

Trucos con el caché manual.

El caché manual es tremendamente útil usándolo en conjunto con modelos. Un ejemplo sencillo y fácil de implementar es un menú dinámico, recientemente programé uno que se veía algo así:

#models.py
from django.db import models
from django.core.cache import cache 
 
class Menu(models.Model):
    titulo = models.CharField(max_length=50)
    url = models.URLField()
    peso = models.PositiveIntegerField(default=0,
            help_text="peso del elemento del menú, entre mayor sea el número mas hacia el fondo estará el elemento")
 
    def save(self, *args, **kwargs):
        #primero guardamos
        return_value = super(ElementoNavegacion, self).save(*args, **kwargs)
        #invalidamos el cache antiguo de menu
        cache.delete('menu')
        #creamos el nuevo cache refrescado
        cache.set('menu', Menu.objects.all(), 0)
        return return_value
 
    def __unicode__(self):
        return "%s (%s)" % (self.titulo, self.url)

Se creó un context manager para tener la lista del menú en todas las plantillas.

   #context manager para el menú.
   from django.core.cache import cache 
    
   from models import Menu
    
   def menu_context_manager(request):
       #probamos si esta el elemento en caché
       valor = cache.get('menu')
       #si no está leemos de la base de datos
       if not valor:
           valor = Menu.objects.all()
           #lo cacheamos
           cache.set('menu', valor, 0)

       return {'menu': valor}

Haciendo esto se ahorran un par de consultas a la base de datos y por ende la velocidad de carga del sitio aumenta.

Despedida

En resumen hemos visto una introducción al cache framework de Django, espero que les haya servido y tendré que hacer un post de continuación para exponer otros casos de uso del caché manual y trucos con el API, además del caché al lado del servidor de archivos estáticos y del lado del navegador.

Django Suite III: Usando virtualenv y pip.

fitoria — Mon, 28 Nov 2011 11:30:00 -0600

Tercera entrega de la serie sobre Django, esta vez no hablaré del framework en si, sino de un par de herramientas básicas del ecosistema de Python para ayudarnos a ser mas ordenados a la hora de desarrollar proyectos.

Virtualenv es una herramienta que nos ayuda a crear ambientes aislados para Python en palabras mas simples instala las bibliotecas e intérprete en una carpeta separada a la de nuestra instalación en el sistema operativo, la ventajas están en que nos provee una manera fácil, rápida, segura y reproducible de hacer desarollo y pruebas de diversas aplicaciones.

Por otra parte pipes una herramienta para instalar paquetes de Python desde el Python Package Index que es el repositorio comunitario de paquetes. En conjunto con virtualenv, pip nos ayuda a tener todo organizado y limpio.

Usando Virtualenv

Primeramente lo instalamos con nuestro manejador de paquetes favorito, en caso de ubuntu el paquete se llama "python-virtualenv" luego procedemos a crear nuestro primer ambiente virtual.

virtualenv primer_ambiente --no-site-packages

Donde primer_ambiente es el nombre que deseamos ponerle y--no-site-packages es un parámetro para que se cree un ambiente totalmente limpio tal y como fuera una instalación básica de python sin ninguna biblioteca extra. La ejecución de este comando creará una carpeta en el directorio en donde lo ejecutamos, recomiendo crear en su directorio $HOME una carpeta llamada virtualenvs para guardar todos los que vayamos creando en un solo lugar. Para activarlo hacemos lo siguiente:

source /path/a/primer_ambiente/bin/activate

Sabremos que está activo por que en nuestra consola aparecerá (primer_ambiente) en el prompt, ya en nuestro ambiente podremos usar pip para confirugrarlo a nuestro gusto.

Para volver a la normalidad usamos el comando:

deactivate

Usando pip

La función principal de pip: instalar, actualizar y eliminar paquetes nos enfocaremos en esas tres funciones.

Instalar:

pip install django

pip install django==1.3.1

La primera línea instalaría django en la versión mas actual del pypi, mientras que en la segunda con el operador de igualdad podemos forzar la instalación de una versión específica de django o cualquier paquete requerido, esto es muy útil a la hora de tener incompatibilidades o código legacy.

Desinstalar

pip uninstall django

Simplemente elimina el paquete especificado.

Actualizar

pip install django --upgrade

Instalará la versión mas actual del paquete ya instalado previamente.

Congelar

pip freeze > requirements.txt

Esto produce un archivo de requemientos en el formato que pip puede entender, el archivo de requerimientos detalla las dependencias que tiene un ambiente, su formato acepta tanto origenes del pypi, paquetes en formato tar.gz repositorios en git, mercurial y svn. Comúnmente nos encontraremos de un requirements.txt en muchos proyectos.

Si ejecutamos este comando en primer_ambiente seguramente tendremos un par de requerimientos, django que hemos instalado manualmente y distribute, que viene por defecto.

Instalar desde un archivo de requerimiento.

pip install -r requirements.txt

Esto leerá el archivo de requerimientos y lo instalará en el ambiente actual.

¿De qué nos sirve todo esto?

Simple: orden, orden, orden! Ventajas de usar virtualenv + pip:

reproducible
fácil de compartir por medio del archivo de requerimiento
no afecta los paquetes del sistema
nos ayuda a la hora de hacer deployments con django.

Ahora repitan conmigo: "todo proyecto de django deberá tener su propio virtualenv"

Lectura extra:

Virtualenvwrapper: un interesante proyecto que provee comandos mas fáciles de recordar para crear, usar y activar virtualenvs.

Django Suite II: Configurando nuestro proyecto de manera correcta.

fitoria — Sun, 20 Nov 2011 23:56:00 -0600

En esta entrada abordaremos un tema importante: la configuracióndel proyecto. Como dije en la entrada anterior, en configuraciones tampoco hay una manera definitiva de hacer las cosas ya que la flexibilidad de Django nos lo permite.

Django usa archivos Python para guardar configuraciones, aprovecha la manera de trabajar del lenguaje para hacer archivos de configuración fáciles de leer, extender y utilizar dentro de nuestros proyectos.

Normalmente al iniciar una aplicación creamos un proyecto en blanco con el comando startproject que nos crea una carpeta con los archivos necesarios para iniciar.

Por defecto estas configuracionestienen ciertos valores de los cuales normalmente nos molestaremos en cambiar sólo algunas, como configuración de bases de datos, ubicación de archivos estáticos y servidor de correo.

Acá algunos trucos para hacer estas configuraciones de manera dinámica y distribuibles para usarse en sistemas de control de versiones:

Separación del archivo settings.py

Este archivo contiene muchas veces datos sensibles que no pueden ser publicados o simplemente varían de una estación de trabajo a otra, por lo que conviene separarlo con un archivo extra que por convención lo llamamos"settings_local.py" acá deberán ir estas configuraciones:

DATABASES
ADMINS
DEBUG
TEMPLATE_DEBUG
SECRET_KEY (si lo vas a hacer código libre y público)
Claves privadas en caso de usarse( ej. alguna clave de API de terceros)
Configuraciones de correo.

Ejemplo:

Como prodrán ver acá incluyo una configuración extra llamada PROJECT_DIR que usaremos luego. Para mandar a llamar este nuevo archivo en el inicio de nuestros settings.py incluimos la siguiente línea:

from settings_local import *

Dinamizando las rutas de archivos estáticos.

Django requiere rutas de archivos para cargar archivos estáticos y definir donde estarán nuestras plantillas, para hacer esto de manera dinámica y distribuible usamos un poco de Python. En el archivo settings_local definimos PROJECT_DIR, que no es mas que la ruta del directorio donde se encuentra dicho archivo, a partir de éste armaremos MEDIA_ROOT, TEMPLATE_DIRS y STATIC_ROOT

Ejemplo:

gitignore

Si vas a usar git u otro sistema de control de versiones recomiendo agregar ciertos archivos al ignore de tu SCM para git tengo un ejemplo acá será similar para otros sistemas.

Presentando django-initkit.

Para no hacer todo estas configuraciones cada vez que tengamos que iniciar un proyecto he creado django-initkit que es un proyecto simple que sobrecarga el comando startproject para hacer automáticamente todo lo que describí en este post. Para instalarlo puedes hacerlo desde Pypi (pip install django-initkit) o haciendo checkout desde github.

Su uso es igual a django-admin.py, nada más que el nombre del comando es django_initkit.py

Ejemplo:

django_initkit.py startproject foo

Espero que les haya gustado el post de hoy, pueden sugerir mas temas en los comentarios.

Django Suite I: Iniciar con Django.

fitoria — Mon, 14 Nov 2011 13:57:00 -0600

Esta es una parte de una serie de post semanales que estaré dedicando a distintos temas de Django. El titulo Django Suitees un pequeño juego de palabras ya que el nombre del framework fue inspirado por el gran guitarrista de jazz Django Reinhardt y suite que se define como un tipo de pieza musical compuesta por varios movimientos breves.

Para el primer movimiento empezaré con lo básico el inicio,no voy a realizar un tutorial de como iniciar en Django por que hay muchos ya en internet que son útiles pero debido a que muchas personas me preguntan cual es la mejor manera de iniciar con Django hago este post para guiarlos un poco sobre lo que las guías dan por hecho pero que nos pueden hacer perder algo de tiempo buscando por ahí.

Sinceramente no hay bala de plata para lograr cabalgar al pony sino por que el proceso de aprendizaje varía de quien en quien, lo que si puedo decir es que Django es uno de los proyectos mejor documentadosque existen, casi todo el framework menos algunas funciones internas muy poco usadas están descritas en https://docs.djangoproject.com/ en la dirección anterior puedes navegar fácilmente todos los temas.

La documentación es muy buena pero no te servirá de nada si no tienes un conocimiento básico de Python lo bueno es que existen libros como este y tutoriales completos como este otro. Cosas a tener muy en cuenta para conocer en python primero:

Definición, uso y construcción de módulos en Python.
Definición y uso de funciones del tipo genérica, [uso de parámetros *args y *kwargs][].
Uso y construcción de expresiones regulares básicas.
Programación orientada a objetos y herencia de clases.
Como instalar paquetes de python desde PyPi.

Django depende bastante de estos cuatro puntos anteriores, por ejemplo sin conocer mucho de expresiones regulares no podrán construir urls.

Herramientas

Todo lo que necesitas es el interprete de python, django instalado, un navegador web y tu editor de texto favorito. Existen también algunos IDE con soporte a Django como Wingware y soporte para Python en Eclipse trabaja con lo que te sientas mas cómodo.

Para motor de base de datos puedes elegir Postgres, MySQL, SQLite3, SQL Server y Oracle igual que el punto anterior, usa tu favorito.

Modo de Trabajo

Tienes que tomar en cuenta que Django es un framework que usa el patrón MVC por lo que preferiblemente y por el bien de tu código debes de separar muy bien la lógica, presentación y datos de tu aplicación, si ves que esto se mezcla estás haciendo algo mal.

Django es modulare introduce el concepto de "aplicaciones plugables" que no son mas que módulos de Python encapsulando una parte de funcionalidad de tu aplicación web. Ejemplo práctico: Tenemos una página con un foro, un blog y una galería de fotos nuestro proyecto tendría como mínimo tres aplicaciones django separando la sección de blog, galería y foro. Este tipo de diseño hacen que existan mucho código libre de aplicaciones que simplemente conectamos con nuestro proyecto, si tiene nombre es muy probable que haya una aplicación de django para eso!

Si no me crees ve a http://djangopackages.com/ y busca las múltiples alternativas para resolver un problema que tengas. Normalmente en mis proyectos uso al menos una aplicación creada por terceros y eso nos facilita la vida tremendamente. En la práctica gracias a esto podemos hacer un sitio con registro de usuarios, confirmación de correo, manejo de avatares, perfiles de usuarios, blog, menús dinámicos en menos de media hora, sin tomar en cuenta el tiempo que nos llevaría realizar el diseño en html.

Django también provee un motor de plantillas sencillo de entender pero a la vez muy poderoso que permite separar los roles entre el frontend y backend, haciendo mas sencillo el trabajo en equipos.

Mantenerse al día

Como todo en la vida y mas en el mundo de la programación y tecnología es una necesidad mantenerse informado con lo último. Acá una pequeña lista de sitios que pueden ayudar:

Te invito a probarlo y te aseguro que te engancharás enseguida, si le dedicas algo de tiempo podrías comenzar a hacer sitios web completamente funcionales en menos de una semana.

El fin.

PD. Puedes dejar sugerencia sobre nuevos temas en los comentarios.

Taller Django!

fitoria — Tue, 26 Oct 2010 22:16:00 -0600

Hoy se llevó a cabo un el primer taller sobre Django en Nicaragua, la cita se dió en SIMAS y estuve compartiendo con los asistentes sobre como hacer una pequeña aplicación de blog en este framework y la experiencia de SIMAS. Acá les dejo la presentación que utilicé:

Django

View more presentations from Adolfo Fitoria.

Hay algunas fotos haciendo click acá

Django template filter para obtener thumbnails de youtube.

fitoria — Sat, 16 Oct 2010 11:22:00 -0600

Acá les dejo un Django template filter para obtener el thumbnail de un video de youtube a partir de su url, ejemplo de uso:

<img src="{{video.url|youthumbnail: 's'}}"/>

Tiene dos parámetros de tamaño 's' para un thumbnail pequeño y 'l' para un thumbnail grande.

Ver en DjangoSnippets

¿Cómo agregar editores HTML al django admin?

fitoria — Mon, 11 May 2009 20:06:00 -0600

Django trae una feature que es simplemente genial: interfaz administrativa generada automáticamente como parte del framework. Esta interfaz ahorra mucho tiempo de desarrollo el cual podés usar para dejar mas bonita tu aplicación Django. Esta interfaz se puede customizar hasta cierto punto pero desgraciadamente no trae un editor de HTML WYSIWYGbonito de esos que se usan para poner un post en un blog o foro que permiten que alguien sin conocimientos de HTML pueda dar estilo a lo que escribe de manera sencilla y parecido a una suite ofimática.

Para esto tenemos disponibles una gran cantidad de editores hechos en javascriptlibres y gratuitos disponibles en la red. En este caso usaremos mi preferido TinyMCE el cual es muy popular y es el editor por defecto de Wordpress. Este editor funciona con los campos definidos como TextField

Paso 1: Bajar TinyMCE

Paso 2. En un proyecto de Django agregar la carpeta de TinyMCE a la locación donde guarden su javascript

Paso 3. Agregar el siguiente archivo para configurar el aspecto dentro de una carpeta llamada editores (o como quieran ponerle) en la misma ubicación del paso 2.

Paso 4. En el admin.py de la aplicación en la cual desean tener el editor hacer algo como esto: (ver comentarios)

Paso 5. Probarlo!!! y si hicieron todo bien sale asi:

[][]Bajar projecto de Django de demostración

[]: http://fitoria.net/wp-content/uploads/2009/05/tinymcedjango.png