He comenzado a trabajar en un proyecto personal para recopilar y analizar comentarios de foros de internet. En esta primera "fase" solo implementaré para mediavida. La idea es que el proyecto sea fácilmente escalable y que el día de mañana el tema de añadir nuevos portales sea lo más sencillo posible.
La idea nace de lo que se hacía antiguamente en canales de IRC, donde un bot recopilaba información y con ella se generaban páginas de estadísticas curiosas como: El usuario que más habla, el que dice más palabrotas, el que comparte más enlaces, al que más nombran, etc... etc...
Web lanzada: https://buzaco.es/
Lado del Servidor
- PostgreSQL database engine
- Gunicorn a Python WSGI HTTP Server for UNIX
- Flask v2.x a lightweight WSGI web application framework
- Flask APScheduler for periodically tasks
- Flask Babel for i18n and l10n support
- Flask WTF for WTForms, including CSRF, file upload, and reCAPTCHA
- Flask Assets for integrate webassets (Asset management for Python web development)
- webassets-rollup a filter for compiling assets using Rollup and webassets
- Flask SQLAlchemy v2.x for SQLAlchemy ORM support
- Psycopg2 drives to connect with postgresql
- Flask Compress to easily compress responses with gzip, deflate or brotli
- Flask Migrate an extension that handles SQLAlchemy database migrations for Flask applications using Alembic
- NodeJS a JavaScript runtime built on Chrome's V8 JavaScript engine
- PostCSS a tool for transforming CSS with JavaScript
- Tailwindcss a utility-first CSS framework
- AutoPrefixer to parse CSS and add vendor prefixes to rules by Can I Use
- CSSnano for modern CSS compression
- RollupJS a module bundler for JavaScript
- rollup-plugin-alias for defining aliases when bundling packages
- rollup-plugin-terser to minify generated ES bundle
- PostCSS a tool for transforming CSS with JavaScript
- Pillow for generate png images
- lxml for processing XML and HTML
- cssselect parses CSS3 Selectors and translate them to XPath 1.0 expressions
- distro provides information about the OS distribution
- html2text convert html to text
- También se usan paquetes como urllib...
Lado del Cliente
- ChartJS for responsive charts
- JQuery for easy dom interaction and more...
- Underscore for useful functional programming helpers
Espero tener datos "curiosos" que mostrar en breve... iré actualizando el hilo.