Hizo falta un poco mas de este tema!
Introducción a las notebooks
¿En qué lugares programar para ciencia de datos?
Google Colab: primeros pasos
Google Colab: ciencia de datos
Quiz: Introducción a las notebooks
Configuración de VSCode
Instalar VSCode
Instalar WSL: usa Linux dentro de Windows
Agregar extensiones para VSCode
Uso de VSCode notebooks
Quiz: Configuración de VSCode
Entorno de desarrollo con Anaconda
¿Qué son los ambientes virtuales?
Instalar Conda a través de la terminal
Conda: crear y actualizar ambientes
Conda: abrir VSCode Notebooks con tu ambiente creado
Conda: eliminar ambientes y librerías
Conda: comandos avanzados
Acelerar la creación de ambientes virtuales con Mamba
Bonus: divide y vencerás
Quiz: Entorno de desarrollo con Anaconda
¿Qué sigue con estas herramientas?
Cómo seguir tu camino en ciencia de datos
You don't have access to this class
Keep learning! Join and start boosting your career
If you already have an account,
Resources
How to apply the Divide and Conquer algorithm in virtual environments?
Managing virtual environments in large projects can become a titanic challenge. Opting for the "Divide and Conquer" algorithm can be the key to manage these environments efficiently. This approach allows you to break down a complex problem into smaller, more manageable parts. Here you will discover how to put this strategy into practice when working with virtual environments, saving you hours of potential complications.
What is the Divide and Conquer algorithm?
The Divide and Conquer algorithm refers to a method that solves complex problems by breaking them down into smaller subproblems that are easy to solve separately. Once the individual parts are solved, they are combined to solve the original problem. Applied to virtual environments, it means creating smaller, more specific environments within a large development environment.
Why split a virtual environment?
Virtual environments allow you to maintain independent projects and prevent changes in one from negatively affecting others. However, in a gigantic environment with thousands of dependencies, a simple update could cause instability in the project. This is where partitioning becomes crucial:
- Granular control: Provides greater control over the project and its dependencies.
- Stability: Minimizes the risk of updates causing system-wide conflicts.
- Flexibility: Facilitates the management of updates without impacting other modules.
How to implement this strategy in Conda?
To apply this technique in Conda, follow these key steps:
- File structure: organize your project into specific folders (data, models, notebooks).
- Split environments: Instead of a single
environment.ymlfile, create a newenvironmentsfolder and subdivide it into specific files for each need (e.g.external.yml,model.ymlandcommunication.yml).
This approach will allow you to update only the environment of interest without affecting the rest of the project.
What tool complements this approach?
One tool that perfectly complements this approach is Snakemake. It is a workflow engine that allows you to define project steps in Python, executing them in specialized environments automatically. For example, each step in your workflow could be managed by a different environment ensuring that each stage remains clean and functional.
What advantages does Snakemake offer?
- Automation: Automatically manages the execution of steps in specific environments.
- Project structuring: Define your collection, data processing and model creation stages individually.
- Resource optimization: Avoid unnecessary dependencies by executing only what is necessary at each stage.
Where to learn more about Snakemake?
Although the detailed scope of Snakemake exceeds this content, you can check out the recommended links section to expand your knowledge and discover how to integrate this powerful tool into your data projects.
Keep exploring and learning! The world of data is full of opportunities and tools to optimize your daily work.
Contributions 39
Questions 11
Sort by:
Me gustaría que primero se diera el curso de la terminal y luego este en la escuela de Data Science, para no estar tan loco con la terminal y sus términos.
Les recomiendo fuertemente tomar el curso de terminal antes que este curso
Si desean saber más sobre el divide y vencerás, pueden ir al curso de Configuración Profesional de Entorno de Trabajo para Ciencia de Datos, específicamente a esta clase.
En mi caso nunca había estudiado algo de esto, y por ello considero que fue lo justo y necesario en este curso, si hubiera explicado más profundo no habría entendido nada. Quizás quienes sí tienen base de estudio de esto ya se parecerá fácil, pero para personas como yo que no sabíamos nada de esto, creo que está justo y razonable.
¡Súper este bonus!! De verdad que lo más importante es dividir tú proyectos por ambientes, para que así las dependencias puedan tener sus actualizaciones sin afectar a las otras! Esto es un superbonus! Muchas gracias profe Jesús. 😃
Lectura recomendada
Saludos comunidad, les comparto esta lectura sobre Snakemake:
https://f1000research.com/articles/10-33/v1
Si en esta clase acaban de enterarse de la existencia de Snakemake (como yo) les recomiendo que le echen una hojeada al articulo y lo guarden para una posterior lectura profunda. Como no sabemos mucho de Snakemake aun, nos perderemos del 80% del contenido del articulo leyendolo de principio a fin. Pero nos beneficiara leerlo por completo mas adelante.
Del articulo:
This makes Snakemake one of the most widely used workflow management systems in science.
Esta tecnica de divide y venceras yo la aplico en muchas otras areas, como en el estudio, donde todos los dias trato de estudiar asi sean pequeñas capsulas, que van sumando dia tras dia, y asi en unas semanas, y meses logro completar muchos cursos y rutas de aprendizajes, la clave es la constancia.
Muy interesante. Creo que le falto trabajar más este concepto que es básico.
En el terminal si a alguien no los deja instalar mamba porque les sale este mensaje al final "EnvironmentNotWritableError: The current user does not have write permissions to the target environment."
Lo que me resolvió fue cerrar el terminal y volver a ejecutarlo como administrador, en mi caso estaba usando el terminal de Anaconda.
Puedes crear varios ambientes virtuales por proyecto:
- proyecto_1
- data
- models
- notebook
- envs
- external.yml
- model.yml
- comunication.yml
Con sinceridad, esta ultima parte del curso se me hizo pesado, engorroso y poco practico, si fuera un newbie que esta empezando este mundo de la ciencia de datos, lo ultimo que quisiera es que me vengan a confundir con tecnisismos de “ambientes virtuales” son conceptos muy abstractos, utiles a futuro tal vez, pero que solo hacen que uno se pierda y se confunda, en este caso le tengo que dar manita abajo a la estructura del curso, pienso que como sugerencia esta ultima parte deberia ir en otro curso aparte
En proyectos grandes de ciencia de datos, puede ser complicado mantener un ambiente virtual debido a la gran cantidad de paquetes y dependencias. Una solución a este problema es dividir el proyecto en partes más pequeñas y desarrollar cada paquete a su propio ritmo sin preocuparse por la compatibilidad con otros módulos. Esto se puede lograr creando múltiples ambientes virtuales en un solo proyecto utilizando una estructura de carpetas como la de envs, que contiene tres archivos YML para paquetes externos, modelos y de comunicación.
Para implementar este enfoque, se debe crear una carpeta llamada envs y dentro de ella crear los archivos Y√ML para los tres tipos de paquetes. Para cada paquete, se especifican las versiones de los paquetes y dependencias necesarias. Además, se utiliza Snakemake, un motor de workflows, que permite ejecutar cada paso del proyecto con un ambiente virtual específico.
La ventaja de este enfoque es que permite mantener cada paquete en su propio ambiente virtual, lo que facilita la gestión de dependencias y evita conflictos entre paquetes. Además, la estructura de carpetas envs permite tener múltiples ambientes virtuales en un solo proyecto. Sin embargo, la creación y gestión de múltiples ambientes virtuales puede ser compleja y requiere un mayor esfuerzo de desarrollo.
viendo el tema y comparando con lo visto anteriormente… faltó mas detalle en esta parte y parece algo muy útil!
No sé si seré capaz de finalizar este curso: Sufro de ofidiofobia.
Muy buen consejo, lo que planteas, mas no seria mejor ejecutarlo en colab o deepnote por lo grande de un proyecto, o en alguna solucion como AWS, GCP o Azure
En este capitulo se me hizo similar a como se maneja la programación en java, como modelo vista controlador y cada uno con sus dependencias que entre ellos llegan a hacer un proyecto al final del día jeje
16. Bonus: divide y vencerás
- Resolver un problema grande dividiéndolo en problemas pequeños.
- Creando múltiples ambientes para el mismo proyecto.
- Snakemake
Es muy interesante la estrategia, pero hubiese sido mejor si colocaran una lectura o algo donde pudieramos ver algo mas practico.
Malísima esta clase.
Información resumida de esta clase
#EstudiantesDePlatzi
- En proyectos grandes es un gran reto mantener este proyecto en un solo ambiente, lo mejor es crear varios ambientes para poder llevarlo de mejor manera
Ambientes sugeridos por el profesor:
Comunicación
Externos
Model
Me parece insteresante esta estrategia de divide y venceras. Es mejor tener multiples ambientes en un proyecto para no tener problemas de conflicto.
porfavor necesito subtitular los videoos !
veee genial esta brutal
En el otro curso me imagino que se verá a profundidad, y parece más complejo, pero hay que hacerlo.
Curso de Configuración Entorno para Ciencia de Datos - Platzi
Espero que este tema se toque mas a fondo en proximos cursos de python.
Excelente curso, me encanto
Deberíamos tener un curso o conversatorio a cerca de los diferentes paradigmas de programacion 😁
si, falto mucho mas sobre este tema.
Es un tema que requiere un poco mas de profundidad!
Separar un ambiente en sub ambientes usando snakemake
Me recuerda al MVC :3
Que buen bonus!!!.
.
Excelente curso Jesus. Muchas gracias!!!
No solo Snakemake, también se puede hacerlo con Poetry.
Sin embargo también una requiere establecer un workplace en Visual Studio Code.
No he visto que haya cursos de eso, pero existen muchos post sobre como hacer este tipo de divisiones en Google.
Esta parte de AV estuvo pesada. Me va a tocar verla varias veces.
usage: mamba [-h] [-V] command …
conda is a tool for managing and deploying applications, environments and packages.
Options:
positional arguments:
command
clean Remove unused packages and caches.
compare Compare packages between conda environments.
config Modify configuration values in .condarc. This is modeled after the git config command. Writes to the
user .condarc file (/Users/macbook/.condarc) by default.
create Create a new conda environment from a list of specified packages.
help Displays a list of available conda commands and their help strings.
info Display information about current conda install.
init Initialize conda for shell interaction. [Experimental]
install Installs a list of packages into a specified conda environment.
list List linked packages in a conda environment.
package Low-level conda package utility. (EXPERIMENTAL)
remove Remove a list of packages from a specified conda environment.
uninstall Alias for conda remove.
run Run an executable in a conda environment. [Experimental]
search Search for packages and display associated information. The input is a MatchSpec, a query language
for conda packages. See examples below.
update Updates conda packages to the latest compatible version.
upgrade Alias for conda update.
repoquery Query repositories using mamba.
Want to see more contributions, questions and answers from the community?