Orlando Murcia Perdomo
Para los que les generaba la duda, un stack dentro de pytorch puede entenderse como un array de tensores (Si estoy mal corrijanme) y permite apilar tensores un sobre otro en una dimension determinada, como el parametro no se especifica esta por default 0. Permiten realizar operaciones de manipulación de tensores complejas.
Diego Sepúlveda
Profesor habló del tema sobre .map vs transform. Pero no sería una ventaja tener los datos con map listos para que luego el siguiente proceso sea más rápido? Entiendo que un .map sobre 100K puede ser lento y que hacer la transformación a medida que se ocupe sea mejor, pero no otorga otra ventaja hacerlo con el map antes? Lo digo para ver si entiendo bien
Nixon Rolando García Ramírez
return_tensors ( stro TensorType , opcional ): si se establece, devolverá tensores en lugar de una lista de enteros de Python. Los valores aceptables son: 'tf': Devuelve tf.constantobjetos TensorFlow. 'pt': Devuelve torch.Tensorobjetos PyTorch. 'np': Devuelve np.ndarrayobjetos Numpy
Aqui pongo la documentacion de feature extractor. https://huggingface.co/docs/transformers/main_classes/feature_extractor#transformers.SequenceFeatureExtractor.pad.return_tensors
Massimo Angelini
Tengo una duda: el feature extraction ¿qué fase del transformer es? Es decir, se trata de: a) El escalado de las fotos para el tamaño que admite el modelo b) La creación de los patches que luego se procesarán para generar un embedding c) El embedding en sí de las imágenes.
Por la respuesta de la función, tengo la impresión que es el a), ya que de lo contrario en b) veríamos más dimensiones más allá de un (1,3,200,200) donde 200x200 es la imagen, 3 es el RGB y 1 es la imagen entiendo. Si fuera b) sería algo tipo (9, 3, 200, 200) dividiendo la imagen en 9 patches. En el caso de c) sería un vector; así pues me queda que es a), pero me gustaría asegurar.
Por otro lado, cómo es que el modelo ya viene con un feature extraction? Esto ocurre para todos los modelos publicados en hugging face o es una especie de buenas prácticas que la gente intenta mantener?
Gracias de antemano
Robinson Raúl Ríos Vicuña
Aplique la función de manera un poco mas directa de la siguiente forma.
def preprocess_data(example):
return feature_extractor(example['image'], return_tensors='pt')
prepared_ds = dataset.map(preprocess_data, batched=True, remove_columns=(['image_file_path', 'image']))
Se llega al mismo resultado
prepared_ds['train'][0:2].keys()
dict_keys(['labels', 'pixel_values'])
Juan Carlos Montilla Sánchez
def process_example(example): inputs = feature_extractor(example["image"], return_tensors="pt") inputs["labels"] = example["labels"] return inputs ```en el último return, debe retornar inputs en plural y no en singular
Jonathan Cristian Villamea
Si a alguien le sirve me funciono esta sintaxis en una parte del video. Saludos
process_example(example=ds["train"][10])
MARIA TERESA PANIAGUA RIVERA
Gracias
Nixon Rolando García Ramírez
return_tensors ( stro TensorType , opcional ): si se establece, devolverá tensores en lugar de una lista de enteros de Python. Los valores aceptables son: 'tf': Devuelve tf.constantobjetos TensorFlow. 'pt': Devuelve torch.Tensorobjetos PyTorch. 'np': Devuelve np.ndarrayobjetos Numpy
