Como se podría hacer paginación con DynamoDB?

Si, al hacer queries desde el SDK puedes usar el get_paginator aqui esta la documentacion https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/dynamodb/client/get_paginator.html

aqui un breve ejemplo de como usarlo

dynamodb = boto3.client('dynamodb')
paginator = dynamodb.get_paginator('scan')

scan_params = {
    'TableName': 'musica',
    'Limit': 10,  # Limites por pagina
}

# Iterar en la respuesta usango el paginator
response_iterator = paginator.paginate(**scan_params)