# Gestion des données

## Toutes vos données visuelles. Un seul endroit.

Agrégez, organisez et explorez des milliards d'images et de vidéos depuis n'importe quelle source. Un référentiel unifié pour toutes vos données de vision par ordinateur.

[Voir en action](/content/demo/index.html) [Documentation](https://documentation.picsellia.com/docs/datalake-3)

DataTags

data
produit
validé
cas-limite

## Stockage

2.4 TB

AWS S3 connecté

## Architecture

### Comment ça fonctionne en coulisses

Se connecte à S3, GCP ou Azure. Ingère tout format d'image ou vidéo. Indexe tout pour que vous puissiez le requêter ensuite.

### Sources

AWS S3

GCP

Azure

## DATALAKE

2.4M assets indexés 
847GB stockage 
12ms latence

## Sorties

Datasets 24
Expériences 156
Déploiements 8

### upload.py

```python
from picsellia import Client

client = Client()
datalake = client.get_datalake()

# Upload with metadata
datalake.upload_data(
  filepaths="./images/*.jpg",
  tags=["production", "batch-42"],
  metadata={"reference": "factory-A"}
)

# Query with filters
data = datalake.list_data(
  tags=["production"]
)
```

Python SDK v6.9.0

Extraction EXIF automatique

### query.py

```python
# Query with tags
data = datalake.list_data(
  tags=["defects"]
)
# ✓ 2,847 results

# Query with custom_metadata filter
data = datalake.list_data(
  custom_metadata={"location": "factory-A"}
)
# ✓ 1,245 results

# Combine tags and dimensions
data = datalake.list_data(
  tags=["production", "validated"],
  limit=1000
)
```

### Support des formats image et vidéo

Ingestion des formats visuels standards

- .jpg   image
- .png   image
- .tiff  image
- .webp  image
- .bmp   image
- .gif   image
- .mp4   vidéo
- .mov   vidéo

### Pipeline de traitement

Génération d'embeddings et indexation en base

En direct

Génération d'embeddings 156 vec/sec
Indexation DB 12ms/img
Taux d'ingestion 2,847 img/min
Sync. stockage 99.9%

## Requêtage de données puissant

Requêtez votre datalake de manière programmatique avec le SDK Python. Filtrez par tags, métadonnées et plus avec des type hints et de l'auto-complétion.

### list_data() PARAMS

- tags : List[str]
- custom_metadata : Dict[str, Any]
- limit : int
- offset : int
- order_by : str

### TAG OPÉRATIONS

- add_tags() ajouter aux données
- remove_tags() retirer des données
- list_tags() obtenir tous les tags
- create_tag() créer un nouveau tag
- FILTRABLE
- tags DataTags
- custom_metadata champs personnalisés
- filename nom de l'asset
- created_at horodatages
- type image/vidéo

### advanced_query.py

```python
# Advanced data query
data = datalake.list_data(
  # Filter by tags
  tags=[
    "production",
    "validated"
  ],
  # Filter by custom_metadata
  custom_metadata={
    "location": "factory-A"
  },
  limit=1000
)

for item in data:
  print(item.filename)
```

EXÉCUTION

2,847 résultats 
23 ms temps de requête 
847 MB scannés

### TAGS CORRESPONDANTS

- production (1,892)
- validated (2,103)
- factory-A (1,245)
- factory-B (892)

## Prêt à créer un dataset

### Recherche visuelle

## Trouvez des images similaires instantanément

Les embeddings OpenCLIP transforment vos images en vecteurs. Recherchez par similarité, regroupez par contenu et détectez les anomalies sans écrire une seule requête.

ViT-B/16

Modèle par défaut 
Taille du vecteur 512-dim

QDrant

Base vectorielle <10ms
Latence de recherche

### Recherche par similarité

Image → Images

cosine similarity > 0.85
847 correspondances

### Recherche texte vers image

Text → Images

"damaged surface with rust"

CLIP text encoder 156 results • 8ms

### Détection d'anomalies

Isolation Forest

contamination: 0.01
23 corrompus 
89 anomalies

### Fine-tunez votre propre modèle CLIP

Les embeddings génériques ne suffisent pas ? Fine-tunez un modèle CLIP sur vos propres données. La recherche et le regroupement s'améliorent considérablement quand le modèle connaît votre domaine.

+40% Meilleure précision

## Organisation

### DataTags et schéma de métadonnées

Organisation multi-dimensionnelle avec un système de tags flexible et un support complet des métadonnées. Structurez vos données sans déplacer de fichiers.

### SYSTÈME DATATAGS

#### TAGS DISPONIBLES

- factory-A (1,245)
- factory-B (892)
- production (1,892)
- training (3,456)
- edge-case (234)
- validated (2,103)

#### EXEMPLE

- inspection_042.tiff
  - 4032x3024 - 12.4MB
  - factory-A production validated Q1-2024

### CHAMPS DE MÉTADONNÉES

```json
{
  // Location & Acquisition
  "latitude": 48.8566,
  "longitude": 2.3522,
  "altitude": 35.2,
  "acquired_at": "2024-03-15T14:32:00Z",
  "acquired_by": "drone-unit-7",
  "weather": "clear, 18C",

// Camera & Sensor
  "focal_length": 24.0,
  "sensor_width": 36.0,
  "manufacturer": "DJI",
  "yaw": 127.5,
  "pitch": -45.0,
  "roll": 0.0,

// Reference Fields
  "reference": "INS-2024-0042",
  "custom_id": "B-789"
}
```

Extraction automatique depuis EXIF avec fill_metadata=True

## Prêt à centraliser vos données ?

Connectez votre stockage, uploadez vos données et commencez à requêter. Essai gratuit, sans carte bancaire.

[Démarrer l'essai gratuit](/content/trial/index.html) [Demander une démo](/content/demo/index.html)