Sono diventato scemo a forza di provare e poi ho scoperto che sembra essere un baco del framework.
Questo il problema: caricare una bitmap in una picture box (winform) e cancellare l'immagine associata
Se si carica la bitmap con il comando
Me.picImmagine.Image = Image.FromFile(Path)
il file viene lockato e non c'è verso di cancellarlo anche facendo il dispose.
Così funziona:
Dim file As New IO.FileStream(Path, IO.FileMode.Open)
Dim b As Bitmap = DirectCast(Image.FromStream(file), Bitmap)
file.Close()
Me.picImmagine.Image = b