Double album de reprises, d'inédits et de versions live, Self Portrait déroute à sa sortie. La critique de Greil Marcus dans Rolling Stone — « What is this shit ? » — est restée célèbre, au point de résumer le disque.

Double album paru en juin 1970, Self Portrait ouvre sur une phrase de critique restée célèbre : « What is this shit? », écrite par Greil Marcus dans Rolling Stone. Le disque mêle reprises hétéroclites — de Simon & Garfunkel à Gordon Lightfoot en passant par des traditionnels —, instrumentaux, prises live de l'Isle of Wight 1969 et quelques compositions originales noyées dans l'ensemble, le tout enrobé d'un habillage orchestral et de chœurs qui tranche radicalement avec l'épure de ses disques précédents.
Dylan expliquera plus tard avoir voulu, par ce geste délibérément déconcertant, décourager le culte de personnalité qui s'était construit autour de lui et casser l'image de porte-parole générationnel dont il cherchait à se défaire depuis des années. Le titre lui-même, ironique, ne désigne pas un autoportrait révélateur mais un assemblage de fragments empruntés — l'exact inverse de ce que le public attend d'un « autoportrait ».
L'accueil critique reste, sur le moment, l'un des plus hostiles de toute sa carrière : le disque est perçu comme une provocation gratuite, voire un signe d'épuisement créatif, à un moment où Dylan semble en effet chercher à se dérober au rôle que la contre-culture continue de lui assigner malgré Nashville Skyline.
Réévalué depuis, notamment lors de la parution en 2013 du dixième volume des Bootleg Series qui lui est consacré, Self Portrait apparaît moins comme un accident que comme un geste conceptuel cohérent — une façon d'affirmer, par la déconstruction même de l'objet « album de Bob Dylan », le droit de ne pas correspondre à l'image que l'on projette sur lui.
Enregistré entre avril 1969 et mars 1970, à Nashville et à New York, dans une période où Dylan se tient volontairement en retrait. L'album mêle standards, traditionnels et reprises, dans une démonstration volontairement déconcertante.
Dylan a laissé entendre plus tard que le disque était en partie une manière de se débarrasser de l'image qu'on lui collait.