Sí y No. Depende mucho de cómo el programa se vincule con el sistema operativo, dónde guarde todos sus archivos usados (tanto bibliotecas como configuraciones) y si de alguna manera utiliza un esquema de licencias que lo vincule a algo como los códigos MAC del hardware.
Como ejemplo: La mayoría de los programas bajo Windows tienen tantos lugares donde añaden nuevos archivos y configuraciones que se convierte en una tarea casi inviable transferirlo todo. Es mucho menos molesto simplemente instalar el programa de nuevo desde el medio de instalación original que tratar de averiguar todas las diferentes bibliotecas que requiere, donde están todas sus configuraciones de registro, si utiliza algún otro almacén de configuración también, etc. etc.
Lo mismo se aplica a muchos de estos programas en otros sistemas también. Por ejemplo, los programas en Linux pueden tener varias dependencias y tener al menos una carpeta de configuración bajo el directorio personal del usuario.
Hay programas hechos específicamente para trabajar de la manera que usted quiere en este caso. Como una forma sencilla de lograr esto para Windows tal vez mirar en alguna cosa como PortableApps.com - Software portátil para USB, portátil, y unidades de nube