La respuesta simple es, como otros han dicho, «no te dejará hacerlo». Pero esta es una respuesta aburrida. ¿Qué pasaría si te dejara hacer eso y realmente intentara ejecutar el instalador de 64 bits en una CPU de 32 bits?
Eso depende. ¿Es el propio instalador de 64 bits o sólo instala el SO de 64 bits, siendo él mismo código de máquina de 32 bits?
* Si el propio instalador es de 32 bits… entonces te dejaría instalarlo. Y cuando intentas arrancar el SO… bueno, también depende, y más sobre eso más adelante.
* Si el propio instalador es de 64 bits, o intentas arrancar el SO de 64 bits ya instalado (y suponiendo que el código máquina realmente se ejecuta)… entonces, sorprendentemente, parte del instalador (o una pequeña parte del SO) puede seguir funcionando. Eso es porque la propia CPU arranca inicialmente en… modo real de 16 bits. No en 32 bits. 16 bits. Exactamente como lo que usaba MS-DOS y las primeras versiones de windows (como se señala en los comentarios, esta parte sólo se aplica a los sistemas sin UEFI, cuando la UEFI está involucrada el sistema directamente se inicia en modo de 32 o 64 bits, y si de alguna manera se logró que la UEFI intente cargar binarios de 64 bits en la CPU de 32 bits, si encuentras alguna que realmente soporte UEFI, probablemente fallaría en la primera instrucción)
Entonces es el trabajo del instalador/OS cambiar al modo de 32 bits (modo protegido), y sólo entonces[*] puede cambiar al modo de 64 bits (modo largo). Y hasta que el SO/instalador intente pasar al modo largo, las cosas funcionarán. Así que la cantidad de cosas que funcionarán, depende de lo tarde que intente hacerlo. Puede ser desde justo antes de mostrar algo en la pantalla, hasta justo antes de hacer algo útil. Es poco probable que muestre alguna interfaz gráfica de usuario, o cargue algún controlador.
¿Qué pasaría después? El sistema operativo se bloqueará y se reiniciará o se colgará, lo más probable es que tu ordenador se quede atascado en un bucle de reinicio, ya que el código de la «pantalla azul de la muerte» puede no ser capaz de ejecutarse todavía.
[*] – también es posible pasar directamente del modo real al modo largo, pero el proceso no está tan bien documentado, así que dudo que se utilice realmente. Pero podría ser. Si lo es, entonces el cambio se produce probablemente tan pronto como sea posible.
Así que TL;DR: Lo más probable es que si de alguna manera se trabaja alrededor de cada salvaguardia para que sea imposible, o el instalador o el sistema operativo instalado se quedará atascado en un bucle de reinicio, colgado, o simplemente mostrará algún mensaje de error extraño si el error se maneja en una etapa tan temprana.