El servidor de macOS no está técnicamente muerto, ya que sigue funcionando. Es sólo que Apple ha eliminado de él algunos servicios basados en código abierto en las últimas versiones. Pero entiendo lo que dices.
La mayoría de los paquetes de código abierto se instalarán felizmente en macOS de forma nativa si no están preinstalados por Apple. Sólo tienes que coger el código fuente, luego hacer alguna iteración de ./configure, make, make install para instalarlo. Puede encontrar instrucciones dentro de cada paquete de software (normalmente en los archivos de texto INSTALLING / CONFIGURING), en Internet en el sitio web oficial de cada paquete, o en varios tutoriales en línea.
La gran diferencia es que en lugar de tener una elegante interfaz de usuario en macOS Server para configurarlos, y en lugar de que se instalen con el conjunto de valores predeterminados de Apple amigables con Mac, tiene que configurarlos usted mismo (normalmente mediante la edición de archivos de configuración).
Por suerte, Apple tiene una Guía de Migración de Servicios que le indica cómo migrar de macOS Server a varios servicios de código abierto.
Consejo: Nadie debería ejecutar un servidor FTP en estos tiempos ya que SSH se ejecuta por defecto en la mayoría de los sistemas, y viene con un servicio SFTP muy agradable que es totalmente compatible con muchos clientes FTP.