на фтп в корень движка, напиример где папки engine и так далее создаете папку типа forum
заливаете файлы форума туда, устанавливаете форум. для ибры это site.ru/forum/admin/install/index.php кажется..ну зависит от версии

и вуаля, форум установлен..далее идете в ПУ аккаунтом хостинга и создаете субдомен на папку с форумом /forum

ну и все будет вам