Núcleo de Processamento de Alto Desempenho - NPAD

Habilitando a supercomputação como ferramenta de pesquisa na UFRN

Somente docentes efetivos da UFRN podem solicitar uma conta no NPAD como Coordenador de Pesquisa (CP). Qualquer pesquisador (colaborador externo, pós-doc, doutorando/mestrando, aluno de IC, voluntário) pode solicitar uma conta no NPAD como colaborador, entretanto após solicitar o cadastro será necessário a autorização de um CP para que a conta seja consolidada. No caso de colaboradores, a responsabilidade e os recursos disponíveis serão compartilhados com o CP associado à conta. Também é possível a criação de contas temporárias para turmas de componentes curriculares da UFRN ou para treinamento em eventos específicos. Para isso, é necessário entrar em contato previamente com a equipe do NPAD.

Acesse o link http://npad.imd.ufrn.br/primeirospassos.php, clique em Nova conta e preencha os dados solicitados. Então, aguarde a confirmação da sua conta por parte da nossa equipe.

Caso você esteja utilizando Linux, poderá gerar sua chave pública através do próprio terminal do sistema. Para saber como, verifique nosso Tutorial de Introdução ao Supercomputador para Linux. Se você estiver utilizando Windows, poderá gerar sua chave pública através do software PuTTy. Para saber como, verifique nosso Tutorial de Introdução ao Supercomputador para Windows.

O acesso ao supercomputador do NPAD é feito através de uma conexão do tipo SSH com o nó de login. O endereço do nó de login e os outros dados de acesso são informados no momento da confirmação da conta no NPAD.

Neste caso, você só precisará gerar uma nova chave pública e associá-la à sua conta do supercomputador. Para isso, acesse nossa Página de de Adição de Chave, digite as informações solicitadas e clique em Adicionar. Posteriormente, você será informado via email e, confirmando que foi você mesmo que fez a solicitação, basta clicar no link indicado para validar a nova chave.

Sim. Para isso, você precisará gerar novas chaves RSA (conforme explicado nos tutoriais), para cada máquina diferente que você pretende utilizar e, então, deverá acessar nossa Página de Adição de Chave, digitar as informações solicitadas e clicar em Adicionar. Posteriormente, você será informado via email e, confirmando que foi você mesmo que fez a solicitação, basta você clicar no link indicado para validar a nova chave. Repita esse procedimento cada nova chave a ser cadastrada.

O acesso ao supercomputador do NPAD só será possível através de um par de chaves pública/privada, não sendo necessário nem possível a utilização de senha de acesso. Para saber como gerar um par de chaves no Linux, basta acessar nosso Tutorial de Introdução ao Supercomputador para Linux, ou ainda, caso esteja utilizando Windows, poderá gerar suas chaves através do programa PuTTyGen, conforme explicado no nosso Tutorial de Introdução ao Supercomputador para Windows.

É permitido a qualquer usuário fazer instalação de programas dentro do seu diretório pessoal (e limitado somente a ele), para uso mais individual. Porém, esse processo fica, por enquanto, por conta do usuário. Neste caso, entre em contato com nossa equipe atráves do email atendimento<at>npad.ufrn.br (substituindo <at> por @), para que possamos orientá-lo devidamente. Recomendamos que você acesse nosso Tutorial de Instalação de Programas para ir se familiarizar com o processo enquanto nossa equipe não responde sua solicitação de orientação.

Caso você esteja precisando utilizar um software de uso mais abrangente que não esteja instalado no supercomputador, poderá fazer a solicitação do mesmo na nossa Página de Solicitação de Novo Software. Sua requisição será analisada e nossa equipe entrará em contato com você. Vale ressaltar que esse tipo de instalação "mais global" somente é possível mediante justificativa válida, como por exemplo se o software a ser instalado estiver sendo requisitado por uma quantidade razoável de usuários. Para acompanhar sua solicitação de software, bem como verificar aqueles que estão atualmente instalados no supercomputador, acesse nossa Página de Software.

Você poderá executar programas simples de teste no supercomputador utilizando o próprio nó de login. Para saber como fazer essa submissão corretamente, acesse a Parte 2 do Tutorial de Introdução ao Supercomputador. Outros comandos úteis para gerenciamento dos seus jobs podem ser encontrados na nossa Página de Comandos. Jobs com duração menor que 30 minutos têm maior prioridade em relação aos demais. Porém, para adquirir tal prioridade é necessário utilizar a opção -p test no comando sbatch.

Ex.: sbatch -p test meuScript              P/ Job < 30 min
       sbatch meuScript                         P/ Job >= 30 min

Atenção! Jobs com duração maior que 30 minutos serão automaticamente descartados caso utilize a opção -p test.

O uso do nó de login para computações demoradas não é aconselhado, visto que, se grande parte dos recursos estiver ocupado, os demais usuários poderão ter dificuldades para utilizar o sistema. Para evitar esse tipo de problema, processos de usuários com mais de 30 minutos no nó de login serão finalizados automaticamente. É importante notar também que esse limite varia proporcionalmente de acordo com o número de CPUs que o processo está usando. Um processo que ocupa 100% de 10 CPUs, por exemplo, será terminado automaticamente após 3 minutos de uso.

Seu job pode estar na fila aguardando para ser executado, ou ainda pode estar em processo de execução. Outra possibilidade é que a saída pode ter sido direcionada para o arquivo de saída, neste caso, abra-o para conferir o resultado da execução. Para melhor gerenciar os seus jobs, recomendamos que acesse nossa Página de Comandos.

Você deverá criar um script contendo os comandos do programa que você deseja utilizar e, então, submetê-lo como um job ao supercomputador. Acesse a Parte 2 do Tutorial de Introdução ao Supercomputador para saber como criar o script e submeter corretamente seu job.

Você pode obter essas informações através do comando squeue. Para conhecer mais comandos úteis, bem como para entender o que significa cada campo de saída resultante deles, incluindo os do comando squeue, recomendamos que acesse nossa Página de Comandos.

Não. O job submetido é avaliado no momento da submissão, portanto, se as alterações forem realmente necessárias, o melhor a se fazer é cancelar o job anterior e submeter o novo. Você pode consultar alguns comandos úteis para melhor gerenciar os seus jobs na nossa Página de Comandos.

Se você estiver utilizando Windows, poderá transferir arquivos entre seu computador pessoal e o supercomputador via interface gráfica, através do software WinSCP. Para saber como instalá-lo e utilizá-lo, acesse nosso Tutorial de Introdução ao Supercomputador para Windows. Caso esteja usando linux, poderá fazer a transferência pela interface gráfica do próprio sistema, conforme explicado no nosso Tutorial de Introdução ao Supercomputador para Linux.

Para submeter um job é necessário informar o tempo máximo em que ele poderá ser executado. Para isso, é necessário adicionar o campo "#SBATCH --time" no script de submissão.

Ex.: #SBATCH --time=0-1:37

Nesse exemplo, caso o job não tenha executado todas as suas tarefas até atingir a duração de 0 dias, 1 hora e 37 minutos, ele será cancelado. O tempo máximo do job é obrigatório para melhorar a eficiência do uso do supercomputador e diminuir o tempo de espera de jobs curtos que requisitam poucos recursos, sem atrapalhar jobs que necessistam de muitos recursos. Saiba mais em: Tutorial OpenMP

Inicialmente, a pasta scratch tinha a função de armazenar arquivos temporários e intermediários dos jobs. Entretanto, devido à baixa capacidade de armazenamento do diretório /home, mantivemos ambas as pastas, home e scratch, para armazenamento permanente, passando o uso delas a ser monitorado constantemente, para mantê-las com espaço disponível para todos os usuários.

A pasta /scratch/local fica armazenada num disco local de cada nó. Desse modo, essa pasta é diferente de um nó para o outro, isto é, a pasta /scratch/local do nó de login pode possuir arquivos diferentes da pasta /scratch/local de um nó de computação, além disso, se você salvar um arquivo na pasta em um nó /scratch/local pertencente a um dado nó, ele não estará disponível no outro. A vantagem do /scratch/local é que, como se trata de uma pasta de um disco local, ela é mais rápida que a pasta /scratch/global e /home, que são pastas compartilhadas. A pasta local normalmente é usada em jobs que utilizam muito o disco, normalmente, usa-se a seguinte estratégia: o job primeiramente copia arquivos de uma pasta compartilhada para a pasta local, usa a pasta local para arquivos temporários e depois move os arquivos de saída da pasta local para uma pasta compartilhada.

Não. Os arquivos que estão armazenados na pasta scratch ficarão armazenados lá após os jobs e, por enquanto, não há uma limpeza periódica nesses diretórios. Quando conseguirmos aumentar o disco da pasta /home, iremos deixar a /scratch para arquivos temporários, o que será informado a todos os usuários do NPAD quando ocorrer.

Sim, é possível. Para jobs OpenMP, utilize as opções:

#SBATCH --cpus-per-task=(#numeroDeNúcleos)
#SBATCH --hint=compute_bound

Para jobs MPI, utilize as opções:

#SBATCH --nodes=(#numeroDeNós)
#SBATCH --ntasks-per-node=(#numeroDeNúcleos)

Para reservar um nó inteiro para o seu job, simplesmente utilize a flag #SBATCH --exclusive

É requisitado a todos usuários que indiquem em suas publicações a menção ao "Núcleo de Processamento de Alto Desempenho da UFRN (NPAD/UFRN)" ou "High Performance Computing Center at UFRN (NPAD/UFRN)" ou simplesmente "NPAD/UFRN", caso a pesquisa relatada nessas publicações tenham se beneficiada dos recursos do NPAD. Modelos simples para a citação são: "Esta pesquisa tornou-se possível graças ao NPAD/UFRN" ou "This research was supported by NPAD/UFRN". É importante notar também que cada nova publicação feita mencionando o NPAD implica no aumento da fatia de uso do supercomputador do grupo responsável pelo artigo (Ver mais em "Fila de Jobs" ).


Núcleo de Processamento de Alto Desempenho
Instituto Metrópole Digital / UFRN
Av. Salgado Filho, 3000
Natal, RN 59078-970