Comparação de técnicas e tecnologias para aceleramento do treinamento de redes convolucionais
Data
2021
Autores
Kita, Luigi Takeo
Orientadores
André Alessandro Stein, Msc
Coorientadores
Avaliadores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Resumo
Sistemas de tomada de decisão e reconhecimento facial são exemplos de tecnologia aplicada, onde é empregada uma Rede Neural Artificial (RNA). Para uma RNA ser capaz de efetuar tais tarefas, ela aplica a estratégia de dividir e conquistar. A Rede possui vários neurônios ligados entre si, cada um contendo seus próprios pesos sinápticos. Dessa forma, cada neurônio possui parte do conhecimento da RNA e com a interligação deles a Rede consegue realizar sua função. Os pesos sinápticos são ajustados na etapa de treinamento, esta etapa consiste em várias épocas. Em cada época é enviado um conjunto de dados para a Rede, observando seu comportamento e alterando os pesos. Ao utilizar um conjunto de dados junto com a
saída esperada, o treinamento é chamado de supervisionado. Mesmo com a simplicidade que seja implementar esse algoritmo com as ferramentas disponíveis, outros problemas surgem. Entre eles, o tempo necessário para realizar o treinamento, de forma que, conforme o conjunto de dados aumente, é necessário mais épocas para a RNA convergir. Por consequência aumentando o tempo de execução da Rede. Visto a complexidade do problema, este trabalho visou testar e comparar formas de diminuir esse tempo, utilizando a capacidade de paralelização de processadores e placas gráficas. Além disso, a diminuição do espaço em memória utilizado pelos pesos sinápticos de 32 bits para 16 bits, conhecido como precisão mista, também foi testada. Com os resultados obtidos, foi possível verificar uma melhora de 8 a 18 vezes na utilização da placa gráfica sobre o processador.
Entretanto, a utilização de precisão mista não apresentou ganhos significativos.
Descrição
Palavras-chave
Redes Neurais Artificiais , Convolução , Processamento