{"id":1041,"date":"2022-06-12T16:19:23","date_gmt":"2022-06-12T19:19:23","guid":{"rendered":"http:\/\/terra.joinville.ufsc.br\/?p=1041"},"modified":"2022-06-12T20:10:59","modified_gmt":"2022-06-12T23:10:59","slug":"visao","status":"publish","type":"post","link":"http:\/\/terra.joinville.ufsc.br\/pt_br\/visao\/","title":{"rendered":"Vis\u00e3o"},"content":{"rendered":"\n

Para esta competi\u00e7\u00e3o, foram implementados softwares de vis\u00e3o relativos \u00e0s tarefas de detec\u00e7\u00e3o do portal, dos path markers, das boias e dos personagens. Foram utilizados tanto bibliotecas de vis\u00e3o tradicional (OpenCV), quanto deep learning para a realiza\u00e7\u00e3o das tarefas. A ideia de utilizar o OpenCV teve o intuito de reduzir a utiliza\u00e7\u00e3o das redes neurais para a identifica\u00e7\u00e3o de certos objetos da competi\u00e7\u00e3o, considerando que temos \u00e0 disposi\u00e7\u00e3o uma placa com um poder de processamento limitado para a tarefa de redes neurais.
Para a melhoria da qualidade e contraste das imagens obtidas a partir do simulador, foram utilizadas algumas t\u00e9cnicas, como a equaliza\u00e7\u00e3o de histograma por limite de ajuste de contraste e a corre\u00e7\u00e3o Gamma. Esses filtros utilizados auxiliaram na remo\u00e7\u00e3o do efeito de esverdeamento e turbidez da \u00e1gua. No ap\u00eandice X, podem ser vistas imagens com e sem os filtros para melhorias.
Na detec\u00e7\u00e3o do portal e dos marcadores, foram utilizadas ferramentas de segmenta\u00e7\u00e3o de imagem a partir do modo HSV, al\u00e9m de outras ferramentas de filtragem, bem como ferramentas de extra\u00e7\u00e3o de contornos. Ap\u00f3s a extra\u00e7\u00e3o dos contornos e aproxima\u00e7\u00e3o destes por ret\u00e2ngulos, a coordenada central deste objeto \u00e9 mapeada em cada instante de tempo. Tamb\u00e9m s\u00e3o verificados os tamanhos relativos de cada uma das pernas para a verifica\u00e7\u00e3o da angula\u00e7\u00e3o do AUV em rela\u00e7\u00e3o ao portal. No ap\u00eandice Y, pode ser vista uma imagem exibindo a detec\u00e7\u00e3o do portal durante a prova, bem como um fluxograma ilustrando o processo de controle do AUV durante a etapa de passagem pelo portal.
Para os marcadores do fundo da piscina, os contornos desse objeto s\u00e3o extra\u00eddos, e a angula\u00e7\u00e3o desse objeto em rela\u00e7\u00e3o a horizontal \u00e9 checada. Dessa forma, o AUV pode se orientar para partir para a pr\u00f3xima tarefa.<\/p>\n\n\n\n

\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n<\/figure>\n\n\n\n


Quanto \u00e0s detec\u00e7\u00f5es dos personagens fixados no portal e das boias, foi utilizada uma solu\u00e7\u00e3o de deep learning. Optou-se por esse caminho em virtude da maior complexidade dessas tarefas. Com isso,utilizar ferramentas de vis\u00e3o tradicional para esses casos traria muitas dificuldades e a solu\u00e7\u00e3o obtida n\u00e3o teria grande robustez.
Foi utilizado como base para o dataset da equipe imagens do ambiente simulado da Transdec na Unity, j\u00e1 que n\u00e3o conseguimos realizar testes de vis\u00e3o com o AUV de forma presencial. Ap\u00f3s a coleta do dataset, tamb\u00e9m foi realizado o processo de anota\u00e7\u00e3o das imagens.
Na sequ\u00eancia, iniciaram-se os estudos sobre poss\u00edveis modelos de redes neurais convolucionais que poderiam ser utilizados, levando em considera\u00e7\u00e3o os recursos de hardware dispon\u00edveis para a equipe. Foram estudados e testados tr\u00eas modelos, sendo eles: Yolo-v3 Tiny, SSD MobileNet e Faster R-CNN (da biblioteca Detecto). Ap\u00f3s os testes realizados, notou-se que o modelo mais preciso era o da biblioteca Detecto. Entretanto, o tamanho da rede neural era muito grande, e nossa placa n\u00e3o seria capaz de carregar em mem\u00f3ria o modelo para realizar as infer\u00eancias.
Sendo assim, optou-se pela utiliza\u00e7\u00e3o de um outro modelo, menos preciso por\u00e9m mais leve e com infer\u00eancias mais r\u00e1pidas. Tanto a Yolo-v3 Tiny quanto a SSD-Mobilenet possu\u00edam estas caracter\u00edsticas, entretanto notou-se que o modelo treinado com a arquitetura SSD estava realizando detec\u00e7\u00f5es mais precisas e velozes que o da arquitetura Yolo.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n


Com isso em mente, foi escolhida a rede neural de arquitetura SSD Mobilenet para a competi\u00e7\u00e3o, utilizada a partir da API de detec\u00e7\u00e3o de objetos do TensorFlow, com o intuito de obter uma precis\u00e3o razo\u00e1vel com maior velocidade nas detec\u00e7\u00f5es, considerando o hardware existente para a equipe.
Com base nos testes realizados no ambiente de simula\u00e7\u00e3o Unity, foi poss\u00edvel verificar que o modelo escolhido apresentou bons resultados de detec\u00e7\u00e3o. Percebeu-se que o modelo funcionou de forma muito satisfat\u00f3ria para objetos m\u00e9dios e grandes em rela\u00e7\u00e3o ao tamanho da imagem, mas para objetos pequenos, o modelo enfrenta um pouco de dificuldades, ainda que consiga realizar as detec\u00e7\u00f5es. No entanto, realizando as detec\u00e7\u00f5es desses objetos menores (personagens do portal), apenas em regi\u00f5es mais pr\u00f3ximas do portal, a instabilidade das detec\u00e7\u00f5es conseguiu ser superada. No ap\u00eandice Z, temos imagens dos objetos sendo detectadas nas imagens do simulador no ambiente da Transdec.<\/p>\n","protected":false},"excerpt":{"rendered":"

Para esta competi\u00e7\u00e3o, foram implementados softwares de vis\u00e3o relativos \u00e0s tarefas de detec\u00e7\u00e3o do portal, dos path markers, das boias e dos personagens. Foram utilizados tanto bibliotecas de vis\u00e3o tradicional (OpenCV), quanto deep learning para a realiza\u00e7\u00e3o das tarefas. A ideia de utilizar o OpenCV teve o intuito de reduzir a utiliza\u00e7\u00e3o das redes neurais…<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[32],"tags":[33,31,17,19],"class_list":["post-1041","post","type-post","status-publish","format-standard","hentry","category-robosub-2022","tag-33","tag-eletronica","tag-robosub","tag-terra-competition"],"_links":{"self":[{"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/posts\/1041","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/comments?post=1041"}],"version-history":[{"count":2,"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/posts\/1041\/revisions"}],"predecessor-version":[{"id":1105,"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/posts\/1041\/revisions\/1105"}],"wp:attachment":[{"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/media?parent=1041"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/categories?post=1041"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/terra.joinville.ufsc.br\/pt_br\/wp-json\/wp\/v2\/tags?post=1041"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}