Projeto Galileo Comissiona Arranjo de Câmeras Infravermelhas para Detecção de Objetos Aéreos e UAP

Comissionamento de Arranjo de Câmeras Infravermelhas para Detecção de Objetos Aéreos

Autores: Laura Domine, Ankit Biswas, Richard Cloete, Alex Delacroix, Andriy Fedorenko, Lucas Jacaruso, Ezra Kelderman, Eric Keto, Sarah Little, Abraham Loeb, Eric Masson, Mike Prior, Forrest Schultz, Matthew Szenher, Wesley Andrés Watters, Abigail White

Afiliações: Harvard-Smithsonian Center for Astrophysics; Projeto Galileo; Wellesley College; Scientific Coalition for UAP Studies; Atlas Lens Co.

Publicado em: Sensors, 28 de janeiro de 2025 (arXiv:2411.07956v2)

---

1. Introdução

Há escassez de dados científicos disponíveis publicamente sobre Fenômenos Aéreos Não Identificados (UAP — Unidentified Aerial Phenomena) cujas propriedades e cinemática supostamente residem fora do envelope de desempenho de fenômenos conhecidos [§ p.2].

O Escritório do Diretor de Inteligência Nacional (ODNI) recomenda desde 2021 o fortalecimento de iniciativas de coleta de dados para examinar fenômenos aéreos inexplicados que representam riscos à segurança da aviação e potencialmente à segurança nacional dos EUA. Em 2023, a NASA publicou estudo independente enfatizando que a sensoriação passiva com "múltiplos sensores bem calibrados é fundamental" e que dados multispectrais devem ser coletados como parte de uma campanha rigorosa de aquisição de dados [§ p.2].

"[O esforço] representa 'um empreendimento complexo cujo resultado poderia permitir a coleta substancial e sistemática de dados UAP, bem como uma robusta caracterização do fundo'" — NASA Independent Study, citada em [§ p.2]

O Projeto Galileo está projetando, construindo e comissionando um observatório terrestre passivo, multimodal e multiespectral para monitoramento contínuo do céu [§ p.2]. As modalidades de sensores incluem: óptico infravermelho, visível e ultravioleta; acústico; espectro de rádio; intensidade de campo magnético; contagem de partículas carregadas; e meteorologia.

1.1 Trabalhos Relacionados

Trabalhos acadêmicos instrumentados de campo focados em UAP são raros. O artigo cita iniciativas como [§ p.3]:

• Julius-Maximilians-Universität Würzburg (Alemanha): sistema automatizado de câmeras ópticas e infravermelhas em telhado;
• UAPx / Universidade de Albany (2021): estudo de campo de uma semana na Ilha Catalina usando câmeras ópticas, infravermelhas térmicas e detectores de partículas de alta energia;
• Sigma2 (Comissão Técnica UAP da Association Aéronautique et Astronautique de France): reutilização de dados de redes de monitoramento aéreo existentes, incluindo radares biestáticos ativos e passivos, câmeras IR e ópticas, redes de vigilância de meteoros e satélites;
• Projeto VASCO (Universidade de Estocolmo): busca por transientes rápidos em placas fotográficas de levantamentos históricos do céu.

---

2. Materiais e Métodos

2.1 O Arranjo de Câmeras Infravermelhas Dalek

O instrumento principal descrito no artigo é chamado informalmente de "Dalek". Trata-se de um arranjo hemisférico de sete câmeras IR com uma câmera IR adicional apontada para o zênite, proporcionando visão de 360° de azimute por +80° de elevação [§ p.4].

As sete câmeras do arranjo hemisférico são FLIR LWIR Boson 640 × 512 (banda espectral 7,5–13,5 µm, distância focal 8,7 mm, abertura relativa inversa F/1). O campo de visão (FOV) é de 50° × 40° (horizontal e vertical). A câmera do zênite é uma FLIR LWIR Boson 640 × 512 com distância focal de 4,9 mm e FOV de 95° × 72° [§ p.5].

Características operacionais do sistema:

• Gravação a 10 quadros por segundo (fps) durante o período de comissionamento;
• Profundidade de bits de 8 bits (configuração padrão do período de comissionamento);
• Todas as câmeras operando em modo de ganho alto;
• Calibração automática de campo plano (FCC) com obturador periódico;
• Enclosure de cúpula de fibra de vidro com deformação máxima inferior a 1 mm a ventos de 200 mph;
• Janelas de germânio com revestimentos hidrofóbicos/antirreflexo (HP/AR);
• Cada câmera conectada via cabo USB3 a um processador Nvidia Jetson Orin NX para computação de borda [§ p.5].

O protótipo foi implantado no site de desenvolvimento do Projeto Galileo em Massachusetts, cercado por floresta e a menos de 8 km de um aeroporto regional, garantindo fluxo regular de aeronaves para calibração e comissionamento [§ p.5].

As câmeras voltadas para o sul têm períodos de gravação mais curtos devido ao bloqueio de luz solar para proteção dos sensores, enquanto as voltadas para o norte gravam por períodos mais longos. Câmera 2 (norte-noroeste) tem a maior duração de gravação; Câmera 6 (sul-sudeste) tem a menor [§ p.8].

2.2 Calibração

2.2.1 Calibração Intrínseca

O método de calibração por tabuleiro de xadrez descrito em Zhang (2000) e implementado na biblioteca OpenCV foi utilizado para calibração intrínseca individual de cada câmera [§ p.8]. Como as câmeras Boson são sensíveis apenas a comprimentos de onda LWIR, foi utilizado um tabuleiro de xadrez metálico: a grade foi cortada de uma chapa de metal, resfriada a −20 °C em freezer e montada sobre uma chapa base aquecida a 50 °C para obter contraste térmico adequado [§ p.9].

2.2.2 Remoção de Não-Uniformidades de Imagem (INUs)

A FLIR define INUs como "um grupo de pixels propensos a variar ligeiramente em relação à sua vizinhança local sob certas condições de imageamento". O procedimento recomendado inclui correção de ganho de lente seguida de correção suplementar de campo plano (SFFC) [§ p.9].

2.2.3 Calibração Extrínseca com Aeronaves Equipadas com ADS-B

A calibração extrínseca de câmeras visíveis frequentemente utiliza astrometria, mas as câmeras Boson LWIR não enxergam estrelas. Para encontrar a matriz de rotação, o artigo adota técnica de calibração usando aeronaves, que emitem em comprimentos de onda LWIR e também refletem emissões do solo aquecido [§ p.9].

O sistema ADS-B (Automatic Dependent Surveillance-Broadcast) transmite, em tempo quase real, as posições GPS de latitude e longitude das aeronaves, além de altitudes derivadas de GPS e barometria. O artigo utiliza o banco de dados histórico da OpenSky Network para registros ADS-B, pois o receptor ADS-B próprio do laboratório não operou de forma contínua durante os cinco meses de comissionamento [§ p.10].

O algoritmo PnP (Perspective-n-Point) da OpenCV é utilizado para calcular a pose da câmera em coordenadas mundiais, fornecendo como entrada os parâmetros intrínsecos e extrínsecos da câmera e os pontos de imagem da aeronave com seus vetores de apontamento correspondentes no mundo [§ p.10].

2.2.4 Monitoramento de Mudanças de Orientação da Câmera

A técnica de calibração extrínseca foi automatizada para repetição em intervalos regulares, permitindo detecção de mudanças indesejadas de orientação da câmera causadas por eventos de vento forte, manutenção de hardware ou expansão térmica do suporte de alumínio [§ p.10]. Flutuações da ordem de 1% nos ângulos de Euler foram observadas ao longo de três meses (janeiro a março de 2024) [§ p.11].

2.2.5 Calibração Térmica

As câmeras FLIR Boson 640 podem gravar imagens com profundidade de 8 ou 16 bits. Os dados de 16 bits podem ser usados para radiometria térmica. O modelo selecionado para o Dalek não possui calibração térmica de fábrica, portanto a calibração foi realizada pelos próprios pesquisadores [§ p.11].

O alvo utilizado foi um bloco de espuma de poliuretano preto. O processo explorou uma grade 2D de temperaturas de alvo e câmera no intervalo de [−20, 60] °C [§ p.12]. A relação entre o valor do pixel de 16 bits e a temperatura é descrita pela lei de Planck integrada numericamente para a banda espectral da câmera Boson (7,5 a 13,5 µm).

2.2.6 Medição de Temperatura de Objetos

Como demonstração de prova de conceito, a calibração térmica foi aplicada para estimar a temperatura de uma aeronave real: um Airbus A321 decolando do aeroporto BOS a uma distância oblíqua de 5,3 km do observatório. A temperatura corporal estimada da aeronave foi de aproximadamente 24 °C, com erro estimado de ~6 °C em comparação à estimativa baseada na taxa adiabática de resfriamento padrão (~18 °C esperado para aquela condição de voo) [§ p.14].

2.3 Reconstrução de Objetos Aéreos com YOLOv5 e SORT

O algoritmo YOLOv5 (You Only Look Once, versão 5) é utilizado para detecção de objetos quadro a quadro. O algoritmo SORT (Simple Online and Realtime Tracking) combina um filtro de Kalman com o algoritmo húngaro para reconstrução de trajetórias de objetos detectados [§ p.15].

2.3.1 Conjuntos de Dados

Dataset de Imagens Sintéticas (AeroSynth):
A ferramenta AeroSynth, desenvolvida pelo Projeto Galileo usando os bindings Python do Blender, gera imagens sintéticas para treinamento. O dataset sintético contém ~800 mil objetos distribuídos em ~32 mil + 8 mil imagens (treino + teste), com 40 modelos 3D diferentes incluindo aviões, balões, drones, pássaros e helicópteros [§ p.15].

Dataset Misto (Sintético + Mundo Real):
Imagens do mundo real das câmeras Boson com detecções de alta confiança (pontuação ≥ 0,9) do modelo treinado em dados sintéticos foram incluídas para ajuste fino. Este dataset misto contém ~424 mil objetos em ~45 mil imagens reais [§ p.15].

Dataset de Vídeo Sintético:
O AeroSynth também gera vídeos com 100 quadros a 10 fps. As trajetórias sintéticas se enquadram em três categorias: retas, curvas simples e por partes (piecewise). Aproximadamente 1.600 trajetórias únicas foram geradas [§ p.15-16].

Dataset do Mundo Real Rotulado Manualmente:
Para cada uma das oito câmeras, foram amostrados até três vídeos de cinco minutos por dia durante janeiro de 2024. O dataset final compreende 314 vídeos com 904.257 quadros individuais. Um total de 36.036 quadros (~4%) contêm objetos, com 40.268 anotações individuais de objetos [§ p.16].

Dataset Derivado de ADS-B:
Registros ADS-B da OpenSky Network dentro de um quadrado de 10 km centrado no observatório foram selecionados e correlacionados com as gravações das câmeras para criar um dataset de aeronaves com posição verdadeira conhecida [§ p.16-17].

2.3.2 Benchmark YOLOv5

Comparando os dois modelos YOLOv5 no dataset rotulado manualmente [§ p.17-18]:

Métrica	Dados Reais + Sintéticos	Apenas Dados Sintéticos
Verdadeiro Positivo (VP)	2.588	24.465
Falso Positivo (FP)	435	8.728
Falso Negativo (FN)	36.412	14.535
Precisão	85,6%	73,7%
Revocação (Recall)	6,60%	62,7%
Acurácia	6,60%	51,3%
F1-score	12,3%	67,8%

O modelo treinado exclusivamente em dados sintéticos apresentou desempenho superior na métrica de revocação, que é a mais importante no contexto de detecção de objetos aéreos, pois falsos negativos são difíceis de recuperar no pipeline downstream. Todos os estudos subsequentes utilizam o modelo sintético [§ p.18].

2.3.3 Benchmark SORT

O SORT utiliza os parâmetros: max_age = 100 quadros, min_hits = 3, iou_threshold = 0,3 e scale_factor = 4 (fator multiplicativo aplicado às dimensões das caixas delimitadoras antes do rastreamento) [§ p.20].

Resultados gerais do SORT nas trajetórias sintéticas [§ p.22]:

• MOTA: 0,87
• Precisão de identificação (IDP): 95%
• Revocação de identificação (IDR): 87%
• IDF1: 91%

O modelo tem melhor desempenho em trajetórias retas (IDF1 = 94%, MOTA = 0,90) do que em trajetórias curvas (IDF1 = 89%, MOTA = 0,84) [§ p.22].

---

3. Resultados do Comissionamento

3.1 Verificações Básicas no Dataset Gravado

A análise da distribuição espacial de detecções YOLO por câmera revelou [§ p.23]:

• Câmeras 5 e 7 capturam rotas de alto tráfego aéreo confirmadas por registros ADS-B históricos;
• Câmeras 1 e 4 frequentemente capturam a Lua à noite, que aciona detecção pelo YOLOv5;
• Folhas em movimento e bordas de nuvens são fonte de muitas detecções;
• O quadrado verde exibido durante a calibração automática de campo plano é detectado pelo YOLO.

3.2 Avaliações de Desempenho com Aeronaves Equipadas com ADS-B

Resultados gerais do período de comissionamento de cinco meses [§ p.25-29]:

• 27.467 aeronaves voaram dentro do raio de 10 km centrado no observatório;
• 8.550 atenderam aos quatro primeiros critérios de seleção (em alcance + campo de visão + acima da linha das árvores + dentro da janela de gravação);
• 3.678 foram correspondidas a pelo menos um quadro com detecção YOLOv5.

Taxa de aceitação global: 41% para aeronaves equipadas com ADS-B dentro de um quadrado de 10 km centrado no observatório.

Eficiência média de detecção quadro a quadro: 36% [§ p.29].

Fatores que afetam o desempenho:

• A aceitação é fortemente dependente de alcance, campo de visão e tempo de operação das câmeras;
• A eficiência diminui com aumento de precipitação, redução de visibilidade atmosférica, aumento de umidade relativa e presença de poeira e gotas de chuva na lente;
• Temperatura ambiente afeta a aceitação indiretamente via correlação com o ciclo solar e o cronograma dos protetores solares;
• A eficiência tende a cair nas bordas das imagens e próximo à linha das árvores.

3.3 Avaliação com Dataset Sintético

No pipeline YOLOv5 + SORT aplicado ao dataset de vídeos sintéticos [§ p.30]:

• 14% das trajetórias verdadeiras não contêm nenhum ponto com caixa delimitadora correspondente a uma detecção YOLOv5;
• 27% das detecções de objetos, embora correspondidas a uma caixa delimitadora verdadeira, não são associadas a nenhuma trajetória reconstruída;
• 8% das trajetórias verdadeiras não são reconstruídas mesmo quando o SORT recebeu detecções correspondidas do YOLOv5.

Eficiência geral (fração de trajetórias verdadeiras correspondidas a pelo menos uma trajetória reconstruída): 81%.
Pureza geral (fração de trajetórias reconstruídas que correspondem a uma trajetória verdadeira): 87%.

A fragmentação de trajetórias é um problema significativo: em média, uma trajetória verdadeira é dividida em aproximadamente três fragmentos após passar pelo pipeline YOLOv5 + SORT [§ p.32].

3.4 Censo Aéreo Unimodal

3.4.1 Busca Exploratória por Anomalias ("Toy Outlier Search")

Entre janeiro e maio de 2024, as sete câmeras hemisféricas do Dalek reconstruíram 502.015 trajetórias [§ p.33].

O critério de detecção de anomalias utilizado é a sinuosidade de cada trajetória 2D reconstruída, definida como o comprimento total da trajetória dividido pelo comprimento da linha reta do ponto inicial ao final. Um limiar de sinuosidade de 3,0 (75º percentil) foi utilizado [§ p.34].

A distribuição de sinuosidade pode ser particionada em três categorias [§ p.34]:

• Sinuosidade 1,0 – 1,2: predominantemente aviões e pássaros;
• Sinuosidade 1,2 – 3,0: majoritariamente pássaros e nuvens;
• Sinuosidade > 3,0: predominantemente nuvens (com contribuição de pássaros).

Aproximadamente 16% das trajetórias (81.873) apresentaram sinuosidade superior a 3,0 e foram submetidas à inspeção manual. Após exame manual das imagens IR [§ p.36]:

• A maioria foi associada a objetos comuns: pássaros únicos (presumivelmente gaviões), bandos de pássaros, aviões, folhas e nuvens;
• 144 trajetórias permaneceram ambíguas mesmo após inspeção manual — provavelmente objetos comuns, mas não possíveis de elucidar sem estimativa de distância e multimodalidade.

Uma classificação manual de 12.000 trajetórias identificou oito categorias distintas: folha, Lua, nuvens, avião, pássaros, bandos de pássaros, rotorcraft e ambíguo [§ p.36].

3.4.2 Análise de Verossimilhança

O artigo demonstra a aplicação de um teste estatístico baseado em verossimilhança para caracterizar a significância estatística dos resultados da busca por anomalias [§ p.39-41].

A hipótese nula H₀ descreve um dataset sem anomalias. A hipótese alternativa H₁ supõe que o dataset contém tanto o fundo conhecido quanto anomalias.

Incertezas sistemáticas consideradas:

• Revocação do pipeline de detecção de objetos: ~63%, implicando incerteza fracional de ~37% na distância euclidiana de trajetórias retas;
• Para trajetórias de alta sinuosidade, a incerteza fracional no comprimento curvilíneo pode chegar a 50%;
• Incerteza propagada na sinuosidade: ~62%, implicando que o número de trajetórias sinalizadas possui incerteza de ~400%;
• Eficiência geral do pipeline: ε = 80 ± 20%.

Resultado:

• Contagem de sinal observado: N_s = 144 ± 8.763;
• Trajetórias de fundo desdobradas: N_b = 627.339 ± 324.668;
• Limite superior observado: 18.271 trajetórias com sinuosidade anômala ao nível de confiança de 95% durante o período de comissionamento de cinco meses [§ p.41].

Esse limite corresponde a ~4% dos objetos reconstruídos e ~22% dos objetos sinalizados com base na sinuosidade aparente de sua trajetória.

---

4. Discussão

O estudo observa que estudos classificados conduzidos por agências governamentais como o AARO (All-domain Anomaly Resolution Office), que frequentemente utilizam estimativas de distância por radar e dados de múltiplas modalidades, reportaram que ~3% dos casos levados à sua atenção permaneceram ambíguos [§ p.42]. Os autores esperam que o limite superior de 18.271 diminua no futuro com a melhoria dos pipelines de detecção e a inclusão de múltiplos instrumentos e estimativa de alcance.

O envelope de aceitação do Dalek inclui objetos com tamanho aparente maior que três pixels, o que corresponde a um avião comercial de envergadura 50 m a uma distância de 10 km ou a um pássaro de envergadura 1,5 m a uma distância de 300 m. Objetos com velocidade superior a 200 m/s a 1 km de distância ou superior a 2 km/s a 10 km estão fora da aceitação do sistema [§ p.42].

---

5. Conclusões

O artigo detalha o projeto e comissionamento de um arranjo de câmeras infravermelhas que é um componente de um observatório terrestre multimodal. As principais contribuições incluem [§ p.43]:

1. Calibração extrínseca inovadora para câmeras infravermelhas usando aeronaves equipadas com ADS-B;
2. Taxa de aceitação de 41% e eficiência média de detecção de 36% para aeronaves equipadas com ADS-B;
3. No dataset sintético: precisão YOLOv5 de 74%, revocação de 63%; precisão de identificação SORT de 95%, revocação de identificação de 87%;
4. Reconstrução de ~500.000 trajetórias de objetos aéreos variados em cinco meses;
5. 144 objetos ambíguos persistiram após inspeção manual, com limite superior de 18.271 ao nível de confiança de 95%;
6. Demonstração de método de verossimilhança generalizável para quantificação de incertezas em buscas por anomalias.

O Projeto Galileo planeja conduzir um censo aéreo multimodal de longo prazo de pelo menos um ano após o comissionamento de todos os instrumentos do observatório.

---

Financiamento: Esta pesquisa foi financiada por doações privadas ao Projeto Galileo. Os financiadores não tiveram papel no design do estudo, coleta, análise ou interpretação dos dados.