<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.0 20120330//EN" "http://jats.nlm.nih.gov/publishing/1.0/JATS-journalpublishing1.dtd">
<article
  xmlns:xlink="http://www.w3.org/1999/xlink"
  xmlns:mml="http://www.w3.org/1998/Math/MathML" dtd-version="1.0" specific-use="sps-1.8" article-type="research-article" xml:lang="pt">
  <front>
    <journal-meta>
      <journal-id journal-id-type="nlm-ta">Vigilância Sanitária em Debate</journal-id>
      <journal-id journal-id-type="publisher-id">visa</journal-id>
      <journal-title-group>
        <journal-title>Vigilância Sanitária em Debate</journal-title>
        <abbrev-journal-title abbrev-type="publisher">Vigilância Sanitária em Debate</abbrev-journal-title>
      </journal-title-group>
      <issn pub-type="ppub">2317-269X</issn>
      <publisher>
        <publisher-name>INCQS-FIOCRUZ</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="publisher-id">00008</article-id>
      <article-id pub-id-type="doi">10.22239/2317-269X.01373</article-id>
      <article-categories>
        <subj-group subj-group-type="heading">
          <subject>ARTIGO</subject>
        </subj-group>
      </article-categories>
      <title-group>
        <article-title>Tecnovigilância: análise das notificações do Notivisa registradas no estado do Paraná, Brasil</article-title>
        <trans-title-group xml:lang="en">
          <trans-title>Medical devices post-market surveillance: analysis of notifications of Notivisa registered in the state of Paraná, Brazil</trans-title>
        </trans-title-group>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0000-0002-5521-5813</contrib-id>
          <name>
            <surname>Frois</surname>
            <given-names>Gisele Ribeiro da Assunção</given-names>
          </name>
          <xref ref-type="aff" rid="aff1">
            <sup>I</sup>
          </xref>
          <xref ref-type="corresp" rid="c01">
            <sup>*</sup>
          </xref>
          <email>gisele.frois@sesa.pr.gov.br</email>
        </contrib>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0000-0001-6671-459X</contrib-id>
          <name>
            <surname>Oliniski</surname>
            <given-names>Samantha Reikdal</given-names>
          </name>
          <xref ref-type="aff" rid="aff2">
            <sup>II</sup>
          </xref>
        </contrib>
      </contrib-group>
      <aff id="aff1">
        <label>I</label>
        <institution content-type="orgname">Secretaria de Estado da Saúde do Paraná</institution>
        <addr-line>
          <named-content content-type="city">Curitiba</named-content>
          <named-content content-type="state">PR</named-content>
        </addr-line>
        <country country="BR">Brasil</country>
        <institution content-type="original">Secretaria de Estado da Saúde do Paraná (SESA), Curitiba, PR, Brasil</institution>
      </aff>
      <aff id="aff2">
        <label>II</label>
        <institution content-type="orgname">Universidade Federal do Paraná</institution>
        <addr-line>
          <named-content content-type="city">Curitiba</named-content>
          <named-content content-type="state">PR</named-content>
        </addr-line>
        <country country="BR">Brasil</country>
        <institution content-type="original">Universidade Federal do Paraná (UFPR), Curitiba, PR, Brasil</institution>
      </aff>
      <author-notes>
        <corresp id="c01"> * E-mail: 
          <email>gisele.frois@sesa.pr.gov.br</email>
        </corresp>
        <fn fn-type="conflict">
          <p>Conflito de Interesse</p>
          <p>Os autores informam não haver qualquer potencial conflito de interesse com pares e instituições, políticos ou financeiros deste estudo.</p>
        </fn>
      </author-notes>
      <!--pub-date date-type="pub" publication-format="electronic">
        <day>12</day>
        <month>03</month>
        <year>2021</year>
      </pub-date>
      <pub-date date-type="collection" publication-format="electronic"-->
        <pub-date pub-type="epub-ppub">
        <season>Oct-Dec</season>
        <year>2019</year>
      </pub-date>
      <volume>7</volume>
      <issue>4</issue>
      <fpage>48</fpage>
      <lpage>53</lpage>
      <history>
        <date date-type="received">
          <day>22</day>
          <month>07</month>
          <year>2019</year>
        </date>
        <date date-type="accepted">
          <day>29</day>
          <month>10</month>
          <year>2019</year>
        </date>
      </history>
      <permissions>
        <license license-type="open-access" xlink:href="http://creativecommons.org/licenses/by-nc/4.0/" xml:lang="en">
          <license-p>
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License, which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
</license-p>
        </license>
      </permissions>
      <abstract>
        <title>RESUMO</title>
        <sec>
          <title>Introdução</title>
          <p> A tecnovigilância monitora os eventos adversos e as queixas técnicas dos produtos para saúde por meio do Sistema Nacional de Notificação em Vigilância Sanitária (Notivisa). Cabe às empresas detentoras de registro dos produtos investigar e adotar as medidas cabíveis frente às notificações.</p>
        </sec>
        <sec>
          <title>Objetivo</title>
          <p> Analisar o perfil das notificações de tecnovigilância do Notivisa registradas no Paraná, no período de 2006 a 2018, e das investigações das empresas detentoras de registro dos produtos para saúde notificados em 2018.</p>
        </sec>
        <sec>
          <title>Método</title>
          <p> Estudo descritivo, retrospectivo e documental das notificações de tecnovigilância do Notivisa registradas no Paraná, no período de 2006 a 2018, e investigações registradas pelas empresas das notificações de 2018.</p>
        </sec>
        <sec>
          <title>Resultados</title>
          <p> Foram registradas no Paraná 17.122 notificações de tecnovigilância de 2007 a 2018, sendo apenas 109 notificações relacionadas à linha de equipamentos e 255 de produtos para diagnóstico
            <italic> in vitro</italic>. Das 2.327 notificações de 2018, foram analisadas as respostas de 404 notificações, sendo identificada a descrição de adoção de medidas corretivas e/ou preventivas adicionais pelas empresas em 20 notificações confirmadas, 22 inconclusivas, 32 prováveis e três descartadas. Em 126 notificações foram relatadas necessidade de mais informações do notificador para subsidiar a investigação pela empresa.
          </p>
        </sec>
        <sec>
          <title>Conclusões</title>
          <p> O Notivisa contribui com o monitoramento da qualidade, eficácia e segurança dos produtos para saúde e possibilita a análise da atuação das empresas na contenção de riscos sanitários.</p>
        </sec>
      </abstract>
      <trans-abstract xml:lang="en">
        <title>ABSTRACT</title>
        <sec>
          <title>Introduction</title>
          <p> The medical devices post-market surveillance monitors adverse events and technical complaints of the medical devices through the National Notification Health Surveillance System (Notivisa). Companies holding the registration of products must investigate and adopt measures related to notifications.</p>
        </sec>
        <sec>
          <title>Objective</title>
          <p> To analyze the profile of notifications of Notivisa medical devices registered in Paraná from 2006 to 2018 and the investigations of companies that own the register of medical devices notified in 2018.</p>
        </sec>
        <sec>
          <title>Method</title>
          <p> A descriptive, retrospective, documental study of medical devices post-market surveillance notifications registered in Paraná from 2006 to 2018 and investigations registered by the 2018 notifications companies.</p>
        </sec>
        <sec>
          <title>Results</title>
          <p> 17,122 medical devices notifications were registered in Paraná from 2007 to 2018, with only 109 notifications related to the line of equipments and 255 of products for 
            <italic>in vitro</italic> diagnosis. From the 2,327 notifications of 2018, the responses of 404 notifications were analyzed, and the description of the adoption of corrective and, or preventive measures by the companies was identified in 20 confirmed, 22 inconclusive, 32 probable and 3 discarded notifications. In 126 notifications, there was a need for more information from the notifier to subsidize the investigation by the company.
          </p>
        </sec>
        <sec>
          <title>Conclusions</title>
          <p> Notivisa contributes to the monitoring of the quality, efficacy and safety of medical devices and enables the analysis of the companies’ performance in containing health risks.</p>
        </sec>
      </trans-abstract>
      <kwd-group xml:lang="pt">
        <kwd>Vigilância de Produtos Comercializados</kwd>
        <kwd>Vigilância Sanitária</kwd>
        <kwd>Risco à Saúde Humana</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>Product Surveillance Post-market</kwd>
        <kwd>Health Surveillance</kwd>
        <kwd>Health Risk</kwd>
      </kwd-group>
      <counts>
        <fig-count count="3"/>
        <table-count count="0"/>
        <equation-count count="0"/>
        <ref-count count="17"/>
        <page-count count="6"/>
      </counts>
    </article-meta>
  </front>
  <body>
    <sec sec-type="intro">
      <title>INTRODUÇÃO</title>
      <p>Os correlatos, também denominados de produtos para saúde, estão entre os produtos sujeitos a controle sanitário pelo Sistema Nacional de Vigilância Sanitária (SNVS)
        <sup>
          <xref rid="B1" ref-type="bibr">1</xref>,
          <xref rid="B2" ref-type="bibr">2</xref>
        </sup>. Essa categoria abrange uma ampla gama de produtos utilizados em procedimentos médicos, odontológicos e fisioterapêuticos, bem como no diagnóstico, tratamento, reabilitação ou acompanhamento de pacientes. Esses produtos podem ser classificados na linha de materiais, equipamento de uso médico ou produto para diagnóstico de uso 
        <italic>in vitro</italic>
        <sup>
          <xref rid="B3" ref-type="bibr">3</xref>
        </sup>.
      </p>
      <p>De acordo com dados da Agência Nacional de Vigilância Sanitária (Anvisa), houve um incremento de 27% na quantidade de pedidos de regularização de novos produtos para saúde de 2016 a 2018, sendo que somente em 2018 foram aprovados 5.780 itens
        <sup>
          <xref rid="B4" ref-type="bibr">4</xref>
        </sup>. Considerando que o uso desses produtos pode acarretar risco ao paciente quando exposto a condições reais de utilização em larga escala, visto que, nestas circunstâncias, eventos raros e problemas não previstos podem ser identificados, o monitoramento do uso dos produtos para saúde se torna essencial. Portanto, as ações de tecnovigilância são fundamentais para garantir a segurança na utilização dos produtos para saúde disponibilizados à população
        <sup>
          <xref rid="B5" ref-type="bibr">5</xref>
        </sup>.
      </p>
      <p>A tecnovigilância é entendida como um sistema de vigilância de eventos adversos e queixas técnicas de produtos para a saúde na fase de pós-comercialização, com vistas a recomendar a adoção de medidas que garantam a proteção e a promoção da saúde da população
        <sup>
          <xref rid="B6" ref-type="bibr">6</xref>
        </sup>. Os eventos adversos podem ser definidos como efeitos não desejados, em humanos, decorrente do uso de produtos sujeitos à vigilância sanitária (Visa), como óbito, deficiência ou dano permanente em uma estrutura do organismo, perturbação ou risco fetal, entre outras. Já as queixas técnicas são suspeitas de alteração/irregularidade de um produto ou empresa, quanto aos aspectos técnicos ou legais, e que poderão ou não causar dano à saúde individual e coletiva
        <sup>
          <xref rid="B7" ref-type="bibr">7</xref>
        </sup>.
      </p>
      <p>O registro e monitoramento de eventos adversos e queixas técnicas relacionados aos produtos sujeitos à Visa são realizados pelo Sistema Nacional de Notificação em Vigilância Sanitária (Notivisa) desde dezembro de 2006. Neste sistema, estabelecimentos de saúde, empresas detentoras de registro dos produtos, Vigilâncias Sanitárias e profissionais liberais podem realizar notificações após se cadastrarem
        <sup>
          <xref rid="B5" ref-type="bibr">5</xref>
        </sup>. Os demais usuários não cadastrados podem fazer a notificação por meio de formulários eletrônicos disponíveis no sítio eletrônico da Anvisa. As notificações de produtos para saúde são analisadas de acordo com a criticidade da ocorrência e, a partir disso, é determinada a necessidade de investigação no âmbito do SNVS. As notificações de óbito, lesão permanente ou temporária grave devem sempre ser investigadas. As demais notificações de eventos adversos são investigadas de acordo com a gravidade, frequência e capacidade operacional da unidade técnica. Já o critério de investigação de notificações de lesões temporárias não graves e queixa técnica é o aumento da ocorrência verificado no monitoramento do sistema e a capacidade operacional da unidade técnica
        <sup>
          <xref rid="B5" ref-type="bibr">5</xref>
        </sup>.
      </p>
      <p>Cabe ao detentor de registro de produto para saúde estruturar e implantar um sistema de tecnovigilância em sua empresa e designar pelo menos um profissional, com formação em nível superior e registro em conselho de classe, como responsável por essa atividade
        <sup>
          <xref rid="B7" ref-type="bibr">7</xref>
        </sup>. As empresas detentoras do registro dos produtos para saúde possuem perfil de acesso ao sistema para verificação da notificação sem a identificação do notificante. Após a análise da empresa é possível inserir na notificação sua investigação e concluí-la como: confirmado, provável, inconclusivo ou descartado, conforme as definições a seguir
        <sup>
          <xref rid="B5" ref-type="bibr">5</xref>
        </sup>.
      </p>
      <list list-type="alpha-lower">
        <list-item>
          <p>Confirmado: confirmada a relação causal entre o produto e a ocorrência;</p>
        </list-item>
        <list-item>
          <p>Provável: não confirmada a relação causal entre o produto e a ocorrência, mas existe evidência da probabilidade do uso do produto ter causado a ocorrência;</p>
        </list-item>
        <list-item>
          <p>Inconclusivo: não confirmada a relação causal entre o produto e a ocorrência, pois as informações verificadas durante a investigação são insuficientes ou contraditórias e não puderam ser completadas ou verificadas;</p>
        </list-item>
        <list-item>
          <p>Descartado: confirmada a inexistência de causalidade entre o uso do produto e a ocorrência ou existência de evidências claras da impossibilidade de o uso do produto ser a causa da ocorrência. Nesse caso, as informações verificadas na investigação são suficientes para descartar o caso.</p>
        </list-item>
      </list>
      <p>As notificações do Notivisa pressupõem a existência de riscos, os quais podem representar ameaça à saúde dos usuários dos produtos para saúde com suspeita de desvio de qualidade. Estas ocorrências podem estar associadas à baixa qualidade do produto, uso inadequado, fatores inerentes do usuário, assim como fatores do próprio produto, os quais podem tem sido indicados no processo de registro do produto, como o Nível de Qualidade Aceitável ou eventos adversos esperados
        <sup>
          <xref rid="B5" ref-type="bibr">5</xref>
        </sup>.
      </p>
      <p>As detentoras de registro dos produtos para saúde são responsáveis pela investigação da causa de não conformidades relacionadas ao produto, processo ou sistema da qualidade, executando as ações de correção e prevenção. A efetividade destas ações deve ser verificada e registrada. Todas as reclamações envolvendo possível não conformidade do produto ou que levarem a óbito, lesão ou ameaça à saúde pública devem ser examinadas, avaliadas e investigadas
        <sup>
          <xref rid="B8" ref-type="bibr">8</xref>,
          <xref rid="B9" ref-type="bibr">9</xref>
        </sup>.
      </p>
      <p>Portanto, a atuação da empresa detentora de registro do produto na investigação da notificação e execução de ações corretiva e preventiva, se aplicável, é essencial para a garantia da qualidade e segurança dos produtos para saúde comercializados.</p>
      <p>Dessa forma, o objetivo desse estudo foi analisar o perfil das notificações de tecnovigilância do Notivisa registradas no Paraná no período de 2006 a 2018 e as investigações das empresas detentoras de registro dos produtos para saúde notificados no ano de 2018.</p>
    </sec>
    <sec sec-type="methods">
      <title>MÉTODO</title>
      <p>A Divisão de Vigilância Sanitária de Produtos (DVVSP) da Secretaria de Estado da Saúde do Paraná realizou o estudo descritivo, retrospectivo, documental das notificações de tecnovigilância realizadas no Notivisa pelo Paraná, no período de 2006 a 2018, e das respostas das empresas detentoras de registro dos produtos para saúde notificados em 2018. O monitoramento do Notivisa é uma das atribuições do Estado, conforme definido na Portaria n° 1.660, de 22 de julho de 2009, para subsídio à tomada de decisão, visando à promoção e à proteção da saúde
        <sup>
          <xref rid="B10" ref-type="bibr">10</xref>
        </sup>.
      </p>
      <p>Os dados das notificações foram exportados em uma planilha do Libre Office, por meio do tópico Gerenciamento de Notificações do Notivisa, na data de 14 de fevereiro de 2019. Foram aplicados os seguintes filtros no sistema para obtenção dos dados: data inicial e data final (1º de janeiro a 31 de dezembro de cada ano); produto motivo da notificação (artigo médico-hospitalar, equipamento médico-hospitalar, 
        <italic>kit</italic> reagente para diagnóstico 
        <italic>in vitro</italic>); tipo (queixa técnica, evento adverso) e unidade da federação da identificação ou ocorrência (Paraná-PR). As notificações foram quantificadas por: ano, tipo de notificação e linha de produto.
      </p>
      <p>Foram excluídas da segunda etapa do estudo as notificações provenientes da empresa que apresentou o maior número de notificações no período, visto que já houve investigação pelo SNVS na referida empresa. Para a avaliação das respostas foram selecionadas na planilha as notificações que apresentavam conclusão por parte da empresa. A descrição da investigação realizada pelas empresas foi consultada no histórico de cada notificação no Notivisa. Foi analisado se as respostas das empresas mencionavam ou não a adoção de medidas corretivas e/ou preventivas e as justificativas daquelas que não realizaram a investigação. Foram analisadas também as respostas que descreveram a necessidade de mais informações sobre a ocorrência ou necessidade de orientação ao notificante, já que as informações do notificador são confidenciais no acesso das empresas. A divulgação dos resultados da análise foi autorizada pela Coordenadoria de Vigilância Sanitária onde a DVVSP está lotada.</p>
    </sec>
    <sec sec-type="results|discussion">
      <title>RESULTADOS E DISCUSSÃO</title>
      <p>O Paraná possui um número elevado de notificações de tecnovigilância no Notivisa desde sua implantação, conforme demostrado na 
        <xref rid="f01" ref-type="fig">Figura 1</xref>. Considerando que o sistema foi implantando em dezembro de 2006, foram identificadas notificações a partir de 2007, somando um total de 17.122 até 2018. Essas notificações representam as ocorrências relacionadas aos produtos para saúde utilizados no estado, sendo que os fabricantes ou importadores desses produtos podem estar localizados em qualquer região do país. Observa-se um relevante crescimento no número de notificações registradas, de forma a ressaltar a importância do sistema para a detecção, monitoramento, controle e disponibilização de dados das ocorrências relacionadas aos produtos para a saúde. Estes dados corroboram estudos anteriores que demonstram o aumento do número de notificações ao longo dos anos nas demais regiões do país e tipos de produtos submetidos à Visa
        <sup>
          <xref rid="B12" ref-type="bibr">12</xref>,
          <xref rid="B13" ref-type="bibr">13</xref>,
          <xref rid="B14" ref-type="bibr">14</xref>
        </sup>.
      </p>
      <p>
        <fig id="f01">
          <label>Figura 1</label>
          <caption>
            <title>Quantidade de notificações de tecnovigilância do Notivisa registradas no Paraná, de 2007 a 2018.</title>
          </caption>
          <graphic xlink:href="2317-269X-visa-7-4-0048-gf01.jpg"/>
          <attrib>Fonte: Notivisa (2019).</attrib>
        </fig>
      </p>
      <p>Observa-se aumento do número de notificações a partir de 2014, porque uma empresa localizada no Paraná intensificou o processo de notificação. Dentre as notificações do referido ano, verifica-se que 2.177 são originadas nessa empresa. O elevado número de notificações de eventos adversos a partir 2014 também foi resultado das notificações da mesma empresa, a qual registrou 2.169 casos naquele ano. Salienta-se que a maior parte dessas notificações foi realizada pela própria empresa considerando as ocorrências relatadas no Serviço de Atendimento ao Cliente. Conforme determina a Resolução da Diretoria Colegiada (RDC) n° 67, de 21 de dezembro de 2009
        <sup>
          <xref rid="B7" ref-type="bibr">7</xref>
        </sup>, os fabricantes de produtos para saúde devem notificar ao SNVS: queixas técnicas, eventos adversos, óbitos, situações de séria ameaça à saúde pública e falsificações relacionadas a produtos para a saúde, que sejam do seu conhecimento. Sendo assim, as notificações realizadas pelas empresas devem sempre ser estimuladas, assim como o adequado tratamento dos desvios. Portanto, a existência ou não de notificações no sistema não é o único fator para avaliação da qualidade do produto, pois, além da possibilidade de existirem casos subnotificados, a tratativa da empresa frente a ocorrência deve ser considerada.
      </p>
      <p>Destaca-se ainda que a elevação do número de notificações ao longo dos anos foi motivada também pela intensificação das ações de fomento e orientação do uso do Notivisa realizadas pela DVVSP.</p>
      <p>Verifica-se um maior número de notificações da linha de artigo (97,9%, n = 16.758) e reduzidas notificações da linha de equipamentos (1,5%, n = 255) e diagnóstico 
        <italic>in vitro</italic> (0,6%, n = 109), conforme demonstrado na 
        <xref rid="f02" ref-type="fig">Figura 2</xref>. A identificação de desvios de qualidade envolvendo equipamentos e produtos para diagnóstico 
        <italic>in vitro</italic> ocorre principalmente na área de engenharia clínica e laboratórios de análises clínicas, respectivamente. Dessa forma, verifica-se a necessidade de maior envolvimento destes setores na detecção e investigação de potenciais eventos adversos e queixas técnicas ocorridas nas diferentes classes de produtos para saúde.
      </p>
      <p>
        <fig id="f02">
          <label>Figura 2</label>
          <caption>
            <title>Quantidade de notificações de tecnovigilância do Notivisa registradas no Paraná, segundo linha e tipo, 2007 a 2018.</title>
          </caption>
          <graphic xlink:href="2317-269X-visa-7-4-0048-gf02.jpg"/>
          <attrib>Fonte: Notivisa (2019).</attrib>
        </fig>
      </p>
      <p>Na análise dos resultados das investigações pelas empresas, verificou-se que 1.929 (82,9%) das notificações realizadas em 2018 estavam concluídas como confirmado (5,6%, n = 108), provável (5,5%, n = 107), inconclusivo (60,3%, n = 1.163) ou descartado (28,6%, n = 551). O maior número de notificações não confirmadas demonstra a necessidade de avaliação das causas que levam a estas finalizações e possível risco remanescente destas ocorrências. Destas notificações, 1.302 foram excluídas por serem originadas da empresa que já era investigada pelo SNVS. Portanto, foram selecionadas 627 notificações e analisadas as respostas de 404 (64,3%).</p>
      <p>A investigação das notificações pela empresa detentora de registro deve ser capaz de identificar a correlação dos eventos adversos ou queixas técnicas com o produto, de forma a subsidiar a adoção de medidas de contenção ou minimização do risco a população. Portanto, a avaliação da empresa detentora de registro é essencial para efetivação de ações frente as notificações do Notivisa.</p>
      <p>Salienta-se que as notificações supracitadas podem estar relacionadas aos produtos para saúde fabricados ou importados por empresas localizadas em outras unidades federativas do país. Contudo, quando a empresa detentora do registro do produto está localizada no Paraná, há maior alcance de investigação das ocorrências de eventos adversos e queixas técnicas, uma vez que estas empresas são inspecionadas periodicamente pela Visa. Os procedimentos operacionais padrão harmonizados no SNVS estabelecem que as evidências de vigilância pós-comercialização devem ser verificadas no planejamento das inspeções nessas empresas para identificação de tendências, situações de risco, entre outras.</p>
      <p>Das 404 notificações analisadas, foram descritas adoção de medidas corretivas e/ou preventivas adicionais pelas empresas detentoras de registro dos produtos notificados: 27,4% das notificações finalizadas como confirmado, 12,9% das inconclusivas, 47,8% das prováveis e 3,2% das descartadas, conforme 
        <xref rid="f03" ref-type="fig">Figura 3</xref>. Portanto, verifica-se que a confirmação da notificação não está diretamente relacionada à adoção de medidas pelas empresas, assim como as demais conclusões podem resultar na adoção de medidas complementares.
      </p>
      <p>
        <fig id="f03">
          <label>Figura 3</label>
          <caption>
            <title>Quantidade de notificações que descreveram adoção de ações corretivas e/ou preventivas frente às notificações de tecnovigilância do Notivisa registradas no Paraná, 2018.</title>
          </caption>
          <graphic xlink:href="2317-269X-visa-7-4-0048-gf03.jpg"/>
          <attrib>Fonte: Notivisa, 2019.</attrib>
        </fig>
      </p>
      <p>Observou-se ainda que as empresas não realizaram investigação de 23 notificações devido a problemas no lote informado (n = 14), produto vencido (n = 1), produto descontinuado (n = 1), acesso a notificação não liberado por inconsistência no sistema (n = 5) e retificação da notificação pela Anvisa (n = 2). Salienta-se que 126 notificações descreveram a necessidade de mais informações sobre a ocorrência, amostra, foto do produto e/ou contato com o notificante para subsidiar a investigação. Estes dados demonstram a necessidade de qualificação dos dados fornecidos pelo notificante, já que a empresa não possui os dados do notificador para obtenção de mais informações e, portanto, para caracterizar a causalidade é fundamental que as notificações sejam completas e coerentes. Ressalta-se que a necessidade de qualificação das informações prestadas pelos notificados foi também identificada em outros estudos
        <sup>
          <xref rid="B12" ref-type="bibr">12</xref>,
          <xref rid="B15" ref-type="bibr">15</xref>
        </sup>. Considerando ainda que a notificação das ocorrências pelas empresas é compulsória, a análise sobre a possibilidade de haver diferentes desfechos nas notificações entre as realizadas pela própria empresa quanto aos seus produtos e aquelas realizadas pelos demais notificantes pode confirmar tendências de respostas.
      </p>
      <p>O monitoramento do resultado das investigações possibilita a análise de tendências como a recorrência de notificações do mesmo produto após adoção de medidas corretivas e preventivas pela empresa, de forma a demonstrar possível falha no sistema de investigação e avaliação da efetividade das medidas adotadas. Além disso, pode se identificar se há viés na solicitação de complementação de informações pelas empresas de um mesmo notificador ou se a falta de informações essenciais está relacionada ao sistema de informação.</p>
      <p>Considerando que o Notivisa não disponibiliza as informações das investigações das empresas de forma agrupada, sendo necessário avaliar caso a caso, o aprimoramento do sistema para melhor disponibilização dos dados se faz necessário para inserção dessa prática na rotina de trabalho, de forma a contribuir com a tomada de decisão.</p>
    </sec>
    <sec sec-type="conclusions">
      <title>CONCLUSÕES</title>
      <p>As ações de precaução e prevenção em saúde são prioritárias no controle sanitário do SNVS. A tecnovigilância é um dos pilares para o controle e segurança dos produtos disponibilizados no mercado nacional, mas ainda precisa ser fortalecida e articulada com as diferentes estratégias de proteção e promoção a saúde, tanto as desenvolvidas no próprio contexto da Visa, como as de responsabilidade de outros atores como os serviços de saúde, as empresas, os profissionais de saúde e usuários
        <sup>
          <xref rid="B16" ref-type="bibr">16</xref>
        </sup>.
      </p>
      <p>As ocorrências de eventos adversos e queixas técnicas relacionadas aos produtos para saúde pressupõem existência de riscos e ameaça à saúde humana. Dessa forma, o Notivisa se torna uma ferramenta fundamental para monitoramento da qualidade e segurança dos produtos disponíveis no mercado e adoção das medidas adequadas de controle, alertas de segurança, atualização da legislação sanitária, entre outras ações para proteção da saúde da população
        <sup>
          <xref rid="B17" ref-type="bibr">17</xref>
        </sup>.
      </p>
      <p>A qualificação das informações fornecidas pelo notificador subsidia a investigação da ocorrência pela empresa detentora de registro do produto envolvido. Contudo, a robustez da investigação e a adoção das medidas corretivas e preventivas também estão diretamente relacionadas ao Sistema de Qualidade da empresa fabricante ou importadora do produto.</p>
      <p>A descentralização das ações de tecnovigilância para a Visa estadual e municipal com o fortalecimento das ações regionalizadas possibilita a ampliação do monitoramento dos produtos fornecidos à população. Contudo, a descentralização destas atividades ainda não está consolidada, visto a primazia das ações de fiscalização e das diferentes formas de organização e estruturação de estados e municípios
        <sup>
          <xref rid="B16" ref-type="bibr">16</xref>
        </sup>.
      </p>
      <p>A implementação de um processo contínuo e efetivo de monitoramento, investigação e controle contribui com a identificação e minimização de riscos sanitários. Ressalta-se que o principal recurso utilizado neste estudo foi o recurso humano para sistematização e análise dos dados. Portanto, a reestruturação das equipes de Visa, de forma a aumentar a capacidade técnica operacional, é essencial para o atendimento das atribuições estaduais e municipais definidas na Portaria n° 1.660/2009
        <sup>
          <xref rid="B10" ref-type="bibr">10</xref>
        </sup>, assim como o aprimoramento do sistema. Salienta-se também que são necessários rediscutir e fortalecer o processo de descentralização por meio de ações estratégicas mais amplas do que somente a utilização do sistema de informações
        <sup>
          <xref rid="B16" ref-type="bibr">16</xref>
        </sup>.
      </p>
      <p>Os resultados deste estudo demonstram a possibilidade de atuação da Visa local no monitoramento contínuo das respostas das empresas frente às notificações do Notivisa. Considerando que a Visa possui acesso aos dados do notificador, a sua atuação como interlocutora nas demandas de comunicação entre a empresa e o notificador pode contribuir com o aprimoramento das investigações e adoção de medidas cabíveis. O monitoramento das notificações também possibilita a identificação de tendências, investigações, coleta de amostras para Análise Fiscal, entre outras ações. Conforme descrito em estudo de Branco et al.
        <sup>
          <xref rid="B17" ref-type="bibr">17</xref>
        </sup>, é importante a construção de programas de monitoramento pactuados entre os entes do SNVS visando à realização de análises laboratoriais para avaliação da qualidade dos produtos utilizados no âmbito nacional.
      </p>
      <p>Outra forma de atuação da Visa é por meio da análise de possíveis desvios de qualidade subnotificados pelas empresas durante as inspeções de fiscalização. Portanto, a qualificação das equipes técnicas para avaliação da adequação das investigações realizadas pelas empresas é fundamental para a identificação de Sistemas de Gestão da Qualidade falhos na contenção de riscos.</p>
      <p>O Notivisa possibilita o registro de informações de notificação em um canal único pelo SNVS, contudo o seu aperfeiçoamento, de forma a agilizar e melhorar a interface e comunicação dos usuários, é fundamental para a celeridade na identificação e contenção do risco sanitário.</p>
      <p>Corroborando estudos anteriores quanto à possibilidade de casos subnotificados, deve ser ampliada também a divulgação do Notivisa como canal oficial para notificação, sensibilização dos profissionais de saúde para uso do sistema e fortalecimento da Rede Sentinela, já que ela é uma das principais notificadoras
        <sup>
          <xref rid="B13" ref-type="bibr">13</xref>,
          <xref rid="B14" ref-type="bibr">14</xref>,
          <xref rid="B17" ref-type="bibr">17</xref>
        </sup>.
      </p>
    </sec>
  </body>
  <back>
    <ack>
      <title>Agradecimentos</title>
      <p>À Secretaria de Estado da Saúde do Paraná e à Universidade Federal do Paraná pelo apoio e colaboração na elaboração deste estudo.</p>
    </ack>
    <ref-list>
      <title>REFERÊNCIAS</title>
      <ref id="B1">
        <label>1</label>
        <mixed-citation>.Brasil. Lei N° 6.360, de 23 de setembro de 1976. Dispõe sobre a vigilância sanitária a que ficam sujeitos os medicamentos, as drogas, os insumos farmacêuticos e correlatos, cosméticos, saneantes e outros produtos, e dá outras providências. Diário Oficial União. 24 set 1976.</mixed-citation>
        <element-citation publication-type="legal-doc">
          <person-group person-group-type="author">
            <collab>Brasil</collab>
          </person-group>
          <article-title>Lei N° 6.360, de 23 de setembro de 1976. Dispõe sobre a vigilância sanitária a que ficam sujeitos os medicamentos, as drogas, os insumos farmacêuticos e correlatos, cosméticos, saneantes e outros produtos, e dá outras providências</article-title>
          <source>Diário Oficial União</source>
          <day>24</day>
          <year>1976</year>
        </element-citation>
      </ref>
      <ref id="B2">
        <label>2</label>
        <mixed-citation>.Brasil. Lei N° 9.782, de 26 de janeiro de 1999. Define o sistema nacional de vigilância sanitária, cria a Agência Nacional de Vigilância Sanitária, e dá outras providências. Diário Oficial União. 27 jan 1999.</mixed-citation>
        <element-citation publication-type="legal-doc">
          <person-group person-group-type="author">
            <collab>Brasil</collab>
          </person-group>
          <article-title>Lei N° 9.782, de 26 de janeiro de 1999. Define o sistema nacional de vigilância sanitária, cria a Agência Nacional de Vigilância Sanitária, e dá outras providências</article-title>
          <source>Diário Oficial União</source>
          <day>27</day>
          <month>01</month>
          <year>1999</year>
        </element-citation>
      </ref>
      <ref id="B3">
        <label>3</label>
        <mixed-citation>.Agência Nacional de Vigilância Sanitária – Anvisa. Resolução RDC N° 39, de 14 de agosto de 2013. Dispõe sobre os procedimentos administrativos para concessão da certificação de boas práticas de fabricação e da certificação de boas práticas de distribuição e/ou armazenagem. Diário Oficial União. 15 ago 2013.</mixed-citation>
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <collab>Agência Nacional de Vigilância Sanitária</collab>
            <collab>Anvisa</collab>
          </person-group>
          <article-title>Resolução RDC N° 39, de 14 de agosto de 2013. Dispõe sobre os procedimentos administrativos para concessão da certificação de boas práticas de fabricação e da certificação de boas práticas de distribuição e/ou armazenagem</article-title>
          <source>Diário Oficial União</source>
          <day>15</day>
          <month>08</month>
          <year>2013</year>
        </element-citation>
      </ref>
      <ref id="B4">
        <label>4</label>
        <mixed-citation>.Agência Nacional de Vigilância Sanitária – Anvisa. Oferta de produtos para a saúde cresce 11,4% em três anos. Portal Anvisa. 11 jan 2019[acesso 14 jul 2019]. Disponível em: http://portal.anvisa.gov.br/noticias/-/asset_publisher/FXrpx9qY7FbU/content/oferta-de-produtos-para-a-saude-cresce-11-4-em-tres-anos/219201/pop_up?_101_INSTANCE_FXrpx9qY7FbU_viewMode=print&amp;_101_INSTANCE_FXrpx9qY7FbU_languageId=pt_BR</mixed-citation>
        <element-citation publication-type="report">
          <person-group person-group-type="author">
            <collab>Agência Nacional de Vigilância Sanitária</collab>
            <collab>Anvisa</collab>
          </person-group>
          <source>Oferta de produtos para a saúde cresce 11,4% em três anos. Portal Anvisa</source>
          <day>11</day>
          <month>01</month>
          <year>2019</year>
          <date-in-citation content-type="access-date">acesso 14 jul 2019</date-in-citation>
          <ext-link ext-link-type="uri" xlink:href="http://portal.anvisa.gov.br/noticias/-/asset_publisher/FXrpx9qY7FbU/content/oferta-de-produtos-para-a-saude-cresce-11-4-em-tres-anos/219201/pop_up?_101_INSTANCE_FXrpx9qY7FbU_viewMode=print&amp;_101_INSTANCE_FXrpx9qY7FbU_languageId=pt_BR">http://portal.anvisa.gov.br/noticias/-/asset_publisher/FXrpx9qY7FbU/content/oferta-de-produtos-para-a-saude-cresce-11-4-em-tres-anos/219201/pop_up?_101_INSTANCE_FXrpx9qY7FbU_viewMode=print&amp;_101_INSTANCE_FXrpx9qY7FbU_languageId=pt_BR</ext-link>
        </element-citation>
      </ref>
      <ref id="B5">
        <label>5</label>
        <mixed-citation>.Agência Nacional de Vigilância Sanitária – Anvisa. Manual de tecnovigilância: abordagens de vigilância sanitária de produtos para saúde comercializados no Brasil. Brasília: Agência Nacional de Vigilância Sanitária; 2010.</mixed-citation>
        <element-citation publication-type="report">
          <person-group person-group-type="author">
            <collab>Agência Nacional de Vigilância Sanitária</collab>
            <collab>Anvisa</collab>
          </person-group>
          <source>Manual de tecnovigilância: abordagens de vigilância sanitária de produtos para saúde comercializados no Brasil</source>
          <publisher-loc>Brasília</publisher-loc>
          <publisher-name>Agência Nacional de Vigilância Sanitária</publisher-name>
          <year>2010</year>
        </element-citation>
      </ref>
      <ref id="B6">
        <label>6</label>
        <mixed-citation>.Agência Nacional de Vigilância Sanitária – Anvisa. tecnovigilância. Portal Anvisa. 2019[acesso 15 set 2019]. Disponível em: http://portal.anvisa.gov.br/tecnovigilancia</mixed-citation>
        <element-citation publication-type="report">
          <person-group person-group-type="author">
            <collab>Agência Nacional de Vigilância Sanitária</collab>
            <collab>Anvisa</collab>
          </person-group>
          <source>tecnovigilância. Portal Anvisa</source>
          <year>2019</year>
          <date-in-citation content-type="access-date">acesso 15 set 2019</date-in-citation>
          <ext-link ext-link-type="uri" xlink:href="http://portal.anvisa.gov.br/tecnovigilancia">http://portal.anvisa.gov.br/tecnovigilancia</ext-link>
        </element-citation>
      </ref>
      <ref id="B7">
        <label>7</label>
        <mixed-citation>.Agência Nacional de Vigilância Sanitária – Anvisa. Resolução RDC Nº 67, de 21 de dezembro de 2009. Dispõe sobre normas de tecnovigilância aplicáveis aos detentores de registro de produtos para saúde no Brasil. Diário Oficial União. 23 dez 2009.</mixed-citation>
        <element-citation publication-type="legal-doc">
          <person-group person-group-type="author">
            <collab>Agência Nacional de Vigilância Sanitária</collab>
            <collab>Anvisa</collab>
          </person-group>
          <article-title>Resolução RDC Nº 67, de 21 de dezembro de 2009. Dispõe sobre normas de tecnovigilância aplicáveis aos detentores de registro de produtos para saúde no Brasil</article-title>
          <source>Diário Oficial União</source>
          <day>23</day>
          <month>12</month>
          <year>2009</year>
        </element-citation>
      </ref>
      <ref id="B8">
        <label>8</label>
        <mixed-citation>.Agência Nacional de Vigilância Sanitária – Anvisa. Resolução RDC Nº 16, de 28 de março de 2013. Aprova o regulamento técnico de boas práticas de fabricação de produtos médicos e produtos para diagnóstico de uso in vitro e dá outras providências. Diário Oficial da União. 1 abr 2013.</mixed-citation>
        <element-citation publication-type="legal-doc">
          <person-group person-group-type="author">
            <collab>Agência Nacional de Vigilância Sanitária</collab>
            <collab>Anvisa</collab>
          </person-group>
          <article-title>Resolução RDC Nº 16, de 28 de março de 2013. Aprova o regulamento técnico de boas práticas de fabricação de produtos médicos e produtos para diagnóstico de uso in vitro e dá outras providências</article-title>
          <source>Diário Oficial da União</source>
          <day>1</day>
          <month>04</month>
          <year>2013</year>
        </element-citation>
      </ref>
      <ref id="B9">
        <label>9</label>
        <mixed-citation>.Agência Nacional de Vigilância Sanitária – Anvisa. Instrução normativa N° 8, de 26 de dezembro de 2013. Estabelece a abrangência da aplicação dos dispositivos do regulamento técnico de boas práticas de fabricação de produtos médicos e produtos para diagnóstico de uso
          <italic> in vitro</italic> para empresas que realizam as atividades de importação, distribuição e armazenamento e dá outras providências. Diário Oficial União. 30 dez 2013.
        </mixed-citation>
        <element-citation publication-type="legal-doc">
          <person-group person-group-type="author">
            <collab>Agência Nacional de Vigilância Sanitária</collab>
            <collab>Anvisa</collab>
          </person-group>
          <article-title>Instrução normativa N° 8, de 26 de dezembro de 2013. Estabelece a abrangência da aplicação dos dispositivos do regulamento técnico de boas práticas de fabricação de produtos médicos e produtos para diagnóstico de uso in vitro para empresas que realizam as atividades de importação, distribuição e armazenamento e dá outras providências</article-title>
          <source>Diário Oficial União</source>
          <day>30</day>
          <month>12</month>
          <year>2013</year>
        </element-citation>
      </ref>
      <ref id="B10">
        <label>10</label>
        <mixed-citation>.Agência Nacional de Vigilância Sanitária – Anvisa. Portaria N° 1.660, de 22 de julho de 2009. Institui o sistema de notificação e investigação em vigilância sanitária - Vigipos, no âmbito do Sistema Nacional de Vigilância Sanitária, como parte integrante do Sistema Único de Saúde - SUS. Diário Oficial União. 24 jul 2009.</mixed-citation>
        <element-citation publication-type="legal-doc">
          <person-group person-group-type="author">
            <collab>Agência Nacional de Vigilância Sanitária</collab>
            <collab>Anvisa</collab>
          </person-group>
          <article-title>Portaria N° 1.660, de 22 de julho de 2009. Institui o sistema de notificação e investigação em vigilância sanitária - Vigipos, no âmbito do Sistema Nacional de Vigilância Sanitária, como parte integrante do Sistema Único de Saúde - SUS</article-title>
          <source>Diário Oficial União</source>
          <day>24</day>
          <month>07</month>
          <year>2009</year>
        </element-citation>
      </ref>
      <ref id="B11">
        <label>11</label>
        <mixed-citation>.Agência Nacional de Vigilância Sanitária – Anvisa. Sistema de notificações para a vigilância sanitária. Brasília: Agência Nacional de Vigilância Sanitária; 2009[acesso 24 maio 2019]. Disponível em: https://www8.anvisa.gov.br/notivisa/frmlogin.asp</mixed-citation>
        <element-citation publication-type="report">
          <person-group person-group-type="author">
            <collab>Agência Nacional de Vigilância Sanitária</collab>
            <collab>Anvisa</collab>
          </person-group>
          <source>Sistema de notificações para a vigilância sanitária</source>
          <publisher-loc>Brasília</publisher-loc>
          <publisher-name>Agência Nacional de Vigilância Sanitária</publisher-name>
          <year>2009</year>
          <date-in-citation content-type="access-date">acesso 24 maio 2019</date-in-citation>
          <ext-link ext-link-type="uri" xlink:href="https://www8.anvisa.gov.br/notivisa/frmlogin.asp">https://www8.anvisa.gov.br/notivisa/frmlogin.asp</ext-link>
        </element-citation>
      </ref>
      <ref id="B12">
        <label>12</label>
        <mixed-citation>.Oliveira JR, Xavier RMF, Santos Júnior AF. Eventos adversos notificados ao Sistema Nacional de Notificações para a Vigilância Sanitária (Notivisa): Brasil, estudo descritivo no período 2006 a 2011. Epidemiol Serv Saude. 2013;22(4):671-8. https://doi.org/10.5123/S1679-49742013000400013</mixed-citation>
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>Oliveira</surname>
              <given-names>JR</given-names>
            </name>
            <name>
              <surname>Xavier</surname>
              <given-names>RMF</given-names>
            </name>
            <name>
              <surname>Santos</surname>
              <given-names>AF</given-names>
              <suffix>Júnior</suffix>
            </name>
          </person-group>
          <article-title>Eventos adversos notificados ao Sistema Nacional de Notificações para a Vigilância Sanitária (Notivisa): Brasil, estudo descritivo no período 2006 a 2011</article-title>
          <source>Epidemiol Serv Saude</source>
          <year>2013</year>
          <volume>22</volume>
          <issue>4</issue>
          <fpage>671</fpage>
          <lpage>678</lpage>
          <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.5123/S1679-49742013000400013">https://doi.org/10.5123/S1679-49742013000400013</ext-link>
        </element-citation>
      </ref>
      <ref id="B13">
        <label>13</label>
        <mixed-citation>.Oliveira CG, Rodas ACD. tecnovigilância no Brasil: panorama das notificações de eventos adversos e queixas técnicas de cateteres vasculares. Cienc Saude Colet. 2017;22(10):3247-57. https://doi.org/10.1590/1413-812320172210.17612017</mixed-citation>
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>Oliveira</surname>
              <given-names>CG</given-names>
            </name>
            <name>
              <surname>Rodas</surname>
              <given-names>ACD</given-names>
            </name>
          </person-group>
          <article-title>tecnovigilância no Brasil: panorama das notificações de eventos adversos e queixas técnicas de cateteres vasculares</article-title>
          <source>Cienc Saude Colet</source>
          <year>2017</year>
          <volume>22</volume>
          <issue>10</issue>
          <fpage>3247</fpage>
          <lpage>3257</lpage>
          <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1590/1413-812320172210.17612017">https://doi.org/10.1590/1413-812320172210.17612017</ext-link>
        </element-citation>
      </ref>
      <ref id="B14">
        <label>14</label>
        <mixed-citation>.Belincanta M, Rossaneis MA, Matsuda LM, Dias AO, Haddad MCL. Queixas técnicas submetidas ao Sistema de Notificação e Investigação em Vigilância Sanitária. Rev Eletr Enf. 2018;20:v20a31. https://doi.org/10.5216/ree.v20.49337</mixed-citation>
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>Belincanta</surname>
              <given-names>M</given-names>
            </name>
            <name>
              <surname>Rossaneis</surname>
              <given-names>MA</given-names>
            </name>
            <name>
              <surname>Matsuda</surname>
              <given-names>LM</given-names>
            </name>
            <name>
              <surname>Dias</surname>
              <given-names>AO</given-names>
            </name>
            <name>
              <surname>Haddad</surname>
              <given-names>MCL</given-names>
            </name>
          </person-group>
          <article-title>Queixas técnicas submetidas ao Sistema de Notificação e Investigação em Vigilância Sanitária</article-title>
          <source>Rev Eletr Enf</source>
          <year>2018</year>
          <volume>20</volume>
          <size units="pages">v20a31</size>
          <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.5216/ree.v20.49337">https://doi.org/10.5216/ree.v20.49337</ext-link>
        </element-citation>
      </ref>
      <ref id="B15">
        <label>15</label>
        <mixed-citation>.Morais LO, Friedrick K, Melchior SC, Silva MF, Gemal AL, Delgado IF. Eventos adversos e queixas técnicas relacionados ao fio para sutura cirúrgica comercializado no Brasil. Vigil Sanit Debate. 2013;1(2):35-43.</mixed-citation>
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>Morais</surname>
              <given-names>LO</given-names>
            </name>
            <name>
              <surname>Friedrick</surname>
              <given-names>K</given-names>
            </name>
            <name>
              <surname>Melchior</surname>
              <given-names>SC</given-names>
            </name>
            <name>
              <surname>Silva</surname>
              <given-names>MF</given-names>
            </name>
            <name>
              <surname>Gemal</surname>
              <given-names>AL</given-names>
            </name>
            <name>
              <surname>Delgado</surname>
              <given-names>IF</given-names>
            </name>
          </person-group>
          <article-title>Eventos adversos e queixas técnicas relacionados ao fio para sutura cirúrgica comercializado no Brasil</article-title>
          <source>Vigil Sanit Debate</source>
          <year>2013</year>
          <volume>1</volume>
          <issue>2</issue>
          <fpage>35</fpage>
          <lpage>43</lpage>
        </element-citation>
      </ref>
      <ref id="B16">
        <label>16</label>
        <mixed-citation>.Melchior SC, Waissmann W. tecnovigilância: descentralização como estratégia de gerenciamento de riscos. In: Actas de Cuba Salud 2018 Convención Internacional de Salud; Havana, Cuba. Havana: Ministerio de Salud Pública de Cuba; 2018[acesso 15 set 2019]. Disponível em: http://www.convencionsalud2018.sld.cu/index.php/connvencionsalud/2018/paper/view/917/163</mixed-citation>
        <element-citation publication-type="confproc">
          <person-group person-group-type="author">
            <name>
              <surname>Melchior</surname>
              <given-names>SC</given-names>
            </name>
            <name>
              <surname>Waissmann</surname>
              <given-names>W</given-names>
            </name>
          </person-group>
          <source>tecnovigilância: descentralização como estratégia de gerenciamento de riscos</source>
          <conf-name>Actas de Cuba Salud 2018 Convención Internacional de Salud</conf-name>
          <conf-loc>Havana, Cuba</conf-loc>
          <publisher-loc>Havana</publisher-loc>
          <publisher-name>Ministerio de Salud Pública de Cuba</publisher-name>
          <year>2018</year>
          <date-in-citation content-type="access-date">acesso 15 set 2019</date-in-citation>
          <ext-link ext-link-type="uri" xlink:href="http://www.convencionsalud2018.sld.cu/index.php/connvencionsalud/2018/paper/view/917/163">http://www.convencionsalud2018.sld.cu/index.php/connvencionsalud/2018/paper/view/917/163</ext-link>
        </element-citation>
      </ref>
      <ref id="B17">
        <label>17</label>
        <mixed-citation>.Branco NMC, Lopes RGA, Silva MF, Romão CMCAP. Notivisa e os laboratórios de saúde pública: a interface da informação em vigilância sanitária. Vigil Sanit Debate. 2015;3(3):130-4. https://doi.org/10.3395/2317-269x.00242</mixed-citation>
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>Branco</surname>
              <given-names>NMC</given-names>
            </name>
            <name>
              <surname>Lopes</surname>
              <given-names>RGA</given-names>
            </name>
            <name>
              <surname>Silva</surname>
              <given-names>MF</given-names>
            </name>
            <name>
              <surname>Romão</surname>
              <given-names>CMCAP</given-names>
            </name>
          </person-group>
          <article-title>Notivisa e os laboratórios de saúde pública: a interface da informação em vigilância sanitária</article-title>
          <source>Vigil Sanit Debate</source>
          <year>2015</year>
          <volume>3</volume>
          <issue>3</issue>
          <fpage>130</fpage>
          <lpage>134</lpage>
          <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.3395/2317-269x.00242">https://doi.org/10.3395/2317-269x.00242</ext-link>
        </element-citation>
      </ref>
    </ref-list>
  </back>
  <!--sub-article article-type="translation" id="TRen" xml:lang="en">
    <front-stub>
      <article-categories>
        <subj-group subj-group-type="heading">
          <subject>ARTICLE</subject>
        </subj-group>
      </article-categories>
      <title-group>
        <article-title>Medical devices post-market surveillance: analysis of notifications of Notivisa registered in the state of Paraná, Brazil</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0000-0002-5521-5813</contrib-id>
          <name>
            <surname>Frois</surname>
            <given-names>Gisele Ribeiro da Assunção</given-names>
          </name>
          <xref ref-type="aff" rid="aff1001">
            <sup>I</sup>
          </xref>
          <xref ref-type="corresp" rid="c01001">
            <sup>*</sup>
          </xref>
        </contrib>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">0000-0001-6671-459X</contrib-id>
          <name>
            <surname>Oliniski</surname>
            <given-names>Samantha Reikdal</given-names>
          </name>
          <xref ref-type="aff" rid="aff2001">
            <sup>II</sup>
          </xref>
        </contrib>
      </contrib-group>
      <aff id="aff1001">
        <label>I</label>
        <country country="BR">Brasil</country>
        <institution content-type="original"> Secretaria de Estado da Saúde do Paraná (SESA), Curitiba, PR, Brasil</institution>
      </aff>
      <aff id="aff2001">
        <label>II</label>
        <country country="BR">Brasil</country>
        <institution content-type="original"> Universidade Federal do Paraná (UFPR), Curitiba, PR, Brasil</institution>
      </aff>
      <author-notes>
        <corresp id="c01001">
          <bold>* E-mail:</bold> gisele.frois@sesa.pr.gov.br 
        </corresp>
        <fn fn-type="conflict">
          <p>Conflict of Interest</p>
          <p>Authors have no potential conflict of interest to declare, related to this study’s political or financial peers and institutions.</p>
        </fn>
      </author-notes>
      <abstract>
        <title>ABSTRACT</title>
        <sec>
          <title>Introduction</title>
          <p> The medical devices post-market surveillance monitors adverse events and technical complaints of the medical devices through the National Notification Health Surveillance System (Notivisa). Companies holding the registration of products must investigate and adopt measures related to notifications.</p>
        </sec>
        <sec>
          <title>Objective</title>
          <p> To analyze the profile of notifications of Notivisa medical devices registered in Paraná from 2006 to 2018 and the investigations of companies that own the register of medical devices notified in 2018.</p>
        </sec>
        <sec>
          <title>Method</title>
          <p> A descriptive, retrospective, documental study of medical devices post-market surveillance notifications registered in Paraná from 2006 to 2018 and investigations registered by the 2018 notifications companies.</p>
        </sec>
        <sec>
          <title>Results</title>
          <p> 17,122 medical devices notifications were registered in Paraná from 2007 to 2018, with only 109 notifications related to the line of equipments and 255 of products for 
            <italic>in vitro</italic> diagnosis. From the 2,327 notifications of 2018, the responses of 404 notifications were analyzed, and the description of the adoption of corrective and, or preventive measures by the companies was identified in 20 confirmed, 22 inconclusive, 32 probable and 3 discarded notifications. In 126 notifications, there was a need for more information from the notifier to subsidize the investigation by the company.
          </p>
        </sec>
        <sec>
          <title>Conclusions</title>
          <p> Notivisa contributes to the monitoring of the quality, efficacy and safety of medical devices and enables the analysis of the companies’ performance in containing health risks.</p>
        </sec>
      </abstract>
      <kwd-group xml:lang="en">
        <kwd>Product Surveillance Post-market</kwd>
        <kwd>Health Surveillance</kwd>
        <kwd>Health Risk</kwd>
      </kwd-group>
    </front-stub>
    <body>
      <sec sec-type="intro">
        <title>INTRODUCTION</title>
        <p>Correlates (
          <italic>correlatos</italic>, in Portuguese), also called medical devices, are some of the products subject to health control by the Brazilian National Health Surveillance System (SNVS)
          <sup>
            <xref rid="B1" ref-type="bibr">1</xref>,
            <xref rid="B2" ref-type="bibr">2</xref>
          </sup>. This category covers a wide range of products used in medical, dental and physical therapy procedures, as well as in the diagnosis, treatment, rehabilitation or follow-up of patients. These products may be divided into groups of materials, medical equipment or diagnostic products for 
          <italic>in vitro</italic> use
          <sup>
            <xref rid="B3" ref-type="bibr">3</xref>
          </sup>.
        </p>
        <p>According to data from the Brazilian National Health Surveillance Agency (Anvisa), there was a 27% increase in the number of requests for regularization of new medical devices from 2016 to 2018, and in 2018 alone a total of 5,780 items were approved
          <sup>
            <xref rid="B4" ref-type="bibr">4</xref>
          </sup>. Considering that the use of these products may pose risks to patients when exposed to actual conditions of large-scale use, and since in these circumstances rare events and unforeseen problems can occur, monitoring the use of medical devices is essential. Therefore, medical device post-market surveillance actions are essential to ensure safety in the use of medical devices made available to the population
          <sup>
            <xref rid="B5" ref-type="bibr">5</xref>
          </sup>.
        </p>
        <p>Medical device post-market surveillance is understood as a surveillance system for adverse events and technical complaints of medical devices in the post-marketing phase, with a view to recommending measures to ensure the protection and promotion of the population’s health
          <sup>
            <xref rid="B6" ref-type="bibr">6</xref>
          </sup>. Adverse events can be defined as unwanted effects in humans resulting from the use of products subject to health surveillance, like death, disability or permanent harm to an organism’s structure, fetal disturbance or risk, among others. Technical complaints, in turn, are suspected changes/irregularities of a product or company in their technical or legal aspects, and which may or may not cause harm to individual and collective health
          <sup>
            <xref rid="B7" ref-type="bibr">7</xref>
          </sup>.
        </p>
        <p>The registration and monitoring of adverse events and technical complaints related to products subject to health surveillance have been done by the National Health Surveillance Notification System (Notivisa) since December 2006. In this system, healthcare facilities, companies holding the registration of products, health surveillance bodies and independent professionals can file reports after making their own registration in the system
          <sup>
            <xref rid="B5" ref-type="bibr">5</xref>
          </sup>. Other unregistered users can make reports through electronic forms available on Anvisa’s website. Medical device reports are analyzed according to the criticality of the occurrence and, based on that, the need for SNVS investigation is determined. Reports of death, permanent or severe temporary injury must always be investigated. Other reports of adverse events are investigated according to their severity, frequency and the operational capacity of the technical unit. The criterion for investigating reports of less severe temporary injuries and technical complaints is the increase in their occurrence in the system and the operational capacity of the technical unit
          <sup>
            <xref rid="B5" ref-type="bibr">5</xref>
          </sup>.
        </p>
        <p>Companies holding the registration of products are responsible for setting up and implementing a medical device post-market surveillance system in their companies and assigning at least one professional, with higher education and trade association registration, to be responsible for this activity
          <sup>
            <xref rid="B7" ref-type="bibr">7</xref>
          </sup>. Companies holding the registration of products have access to the system to check reports without identifying the reporting party. After company analysis, companies can attach their investigation to the report and conclude it as confirmed, probable, inconclusive, or discarded, as defined below
          <sup>
            <xref rid="B5" ref-type="bibr">5</xref>
          </sup>.
        </p>
        <list list-type="alpha-lower">
          <list-item>
            <p>Confirmed: confirmed causal relationship between product and occurrence;</p>
          </list-item>
          <list-item>
            <p>Probable: the causal relationship between the product and the occurrence is not confirmed, but there is evidence of likelihood that the use of the product could have caused the occurrence;</p>
          </list-item>
          <list-item>
            <p>Inconclusive: the causal relationship between the product and the occurrence is not confirmed, since the information surveyed during the investigation is insufficient or contradictory and could not be completed or verified;</p>
          </list-item>
          <list-item>
            <p>Discarded: there is confirmation of the absence of causality between the use of the product and the occurrence or there is clear evidence of the impossibility of the use of the product being the cause of the occurrence. In this case, the information verified in the investigation is sufficient to discard the case.</p>
          </list-item>
        </list>
        <p>Notivisa reports assume the existence of risks that may pose threats to the health of users of products suspected of quality deviation. These occurrences may be associated with poor product quality, misuse, inherent user factors, as well as factors related to the product itself, which may have been indicated in the registration process, such as Acceptable Quality Level or expected adverse events
          <sup>
            <xref rid="B5" ref-type="bibr">5</xref>
          </sup>.
        </p>
        <p>Companies holding the registration of products are responsible for investigating the cause of nonconformities related to the product, process, or quality system by taking corrective and preventive actions. The effectiveness of these actions must be verified and recorded. All complaints involving possible nonconformities of the product or that may lead to death, injury or threat to public health should be examined, assessed and investigated
          <sup>
            <xref rid="B8" ref-type="bibr">8</xref>,
            <xref rid="B9" ref-type="bibr">9</xref>
          </sup>.
        </p>
        <p>Therefore, the actions of the companies holding the registration of products in investigating the report and adopting corrective and preventive measures, if applicable, are essential to ensure the quality and safety of marketed medical devices.</p>
        <p>The objective of this study was to analyze the profile of Notivisa’s medical device post-market surveillance reports made in the Brazilian state of Paraná from 2006 to 2018 and the investigations of the companies holding the registration of medical devices reported in 2018.</p>
        <sec sec-type="methods">
          <title>METHOD</title>
          <p>The Division of Health Surveillance of Products (DVVSP) of the Paraná State Department of Health conducted a descriptive, retrospective, documentary study of the medical device post-market surveillance reports filed with Notivisa in Paraná, from 2006 to 2018, and the responses of the companies holding the registration of medical devices reported in 2018. Monitoring Notivisa is one of the state’s responsibilities, as determined by Ordinance n. 1.660, of July 22, 2009, to subsidize decision making and strengthen health promotion and protection
            <sup>
              <xref rid="B10" ref-type="bibr">10</xref>
            </sup>.
          </p>
          <p>Report data were exported to a Libre Office spreadsheet via the Notivisa Report Management topic on February 14, 2019. The following filters were applied to the system to retrieve the data: start date and end date (January 1 to December 31 of each year); product that motivated the report (medical device, hospital equipment, reagent kit for 
            <italic>in vitro</italic> diagnosis); type (technical complaint, adverse event) and state of the federation where the identification or occurrence took place (Paraná-PR). Reports were quantified by: year, report type, and product line.
          </p>
          <p>The second stage of the study excluded reports from the company that had the highest number of reports in the period, since there had already been an investigation by SNVS in that company. For the assessment of the responses, the reports that presented conclusion by the company were selected in the spreadsheet. The description of the investigation conducted by the companies was consulted in the history of each report in Notivisa. We analyzed whether or not the companies’ responses mentioned the adoption of corrective and/or preventive measures and the justifications of those companies that did not do any investigation. Responses that described the need for more information about the occurrence or need for guidance to the reporting party were also analyzed, since information about the reporting party is confidential in the access granted to the companies. The disclosure of the results of the analysis was authorized by the Health Surveillance Coordination where the DVVSP is located.</p>
        </sec>
      </sec>
      <sec sec-type="results|discussion">
        <title>RESULTS AND DISCUSSION</title>
        <p>Paraná has had a high number of reports of medical device post-market surveillance in Notivisa ever since its implementation, as shown in 
          <xref rid="f01001" ref-type="fig">Figure 1</xref>. The system was implemented in December 2006, so we considered reports made as from 2007, totaling 17,122 by 2018. These reports represent occurrences related to medical devices used in the state, although manufacturers or importers of these products may be located in any other region of the country. Over time, there has been a significant increase in the number of reports, which highlights the importance of the system for the detection, monitoring, control and availability of data related to medical devices. These data corroborate previous studies showing the increase in the number of reports over the years in other regions of the country and types of products submitted to health surveillance
          <sup>
            <xref rid="B12" ref-type="bibr">12</xref>,
            <xref rid="B13" ref-type="bibr">13</xref>,
            <xref rid="B14" ref-type="bibr">14</xref>
          </sup>.
        </p>
        <p>
          <fig id="f01001">
            <label>Figure 1</label>
            <caption>
              <title>Number of Notivisa medical device post-market surveillance reports recorded in Paraná, from 2007 to 2018.</title>
            </caption>
            <graphic xlink:href="2317-269X-visa-7-4-0048-gf01_en.jpg"/>
            <attrib>Source: Notivisa (2019).</attrib>
          </fig>
        </p>
        <p>There is an increase in the number of reports after 2014, because a company located in Paraná intensified its reporting process. Among the reports of said year, 2,177 originated in this company. The high number of adverse event reports as from 2014 was also a result of reports made by the same company, which recorded 2,169 cases that year. It should be noted that most of these reports were made by the company itself considering the occurrences reported to its Customer Service. As required by Resolution of the Collegiate Board (RDC) n. 67 of December 21, 2009
          <sup>
            <xref rid="B7" ref-type="bibr">7</xref>
          </sup>, medical device manufacturers must notify SNVS of: technical complaints, adverse events, deaths, situations of serious threat to public health and any medical device counterfeits that they become aware of. Thus, reports made by companies should always be encouraged, as well as the proper handling of any deviations. Therefore, the existence of reports in the system is not the only factor for assessing product quality, because, in addition to the possibility of underreported cases, the company’s dealings with the occurrence must also be considered.
        </p>
        <p>It is also noteworthy that the increase in the number of reports over the years was also driven by the intensification of DVVSP initiatives to promote and encourage the use of Notivisa.</p>
        <p>There are more reports in the line of articles (97.9%, n = 16,758) and fewer reports in the line of equipment (1.5%, n = 255) and 
          <italic>in vitro</italic> diagnosis (0.6%, n = 109), as shown in 
          <xref rid="f02001" ref-type="fig">Figure 2</xref>. The detection of quality deviations involving equipment and 
          <italic>in vitro</italic> diagnosis products occurred mainly in the area of clinical engineering and clinical analysis laboratories, respectively. Thus, there is a need for greater involvement of these sectors in the detection and investigation of potential adverse events and technical complaints in various classes of medical devices.
        </p>
        <p>
          <fig id="f02001">
            <label>Figure 2</label>
            <caption>
              <title>Number of Notivisa medical device post-market surveillance reports recorded in Paraná, by line and type, 2007 to 2018.</title>
            </caption>
            <graphic xlink:href="2317-269X-visa-7-4-0048-gf02_en.tif"/>
            <attrib>Source: Notivisa (2019).</attrib>
          </fig>
        </p>
        <p>In the analysis of the results of the investigations made by the companies, we found that 1,929 (82.9%) of the reports made in 2018 were concluded as confirmed (5.6%, n = 108), probable (5.5%, n = 107), inconclusive (60.3%, n = 1,163) or discarded (28.6%, n = 551). The higher number of unconfirmed reports demonstrates the need to assess the causes that lead to these conclusions and the possible remaining risk of these episodes occurring again. Of these reports, 1,302 were excluded because they originated in the company that was already being investigated by the SNVS. Therefore, 627 reports were selected and 404 responses (64.3%) were analyzed.</p>
        <p>The investigation of the reports by the companies holding the registration should be able to identify the correlation of adverse events or technical complaints with the product, in order to support the adoption of measures to control or minimize the risks to the population. Therefore, the assessment of the company that holds the authorization is essential for taking action regarding reports in Notivisa.</p>
        <p>Note that the aforementioned reports may be related to medical devices manufactured or imported by companies located in other Brazilian states. Nevertheless, when the company that holds the registration is located in the state of Paraná, there is a greater scope for investigating the occurrence of adverse events and technical complaints, since these companies are periodically inspected by health surveillance. The standard operating procedures harmonized in the SNVS determine that evidence of post-marketing surveillance should be verified in inspections at these companies to identify trends, risk situations, and more.</p>
        <p>Of the 404 reports analyzed, the adoption of additional corrective and/or preventive measures was described by the companies holding the registration of products as follows: 27.4% of reports were concluded as confirmed, 12.9% inconclusive, 47.8% probable and 3.2% discarded, according to 
          <xref rid="f03001" ref-type="fig">Figure 3</xref>. Therefore, it is verified that the confirmation of the report is not directly related to the adoption of measures by the companies, as well as the other conclusions may result in the adoption of complementary measures.
        </p>
        <p>
          <fig id="f03001">
            <label>Figure 3</label>
            <caption>
              <title>Number of reports that described the adoption of corrective and/or preventive measures to respond to Notivisa medical device post-market surveillance reports recorded in Paraná, 2018.</title>
            </caption>
            <graphic xlink:href="2317-269X-visa-7-4-0048-gf03_en.tif"/>
            <attrib>Source: Notivisa, 2019.</attrib>
          </fig>
        </p>
        <p>It was further noted that companies did not investigate 23 reports due to batch-related issues (n = 14), expired product (n = 1), discontinued product (n = 1), report access not authorized due to system inconsistency (n = 5) and rectification of the report by Anvisa (n = 2). It is noteworthy that 126 reports described the need for more information about the occurrence, sample, product photo and/or contact with the reporting party to support the investigation. These data demonstrate the need for qualification of the data provided by the reporting party, since companies do not have access to data about the reporting parties to ask for further information. Therefore, to enable insight into the causality, the reports must be complete and consistent. It is noteworthy that the need for qualification of the information provided by the reporting parties was also identified in other studies
          <sup>
            <xref rid="B12" ref-type="bibr">12</xref>,
            <xref rid="B15" ref-type="bibr">15</xref>
          </sup>. Considering that occurrence reporting by companies is compulsory, the analysis of the possibility of different outcomes in reports between those made by the company itself regarding its products and those made by other reporting parties can confirm response trends.
        </p>
        <p>Monitoring the outcome of investigations enables the analysis of trends such as the recurrence of reports of the same product after the adoption of corrective and preventive measures by the company, in order to demonstrate possible failure in the investigation system and assess the effectiveness of the adopted measures. Furthermore, it can be identified whether there is any bias in the request for additional information by companies from the same reporting party or if the lack of essential information is related to the information system.</p>
        <p>Considering that Notivisa does not provide information from companies’ investigations in a grouped format, we have to analyze it case by case. Therefore, the system should be improved for better data availability and, with that, facilitate the adoption of this practice in work routines and contribute to the decision making process.</p>
      </sec>
      <sec sec-type="conclusions">
        <title>CONCLUSIONS</title>
        <p>Health precaution and prevention actions are a priority in the health control agenda of the SNVS. Medical device post-market surveillance is one of the cornerstones for the control and safety of products available in the domestic market. However, it still needs to be strengthened and articulated with other strategies of health protection and promotion, both those done by health surveillance bodies and those by other stakeholders, like healthcare services, companies, healthcare professionals and users
          <sup>
            <xref rid="B16" ref-type="bibr">16</xref>
          </sup>.
        </p>
        <p>The occurrence of adverse events and technical complaints related to medical devices presuppose the existence of risks and threats to human health. Thus, Notivisa becomes a fundamental tool for monitoring the quality and safety of products available on the market and for adopting appropriate control measures, safety alerts, updating health legislation, among other actions to protect the population’s health
          <sup>
            <xref rid="B17" ref-type="bibr">17</xref>
          </sup>.
        </p>
        <p>The qualification of the information provided by the reporting party supports the investigation of the occurrence by the companies that hold the registration of the product in question. However, the robustness of the investigation and the adoption of corrective and preventive measures are also directly related to the Quality System of the manufacturer or importer of the product.</p>
        <p>The decentralization of medical device post-market surveillance actions toward state and municipal health surveillance bodies, with the strengthening of regionalized actions, enables greater monitoring of products supplied to the population. However, the decentralization of these activities is not yet consolidated, given the primacy of inspection initiatives and the various forms of organization and structuring of states and municipalities
          <sup>
            <xref rid="B16" ref-type="bibr">16</xref>
          </sup>.
        </p>
        <p>The setup of a continuous and effective process of monitoring, investigation and control contributes to the identification and minimization of health risks. It is noteworthy that the main resource used in this study was the human resource for systematization and data analysis. Therefore, the restructuring of health surveillance teams to increase operational and technical capacity is essential for the fulfillment of state and municipal duties defined in Ordinance n. 1.660/2009
          <sup>
            <xref rid="B10" ref-type="bibr">10</xref>
          </sup>, as well as for improving the system. We also highlight that it is necessary to discuss and strengthen the decentralization process through strategic actions that can be more comprehensive than simply using the information system
          <sup>
            <xref rid="B16" ref-type="bibr">16</xref>
          </sup>.
        </p>
        <p>The results of this study demonstrate the possibility of local health surveillance bodies acting in the continuous monitoring of companies’ responses to Notivisa reports. Considering that health surveillance has access to data on the reporting party, its role as an interlocutor in the communication demands between the company and the reporting party can contribute to the improvement of investigations and the adoption of appropriate measures. Monitoring of reports also enables the identification of trends, investigations, collection of samples for Fiscal Analysis, among other actions. As described in a study by Branco et al.
          <sup>
            <xref rid="B17" ref-type="bibr">17</xref>
          </sup>, it is important to design monitoring programs agreed upon among SNVS entities in order to enable laboratory analyses to assess the quality of products used at the national level.
        </p>
        <p>Another thing health surveillance can do is to analyze possible quality deviations underreported by companies during inspections. Therefore, the qualification of the technical teams to assess the adequacy of investigations carried out by companies is fundamental to the identification of faulty Quality Management Systems in risk containment.</p>
        <p>Notivisa enables the filing of report information in a single channel through the SNVS, however, improving it to expedite and enhance user interface and communication is critical to the fast identification and containment of health risks.</p>
        <p>Corroborating previous studies on the possibility of underreported cases, we should encourage the promotion of Notivisa as an official channel for reporting cases, raising awareness of healthcare professionals to use the system and strengthening the Sentinel Network, which is one of the most important reporting parties
          <sup>
            <xref rid="B13" ref-type="bibr">13</xref>,
            <xref rid="B14" ref-type="bibr">14</xref>,
            <xref rid="B17" ref-type="bibr">17</xref>
          </sup>.
        </p>
      </sec>
    </body>
    <back>
      <ack>
        <title>Acknowledgement</title>
        <p>To the State Department of Health of Paraná and the Federal University of Paraná for their support and collaboration in the preparation of this study.</p>
      </ack>
    </back>
  </sub-article-->
</article>
