LIVRO GRATUITO: ESTATÍSTICA PARA CIÊNCIA DE DADOS COM LINGUAGEM R

Uma estatística T com valor elevado indica que os grupos são diferentes;

Uma estatística T com valor baixo indica que os grupos são semelhantes.

 

Mas o quanto é grande o suficiente? Cada estatística T tem um valor-p associado. O valor-p é a probabilidade de que os resultados obtidos a partir dos dados da amostra tenham ocorrido por acaso. Os valores de P são definidos no intervalo de 0% a 100%. Um valor-p de 5% é 0,05. Em geral, valores baixos de P são bons, pois indicam que as observações não se deram por acaso. Por exemplo, um valor-p de 0,01 significa que há apenas 1% de probabilidade de que os resultados de um experimento tenham ocorrido por acaso. Na maioria dos casos, um valor-p de 0,05 (5%) ou menor é aceito como suficiente para significar que os resultados são válidos.

 

Existem três tipos principais de teste T:

 

  • Um teste T de amostras independentes compara as médias de dois grupos;
  • Um teste T de amostra pareada compara médias do mesmo grupo em momentos diferentes (por exemplo, um ano de intervalo);
  • Um teste T de uma amostra testa a média de um único grupo contra uma média conhecida (foi o que fizemos com as pontuações de QI).

Vejamos agora o resultado do teste T para os dados de pontuação nos testes de QI. Mas vamos, antes, definir nossas hipóteses nula e alternativa:

H0: μ = 100

HA: μ ≠ 100

 

Agora vejamos o que o teste T nos diz sobre uma amostra aleatória de valores com média 100 e desvio padrão 15 (como as pontuações em testes de QI).

Dos resultados acima, podemos verificar que, como padrão, o teste T é realizado para um intervalo de confiança de 95%. Para este intervalo de confiança, a média está entre 99,88 e 101,74, com um valor estimado de 100,81. Podemos então dizer que não há elementos suficientes para rejeitar a hipótese nula.

O exemplo acima demonstra que podemos alterar o intervalo de confiança para o teste T, de forma a ajustar os resultados ao objetivo da análise. Observe que, aumentando o intervalo de confiança para 99%, a amplitude do intervalo de confiança aumenta, pois passamos a ter limite inferior e superior (98.40509, 100.89677) em lugar dos limites anteriores (99.88074, 101.73989), com o valor da amplitude passando de 1,88 para 2,48 aproximadamente. Isto significa que, para termos maior probabilidade de que o valor esteja no intervalo, precisamos ampliá-lo. Leve isso em conta ao fazer análises, pois esta decisão de compromisso entre precisão na estimativa do valor e intervalo de confiança pode fazer toda a diferença no resultado.

 

Observe que, para um intervalo de confiança de 95% e α = 5%, ou seja, a probabilidade de cometermos um erro do tipo I, rejeitando a hipótese nula, é de 5%. Da mesma forma, para um intervalo de confiança de 99%, esta probabilidade é de 1%.

 

Suponha que um fabricante alega que a vida útil média de uma lâmpada é superior a 10.000 horas. Em uma amostra de 30 lâmpadas, verificou-se que duram apenas 9.900 horas em média. Suponha que o desvio padrão da amostra é de 125 horas. Para o nível de significância de 0,05 (5%), podemos rejeitar a alegação do fabricante?

 

Antes de mais nada, precisamos definir com clareza as hipóteses nula e alternativa. Temos então que:

H0: μ ≥ 10000

HA: μ < 10000

 

Calculando a estatística T, temos:

> mediaamostra = 9900

> mediah0 = 10000

> desvioamostra = 125

> n = 30

> estatisticaT = (mediaamostra – mediah0)/(desvio/sqrt (n))

estatisticaT

[1] −4,3818

Agora vamos comparar dois exemplos que trabalhamos ao longo do capítulo: o teste de hipótese para a média das pontuações em testes de QI, e o teste de hipótese para a duração das lâmpadas.

 

Note que temos uma diferença importante nos testes. No primeiro exemplo, das pontuações em testes de QI, tínhamos:

H0: μ = 100

HA: μ ≠ 100

Já no exemplo da duração das lâmpadas, tínhamos:

H0: μ ≥ 10000

HA: μ < 10000

Consegue notar a diferença? Para as pontuações de QI, testamos as hipóteses nula e alternativa para a média de pontuações igual a 100, ou diferente de 100. Este tipo de teste é chamado de bilateral ou bicaudal.

 

Para a duração das lâmpadas, por sua vez, testamos as hipóteses nula e alternativa para a média da duração igual ou superior a 10000, ou inferior a 10000. Neste caso, temos um teste do tipo unilateral ou unicaudal.

 

Agora vejamos algumas observações importantes sobre erros em testes de hipótese. Por mais que tenhamos diversos cuidados ao realizar os testes, em especial ao coletar as amostras de forma que sejam representativas da população e que tenham tamanho adequado (pelo menos superior a 30), ainda assim não podemos garantir a certeza de que os resultados são absolutamente corretos, pois estamos estimando o comportamento da população a partir de uma ou mais amostras.

 

Dessa forma, precisamos observar as probabilidades de erro, e aqui retomamos o conceito de nível de significância, pois, como vimos, ele representa a probabilidade de cometar um erro do tipo I, ou seja, rejeitar a hipótese nula quando ela deveria ser aceita.

 

De forma análoga, temos que a probabilidade de erros do tipo II é dada por β, e seu valor tem relação direta com o valor de α, de maneira que quando um aumenta o outro diminui, e vice-versa.

 

Importante notar que α e β podem ser definidos de acordo com o objetivo do teste, pois representam a probabilidade de cometer erros tipo I e II, respectivamente. Assim, podemos entender α e β como os níveis de tolerância para cometer erros em testes de hipótese, e quanto menores, menor a tolerência a erros, naturalmente. Tenha isso em mente ao avaliar o nível de erro que é aceitável para os testes de hipótese que realizar, de acordo com o tipo de situação observada.

 

Vale lembrar a comparação entre o teste da média das pontuações de QI em comparação com o teste da eficácia de um medicamento para o tratamento de câncer, através da média de pessoas que tiveram melhora do quadro da doença após o uso da medicação. São testes que possuem níveis diferentes de tolerância a erros.

 

Assim como a probabilidade de erro do tipo I α é conhecida como nível de significância, a medida (1 – β) é conhecida como poder do teste, de forma que, se o poder do teste é de 90%, isto indica que temos um valor de 10% ou 0,1 para β. Porém, o valor de β está além do nosso controle, sendo bastante difícil de calcular, diferentemente do valor de α, que podemos definir a partir do intervalo de confiança.

 

Vimos anteriormente que o valor-p ajuda a verificar e tomar a melhor decisão em testes de hipótese. Porém, não detalhamos a relação entre o valor-p e o nível de significância α.

 

O valor-p deve ser analisado de acordo com o nível de significância definido para o teste de hipótese, de forma que seu valor vai suportar a rejeição da hipótese nula, quando for menor que o nível de significância. Por isso dissemos anteriormente que um valor menor que 5% (ou 0,05) é suficiente para validar os resultados, pois o intervalo de confiança mais comum é de 95% (0,95). Assim, devemos atentar para a análise do valor-p em conjunto com a definição do nível de significância para o teste de hipótese, para que os resultados obtidos a partir da decisão tomada sejam consistentes.

 

Assim, como regra geral, temos que:

Se valor-p ≤ α, rejeitamos H0, aceitando HA portanto;

Se valor-p > α, rejeitamos HA, aceitando H0 portanto.

 

Vejamos mais um exemplo para fixar o entendimento.

 

Suponha que um profissional está em busca de uma melhor oportunidade de emprego, e pesquisa junto a seus colegas a média salarial da empresa em que trabalha. Ele consegue 30 respostas, com uma média de 5 mil reais de salário. A última pesquisa salarial na área apontou uma média salarial de 6 mil reais para os profissionais, com desvio padrão de 1000. Podemos afirmar, com nivel de significância de 5%, que os salários da empresa estão abaixo da média de mercado? Vejamos.

 

Vamos começar definindo as hipóteses nula e alternativa:

H0: μ ≥ 6000

HA: μ < 6000

Note que a igualdade sempre pertence à hipótese nula, ou seja, não é aconselhável que a hipótese alternativa contenha o valor do parâmetro, pois isso contraria a definição de prova por absurdo, em que temos que assumir o valor do parâmetro como parte da hipótese nula para tentar demonstrar que esta afirmação não se sustenta.

 

Veja ainda que temos um teste de hipótese unilateral, e usaremos alguns gráficos para ilustrar isso adiante. Antes, vamos calcular a estatística Z, pois temos uma variável aleatória (salário) que pode ser descrita através da distribuição normal. Assim, temos:

Z = (X – μ)/(σ/√n) = (5000 – 6000)/(1000/√30)

Calculando isso em R, temos:

> mediaamostra = 5000

> mediah0 = 6000

> desvioamostra = 1000

> n = 30

> estatisticaZ = (mediaamostra – mediah0)/(desvioamostra/sqrt(n))

> estatisticaZ

-5.47722557505166

Temos portanto que, para a amostra observada, o valor de Z é aproximadamente -5,48. Vamos agora calcular a nossa região de rejeição para verificar sua relação com a estatística Z das observações.

 

Para calcular a região crítica, precisamos lembrar que se trata de um teste unilateral à esquerda (o sinal de HA é menor), e portanto a região crítica está à esquerda da média. Veja o código que exibe o gráfico da região crítica abaixo:

> zcritico = qnorm(0.05)

> zcritico

-1.64485362695147

> pnorm(zcritico)

0.05

Vemos, portanto, que o valor crítico de Z é aproximadamente -1,645, e que corresponde ao nível de significância de 5% para um teste de hipótese unilateral à esquerda.

> library(ggplot2)

> z <- seq(-4,4, by = .01)

> densidade <- dnorm(z)

> criterio <- factor(rep(“não rejeitar”, length(z)), levels=c(“não rejeitar”, “rejeitar”))

> criterio[which(z < qnorm(.05))] <- “rejeitar”

> qplot(z,densidade, geom=c(“path”,”area”), fill=criterio) +

  scale_fill_manual(values=c(“white”, “gray”))

O código acima exibe a curva da função densidade de probabilidade para a distribuição normal padrão, destacando a área correspondente à zona crítica, de forma que possamos verificá-la visualmente. Vejamos o gráfico abaixo:

 

Tabela de Conteúdo

  • estatistica-para-ciencia-de-dados-com-linguagem-r
    • Apresentação
    • Dedicação
    • Autor
    • resumo
  • plataformas-análise-dados-estatísticas
    • Plataformas de análise estatística de dados
  • plataforma-linguagem-r
    • A plataforma R
    • Linha de comando
    • RStudio
    • Conseguindo ajuda
    • Explorando o
    • RStudio
    • Operadores
    • Variáveis e tipos de
    • Dados
    • Objetos
    • Vetor
    • Matrizes
    • Matrizes
    • Listas
    • Quadros de dados
    • Funções
    • Estruturas de controle
  • estatística para ciência de dados
    • Introdução à Estatística para Análise de Dados
    • Visualizando e descrevendo dados quantitativos
    • Estatística Descritiva x
    • Estatística Inferencial
  • medidas-dispersão-tendência-central
    • Visualização e
      Descrição de dados quantitativos
    • Definindo variáveis quantitativas discretas e contínuas
    • Medidas de tendência central – média
    • Medidas de Tendência Central – Mediana
    • Medidas de Tendência Central – Moda
    • Outras medidas de tendência central
    • Medidas de dispersão
    • Medidas de posição relativa – quartis e percentis
    • Gráficos para variáveis quantitativas
  • associações-correlação-causalidade
    • Análise bidimensional
      Associação entre
    • variáveis qualitativas
    • Medidas de associação entre variáveis qualitativas
    • Associação entre variáveis quantitativas
    • Medidas de associação entre variáveis quantitativas
    • Associação entre variáveis qualitativas e quantitativas
    • Analisando e interpretando gráficos de dispersão
      Atribuindo funções a variáveis de plotagem de dispersão
    • Noções básicas sobre correlação
    • Condições para análise de correlação
    • Correlação e Causalidade
  • probabilidade
    • Probabilidade conjunta
    • Probabilidade
    • Condicional e Independência
    • Tabelas de contingência
    • Árvores de probabilidade
  • regra-de-bayes-distribuições-probabilidade
    • Variáveis aleatórias e
    • Distribuições de probabilidade
    • Distribuição uniforme
    • Distribuição normal
    • Teorema do limite central
    • Distribuição Exponencial
    • Distribuição Qui-Quadrado
    • Distribuição t de student
    • Distribuição F
  • testes-hipótese-análise-variância-anova
    • Introdução à Inferência Estatística
    • Distribuições e proporções de amostragem
    • Testes de Hipóteses
    • Projeto de Experimentos e Análise de Variância (ANOVA)