Regularización estadística de problemas inversos incorrectos para ellos. Turchin (parte 1)

Hola Habr! Hoy queremos contarte qué hace el laboratorio de métodos de experimentos de física nuclear , parte de JetBrains Research .

¿Dónde están JetBrains y dónde está la física nuclear? Acordamos sobre la base del amor por Kotlin, aunque en esta publicación no hablaremos de él. Nuestro grupo se enfoca en el desarrollo de software de análisis, modelado y escritura de datos para científicos, y por lo tanto se enfoca en la cooperación y el intercambio de conocimientos con las empresas de TI.

En este artículo queremos hablar sobre el método de regularización estadística que popularizamos , propuesto por V.F. Turchin en los años 70 del siglo XX, y su implementación en forma de código en Python y Julia.

La presentación será bastante detallada, por lo que aquellos que tienen claros los problemas inversos pueden ir directamente a los ejemplos y leer la teoría en este artículo .

• Ocurrencia del problema: ¿por qué alguien debería regularizarse?
• Descripción teórica de la regularización estadística
• Ejemplos prácticos sobre:
  
  • Pitón
  • Julia
• Conclusión

Ocurrencia del problema: ¿por qué alguien debería regularizarse?

Si es suficiente ignorar, cualquier medición en el experimento se puede describir de la siguiente manera: hay un cierto dispositivo que captura el espectro o la señal de un proceso y muestra algunos números de acuerdo con los resultados de la medición. Nuestra tarea como investigadores, al observar estos números y conocer la estructura del dispositivo, es comprender cuál era el espectro o la señal medidos. Es decir, frente a lo que se llama el problema inverso . Si imagina esto matemáticamente, obtenemos esta ecuación (que, por cierto, se llama la ecuación de Fredholm del primer tipo ):

$$

$$f(y) = \int \limits_a^b dx K(x,y)\varphi(x)$$

De hecho, esta ecuación describe lo siguiente: nuestro dispositivo de medición está representado aquí por su función de hardware $$$K(x,y)$, que actúa sobre el espectro estudiado u otra señal de entrada$$$\varphi$ , por el cual el investigador observa la señal de salida$$$f(y)$ . El objetivo del investigador es restaurar la señal$$$\varphi$ por conocido$$$f(y)$ y$$$K(x,y)$ . También puede formular esta expresión en forma de matriz, reemplazando funciones con vectores y matrices:

$$

$$f_m = K_{mn}\varphi_n$$

Parecería que la reconstrucción de señales no es una tarea difícil, ya que tanto la ecuación de Fredholm como el sistema de ecuaciones lineales (incluso sobredeterminadas) tienen una solución exacta. Entonces probémoslo. Deje que la señal medida se describa como la suma de dos gausses:

$$

$$\varphi(x) = 2*N(2, 0.16) + N(4, 0.04)$$

Como instrumento, tomamos el integrador más simple: una matriz que traduce nuestra señal en una suma acumulativa utilizando la función Heaviside:

$$

$$K_{mn} = \theta(x_m-y_n)$$

El tipo de la señal medida y nuestro dispositivo, así como el resultado de la medición se muestran en el gráfico.

Es importante que cualquier medición real tenga un error, por lo que estropearemos un poco nuestro resultado agregando ruido normal, lo que da un error de medición del cinco por ciento.

Restauraremos la señal por el método de mínimos cuadrados:

$$

$$\varphi^{} = (K^TK)^{-1}K^Tf$$

Y como resultado obtenemos:

En realidad, sobre esto, podríamos terminar el artículo, una vez más convencidos de la impotencia de los métodos idealistas de las matemáticas frente a la dura y dura realidad física, e ir a fumar soldadores.

Pero primero, averigüemos qué causó que nos ocurriera esta falla. Obviamente, el punto son los errores de medición, pero ¿a qué afectan? El hecho es que Jacques Hadamard (el mismo que agregó un guión a la fórmula Cauchy - Hadamard) dividió todas las tareas en correctas e incorrectas.

Recordando los clásicos: “No tiene sentido buscar una solución, si la hay. Se trata de cómo lidiar con una tarea que no tiene solución. Esta es una pregunta profundamente fundamental ... "- no hablaremos sobre las tareas correctas e inmediatamente tomaremos las incorrectas. Afortunadamente, ya hemos cumplido esto: la ecuación de Fredholm escrita anteriormente es un problema inverso incorrecto, incluso con fluctuaciones infinitesimales en los datos de entrada (e incluso nuestros errores de medición están lejos de ser infinitesimales), la solución de la ecuación obtenida de manera analítica exacta puede diferir arbitrariamente de la verdadera .

Puede leer la prueba de esta declaración en el primer capítulo del trabajo clásico del académico A.N. Tikhonova "Métodos para resolver problemas mal planteados". Este libro tiene consejos sobre qué hacer con tareas incorrectas, pero la técnica descrita allí tiene una serie de inconvenientes que se corrigen en el método Turchin. Pero primero, describimos los principios generales de trabajar con tareas incorrectas: ¿qué hacer si se encuentra con esa tarea?

Dado que la tarea en sí no puede ofrecernos nada, tendremos que cometer un pequeño delito: completar la tarea con datos para que sea correcta, en otras palabras, ingrese alguna * información a priori adicional sobre la tarea * (este proceso se llama regularización de la tarea). En contraste con el método clásico de Tikhonov, basado en la introducción de funciones de regularización parametrizadas, el método Turchin recurre, por otro lado, a los métodos bayesianos.

Descripción teórica de la regularización estadística

Estrategia

Formulamos nuestro problema en términos de estadística matemática: de acuerdo con una implementación bien conocida $$$f$(que medimos en el experimento) necesitamos estimar el valor del parámetro$$$\varphi$ . Funcional$$$\hat{S}$ computación$$$\varphi$ basado$$$f$ llamaremosestrategia. Para determinar qué estrategias son más óptimas, introducimos unafunción de pérdida cuadrática. La función de pérdida real puede ser cualquiera, ¿por qué elegimos la cuadrática? Debido a que cualquier función de pérdida cercana a su mínimo puede ser aproximada por una función cuadrática:

$$

$$L(\varphi,\hat{S}[f]) = ||\hat{\varphi}-\hat{S}[f])||_{L_2},$$

Dónde $$- la mejor solución. Luego, las pérdidas para nuestra estrategia elegida están determinadaspor la función de riesgo:$\hat{\varphi}$

$$

$$R_{\hat{S}[f]}(\varphi) \equiv E[L(\varphi,\hat{S}[f])] = \int L(\varphi,\hat{S}[f])P(f|\varphi)df.$$

aquí $$$P(f|\varphi)$determina la densidad de probabilidad de nuestro conjunto sobre el cual se promedia la pérdida. Este conjunto está formado por una hipotética repetición múltiple de mediciones.$$$f$ para un determinado$$$\varphi$ . De este modo,$$$P(f|\varphi)$ es la densidad de probabilidad que conocemos$$$f$ obtenido en el experimento.

Según el enfoque bayesiano, se propone considerar$$$\varphi$ como unavariable aleatoriacondensidad de probabilidad a priori $$$P(\varphi)$, expresando lafiabilidad devarias soluciones a nuestro problema.$$$P(\varphi)$ se determina en base a la información que existe antes del experimento. Entonces, la elección de la estrategia óptima se basa en minimizar elriesgo a posteriori:

$$

$$r_{\hat{S}}(\varphi) \equiv E_{\varphi}E_{f}[L(\varphi,\hat{S}[f])|\varphi]$$

En este caso, la estrategia óptima es bien conocida:

$$

$$\hat{S}[f] = E[\varphi|f] = \int \varphi P(\varphi|f)d\varphi,$$

donde es la densidad posterior $$$P(\varphi|f)$está determinado por el teorema de Bayes:

$$

$$P(\varphi|f)= \frac{P(\varphi)P(f|\varphi)}{\int d\varphi P(\varphi)P(f|\varphi)}$$

Este enfoque nos permitirá determinar la varianza (función de correlación) de la solución resultante:

$$

$$D(x_1,x_2) = E[\varphi(x_1) - \hat{S}[f](x_1)][\varphi(x_2) - \hat{S}[f](x_2)]$$

Entonces, hemos obtenido la solución óptima a nuestro problema al introducir una densidad a priori $$$P(\varphi)$. ¿Podemos decir algo sobre ese mundo de funciones?$$$\varphi(x)$que viene dada por la densidad a priori?

Si la respuesta a esta pregunta es no, entonces tendremos que aceptar todos los posibles$$$\varphi(x)$igualmente probable y volver a una solución irregular. Por lo tanto, debemos responder a esta pregunta afirmativamente.

En esto consiste precisamente el método de regularización estadística: la regularización de una solución mediante la introducción de información adicional a priori sobre$$$\varphi(x)$. Si el investigador ya tiene información a priori (densidad a priori$$$P(\vec{\varphi})$), solo puede calcular la integral y obtener la respuesta.

Si no existe dicha información, el siguiente párrafo describe qué información mínima puede tener un investigador y cómo usarla para obtener una solución regularizada.

Información a priori

Como han demostrado los científicos británicos, en el resto del mundo les gusta diferenciarse. Además, si el matemático hace preguntas sobre la legalidad de esta operación, el físico cree de manera optimista que las leyes de la naturaleza se describen mediante funciones "buenas", es decir, suaves.

En otras palabras, lo hace más suave$$$\varphi(x)$mayor densidad de probabilidad a priori. Así que tratemos de introducir una probabilidad a priori basada en la suavidad. Para hacer esto, recordamos que la introducción de información a priori es algo de violencia contra el mundo, lo que obliga a las leyes de la naturaleza a verse de una manera conveniente para nosotros.

Esta violencia debe minimizarse, y al introducir una densidad de probabilidad a priori, es necesario que la información de Shannon sobre$$$\varphi(x)$contenida en $$$P(\vec{\varphi})$fue mínimo Formalizando lo anterior, derivamos la forma de una densidad a priori basada en la suavidad de la función. Para hacer esto, buscaremos un extremo de información condicional:

$$

$$I[P(\vec{\varphi})] = \int \ln{P(\vec{\varphi})} P(\vec{\varphi}) d\vec{\varphi} \to min$$

Bajo las siguientes condiciones:

1. Condición de suavidad $$$\varphi(x)$. Permitir$$$\Omega$Es una matriz determinada que caracteriza la suavidad de la función. Luego requerimos que se logre un cierto valor de la suavidad funcional:
   

   $$

   $$\int(\vec{\varphi},\Omega\vec{\varphi}) P(\vec{\varphi}) d\vec{\varphi} = \omega$$
   
   $$$\omega$. .
   
2. : $$$\int P(\vec{\varphi}) d\vec{\varphi} = 1$
   :
   

   $$

   $$P_{\alpha}(\vec{\varphi}) = \frac{\alpha^{Rg(\Omega)/2}\det\Omega^{1/2}}{(2\pi)^{N/2}} \exp(-\frac{1}{2} (\vec{\varphi},\alpha\Omega\vec{\varphi}))$$
   $$$\alpha$$$$\omega$, , , , . $$$\alpha$, . :
   
   
   1. $$$\alpha$
   2. () $$$\alpha$, $$$\alpha$
      
   3. $$$\alpha$$$$P(\alpha|\vec{f})$. Este enfoque es correcto porque proporciona una buena aproximación de la integral si los datos experimentales contienen suficiente información sobre$$$\alpha$.

El primer caso es de poco interés para nosotros. En el segundo caso, debemos calcular una integral tan fea aquí:

$$

$$\left\langle \varphi_i \right\rangle = \frac{\int d\varphi\, \varphi_i P(f|\varphi) \int\limits d\alpha\,P(\alpha) \alpha^{\frac{Rg(\Omega)}{2}} \exp(-\frac{\alpha}{2} (\vec{\varphi},\Omega\vec{\varphi}))}{\int d\varphi P(f|\varphi) \int\limits d\alpha\,P(\alpha) \alpha^{\frac{Rg(\Omega)}{2}} \exp(-\frac{\alpha}{2} (\vec{\varphi},\Omega\vec{\varphi}))}$$

Para el tercer caso, podemos obtener el valor de la integral analíticamente para los ruidos gaussianos en el experimento (esto se considerará a través de la sección).

También se debe tener en cuenta que no hemos usado en ningún lado, que$$$\Omega$Es un operador de suavidad. De hecho, aquí podemos usar cualquier otro operador (o su combinación lineal), solo la suavidad de la función es la forma más obvia de información a priori que podemos usar.

Muestreo

Hablamos de funciones, pero cualquier dispositivo real no puede medir no solo un continuo, sino incluso un conjunto contable de puntos. Siempre tomamos medidas en un conjunto finito de puntos, por lo tanto, nos vemos obligados a llevar a cabo procedimientos de discretización y transición de la ecuación integral a la matriz. En el método de regularización estadística, procedemos de la siguiente manera: descompondremos$$$\varphi(x)$ sobre algún sistema de funciones $$$\{T_n\}$:

$$

$$\varphi(x) = \sum \limits_n \varphi_n T_n(x).$$

Por lo tanto, los coeficientes de esta expansión forman algún vector $$$\vec{\varphi}$que es un vector en el espacio funcional.

Como espacio funcional, podemos tomar el espacio de Hilbert o, por ejemplo, el espacio de polinomios. Además, la elección de la base en estos espacios está limitada solo por su imaginación (intentamos trabajar con las series trigonométricas de Fourier, poligandra y splines cúbicas).

Entonces los elementos de la matriz$$$K$ calculado como:

$$

$$K_{mn} = (\hat{K}T_n(x))(y_m),$$

Dónde $$$y_m$- puntos en los que se realizaron mediciones. Elementos matriciales$$$\Omega$ calcularemos por la fórmula:

$$

$$\Omega_{ij} = \int\limits_a^b \left(\frac{d^pT_i(x)}{dx}\right)\left(\frac{d^pT_j(x)}{dx}\right)dx,$$

Dónde $$$a$y $$$b$- los límites del intervalo en el que se define la función $$$\varphi(x)$.

Para volver a calcular los errores, use la fórmula de dispersión de una combinación lineal de variables aleatorias:

$$

$$D[\varphi(x)] = D[\sum \limits_n \varphi_n T_n(x)] = \sum\limits_{i,j} \varphi_i\varphi_j cov(T_i(x), T_j(x)).$$

Debe tenerse en cuenta que, en algunos casos, la representación de una función utilizando un vector de dimensión finita conduce a una pérdida parcial o cambio de información. De hecho, podemos considerar la algebraización como un tipo de regularización, aunque débil e insuficiente para convertir una tarea incorrecta en una correcta. Pero, de todos modos, ahora hemos pasado de buscar$$$\varphi(x)$ para buscar vectores $$$\vec{\varphi}$y en la siguiente sección lo encontramos.

Estuche de ruido gaussiano

El caso en que los errores en el experimento se distribuyen de acuerdo con Gauss es notable
porque se puede obtener una solución analítica a nuestro problema. Dado que la información y los errores a priori tienen una forma gaussiana, su producto también tiene una forma gaussiana, y luego la integral fea que escribimos anteriormente se toma fácilmente. La solución y su error serán los siguientes:

$$

$$\vec{\varphi} = (K^T\Sigma^{-1}K + \alpha^*\Omega)^{-1}K^T\Sigma^{-1^{T}}\vec{f}$$

$$

$$\Sigma_{\vec{\varphi}} = (K^T\Sigma^{-1}K+\alpha^*\Omega)^{-1},$$

Dónde $$$\Sigma$- matriz de covarianza de la distribución gaussiana multidimensional, $$$\alpha^*$- el valor más probable del parámetro $$$\alpha$, que se determina a partir de la condición de máxima densidad de probabilidad a posteriori:

$$

$$P(\alpha|\vec{f}) = C'\alpha^{\frac{Rg(\Omega)}{2}}\sqrt{|(K^T\Sigma^{-1}K+\alpha\Omega)^{-1}|}\exp(\frac{1}{2} \vec{f}^T\Sigma^{-1}K^{T}(K^T\Sigma^{-1}K+\alpha\Omega)^{-1}K^T\Sigma^{-1^{T}}\vec{f})$$

¿Y si no tengo errores gaussianos?

La segunda parte del artículo estará dedicada a esto, pero por ahora vamos a esbozar la esencia del problema.

$$

$$\left\langle \varphi_i \right\rangle = \frac{\int d\varphi\, \varphi_i P(f|\varphi) \int\limits d\alpha\,P(\alpha) \alpha^{\frac{Rg(\Omega)}{2}} \exp(-\frac{\alpha}{2} (\vec{\varphi},\Omega\vec{\varphi}))}{\int d\varphi P(f|\varphi) \int\limits d\alpha\,P(\alpha) \alpha^{\frac{Rg(\Omega)}{2}} \exp(-\frac{\alpha}{2} (\vec{\varphi},\Omega\vec{\varphi}))}$$

El principal problema es que esta terrible integral, en primer lugar multidimensional, y en segundo lugar, en límites infinitos. Además, es un vector altamente multidimensional$$$\vec{\varphi}$ puede tener dimensión fácilmente $$$m = 30-50$, y los métodos de cuadrícula para calcular integrales tienen una complejidad de tipo $$$O(n^m)$, por lo tanto, inaplicable en este caso. Al tomar integrales multidimensionales, la integración de Monte Carlo funciona bien.

Además, dado que nuestros límites son infinitos, debemos utilizar el método de muestreo importante, pero luego debemos seleccionar una función para el muestreo. Para automatizar todo, debe usar la Markov Chain Monte Carlo (MCMC) , que puede adaptar independientemente la función de muestreo a la integral calculada. Hablaremos sobre la aplicación de MCMC en el próximo artículo.

Parte práctica

La primera implementación del método de regularización estadística se escribió en los años 70 en Algol y se utilizó con éxito para los cálculos en física atmosférica. A pesar de que todavía tenemos las fuentes escritas a mano del algoritmo, decidimos agregar un poco de modernismo y hacer una implementación en Python, y luego en Julia.

Pitón

Instalación

Instalar a través de pip:

pip install statreg

o descargue el código fuente .

Ejemplos

Como ejemplo, considere cómo usar un módulo staregpara recuperar datos para una matriz y una ecuación integral.

Importamos los paquetes científicos necesarios.

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm
from scipy.integrate import quad
%matplotlib inline

Determinamos la señal verdadera, que restauraremos.

a = 0
b = 5
#  
phi = lambda x: 4*norm.pdf(x-2, scale=0.4) + 2*norm.pdf(x-4, scale = 0.5)
x = np.linspace(a, b,100)
plt.plot(x, phi(x));

Defina el núcleo y la operación de convolución de funciones (Nota: np.convolutionespecíficamente para matrices):

kernel = lambda x,y : np.heaviside(x-y, 1) #  
convolution =  np.vectorize(lambda y: quad(lambda x: kernel(x,y)*phi(x), a,b)[0])

Generamos los datos medidos y los hacemos ruido usando la distribución normal:

y = np.linspace(a, b, 50)
ftrue = convolution(y)
sig = 0.05*ftrue +0.01 #  
f = norm.rvs(loc = ftrue, scale=sig)
plt.errorbar(y, f, yerr=sig);

Resolvemos la ecuación integral

Importamos el solucionador y la clase auxiliar para discretización:

from statreg.model import GaussErrorUnfolder
from statreg.basis import CubicSplines

Como base funcional para la discretización, usamos splines cúbicos y, como condición adicional, indicamos que la función toma valores cero en los bordes.

basis = CubicSplines(y, boundary='dirichlet')
model = GaussErrorUnfolder(basis, basis.omega(2))

Resolvemos la ecuación:

phi_reconstruct = model.solve(kernel, f, sig, y)

Estamos creando un cronograma de soluciones:

plt.plot(x,phi(x))
phir = phi_reconstruct(x)
phiEr = phi_reconstruct.error(x)
plt.plot(x, phir, 'g')
plt.fill_between(x, phir-phiEr, phir + phiEr, color='g', alpha=0.3);

Resolvemos la ecuación matricial

Importamos el solucionador y la clase auxiliar para discretización:

from statreg.model import GaussErrorMatrixUnfolder
from statreg.basis import CubicSplines

Para obtener matrices, utilizamos nuestra base funcional, pero está claro que las matrices se pueden obtener de cualquier manera.

cubicSplines = CubicSplines(y, boundary='dirichlet')
omega = cubicSplines.omega(2)
Kmn = cubicSplines.discretizeKernel(kernel,y)

Resolvemos la ecuación matricial:

model = GaussErrorMatrixUnfolder(omega)
result = model.solve(Kmn, f, sig)

Construye el gráfico:

phir = lambda x: sum([p*bf(x) for p, bf in zip(result.phi,cubicSplines.basisFun)])
plt.plot(x,phir(x))
plt.plot(x,phi(x));

Julia

Como mencionamos, un mayor desarrollo de la técnica requiere una integración avanzada de Monte Carlo. Podríamos usar algún módulo en Python (por ejemplo, trabajamos con PyMC3), sin embargo, estamos, entre otras cosas, participando en un proyecto conjunto con el Instituto Max Planck en Munich.

Este proyecto se llama Bayesian Analysis Toolkit . Su objetivo es crear un marco con herramientas para los métodos de análisis bayesianos, que incluyen principalmente herramientas para MCMC. Ahora el equipo está trabajando en la segunda versión del marco, que está escrita en Julia (la primera está escrita en C ++ incorrecto). Una de las tareas de nuestro grupo es demostrar las capacidades de este marco utilizando el ejemplo de regularización estadística, por lo que escribimos una implementación en Julia .

using PyCall
include("../src/gauss_error.jl")
include("../src/kernels.jl")

a = 0.
b = 6.

function phi(x::Float64)
    mu1 = 1.
    mu2 = 4.
    n1 = 4.
    n2 = 2.
    sig1 = 0.3
    sig2 = 0.5

    norm(n, mu, sig, x) = n / sqrt(2 * pi*sig^2) * exp(-(x - mu)^2 / (2 * sig^2))
    return norm(n1, mu1, sig1, x) + norm(n2, mu2, sig2, x)
end
x = collect(range(a, stop=b, length=300))

import PyPlot.plot

myplot = plot(x, phi.(x))
savefig("function.png", dpi=1000)

Esta vez usamos un núcleo diferente, no tomaremos un paso integrador, sino una convolución con un gaussiano, que en realidad conduce a un cierto "desenfoque" a nuestros datos:

function kernel(x::Float64, y::Float64)
    return getOpticsKernels("gaussian")(x, y)
end

convolution = y -> quadgk(x -> kernel(x,y) * phi(x), a, b, maxevals=10^7)[1]
y = collect(range(a, stop = b, length=50))
ftrue = convolution.(y)
sig = 0.05*abs.(ftrue) +[0.01 for i = 1:Base.length(ftrue)]
using Compat, Random, Distributions
noise = []
for sigma in sig
    n = rand(Normal(0., sigma), 1)[1]
    push!(noise, n)
end
f = ftrue + noise
plot(y, f)

Del mismo modo, tomamos la base de splines con extremos fijos:

basis = CubicSplineBasis(y, "dirichlet")
Kmn = discretize_kernel(basis, kernel, y)
model = GaussErrorMatrixUnfolder([omega(basis, 2)], "EmpiricalBayes", nothing, [1e-5], [1.], [0.5])
result = solve(model, Kmn, f, sig)
phivec = PhiVec(result, basis)

x = collect(range(a, stop=b, length=5000))
plot(x, phi.(x))

phi_reconstructed = phivec.phi_function.(x)
phi_reconstructed_errors = phivec.error_function.(x)

plot(x, phi_reconstructed)
fill_between(x, phi_reconstructed - phi_reconstructed_errors, phi_reconstructed + phi_reconstructed_errors, alpha=0.3)

Ejemplo del mundo real

Como ejemplo de análisis de datos reales, restauraremos el espectro de dispersión de electrones de una mezcla de hidrógeno-deuterio. En el experimento, se midió el espectro integral (es decir, el número de electrones está por encima de cierta energía), y necesitamos restaurar el espectro diferencial. Para estos datos, el espectro se reconstruyó inicialmente mediante el ajuste, por lo que tenemos una base para verificar la corrección de nuestro algoritmo.

Así es como se ve el espectro integrado inicial:

Y así, el resultado de la restauración: el

análisis con ajuste tiene tres desventajas principales:

• , .
• , .
• .

La regularización estadística evita todos estos problemas y proporciona un resultado independiente del modelo con errores de medición. La solución obtenida por regularización está de acuerdo con la curva de ajuste. Tenga en cuenta los dos picos pequeños a 25 y 30 eV. Se sabe que se forma un pico a 25 eV durante la dispersión doble, y se restableció mediante un ajuste, ya que se especificó claramente en la función de ajuste. Un pico de 30 eV puede ser una anomalía estadística (los errores son bastante grandes en este punto) o, posiblemente, indica la presencia de dispersión disociativa adicional.

Conclusiones y anuncio de la próxima parte.

Le contamos sobre una técnica útil que se puede adaptar a muchas tareas de análisis de datos (incluido el aprendizaje automático) y obtener un "ajuste" honesto de la respuesta: la solución más racional a la ecuación ante la incertidumbre causada por errores de medición. Como un buen bono, obtenemos valores para el error de decisión. Aquellos que quieran participar en el desarrollo o aplicar el método de regularización estadística pueden contribuir en forma de código en Python, Julia o en otra cosa.

En la siguiente parte hablaremos sobre:

• Usando MCMC
• Descomposición de Cholesky
• Como ejemplo práctico, consideramos el uso de la regularización para procesar una señal de un modelo de un detector orbital de protones y electrones.
  

Referencias

• Obra original Turchin
• La disertación sobre la aplicación de la regularización en física atmosférica.
• Nuestra publicación sobre la aplicación de la regularización estadística.
• Implementación de Python
• Implementación en Julia
• Implementación en ALGOL-60 , para los amantes de la arqueología.
• Kit de herramientas de análisis bayesiano

Publicado por Mikhail Zeleny , Investigador del Laboratorio de Métodos Experimentales de Física Nuclear en JetBrains Research .