Størrelser og begreper

La oss si du ønsker å klassifisere objekter på et samlebånd. Du vet på forhånd at du har c forskjellige klasser et objekt kan være. Hver klasse har et navn, og i litteraturen blir dette $$\omega_1,\omega_2,\cdots,\omega_c$$ Mer praktisk, kan det være du ønsker å bestemme om søppel på et samlebånd er enten matavfall/kompost, plastikk, metall, glass eller udefinert. Dette kan for eksempel benyttes på en resirkuleringsstasjon.

Tilgjengelig har vi også erfaring om søppel, og vet med hvilken sannsynlighet de forskjellige kategoriene opptrer. $$P(\omega_1),P(\omega_2),\cdots,P(\omega_c)$$ Praktisk igjen, kan vi for eksempel si at ca halvparten av alt søppel er plastikk, altså $P(Plastikk) = 0.5$ Dette kalles á priori sannsynlighet

Videre har hvert objekt et sett med egenskaper $\textbf{x} = [x_1, x_2, \cdots , x_d]^\top$ som kan brukes til å klassifisere objektet. For søppel kan denne egenskapsvektoren se slik ut: $$\textbf{x}=[vekt, farge(nm), størrelse, fuktighet, magnetisme]^\top$$ Ved hjelp av denne egenskapsvektoren kan vi si noe om hvor sannsynlig det er at objektet inneholder en spesiell klasse. For eksempel kan man bestemme hvor sannsynlig det er at et søppelobjekt er av metall ved hjelp av å måle magnetisme og farge. Vi kaller dette á prior sannsynlighet, eller den klassebetingede sannsynlighetsfunksjonen og skrives slik: $$P(\omega_i|\textbf{x})$$