TEKNOLOGI: Collaborative filtering

Selv om Recommender systems og Collaborative filtering har vært kjente begreper i 15-20 år, er det fremdeles "hot". Noe av årsaken er nye algoritmer, stadig kraftigere prosessorer, netthandel og mer tilgjengelig data.

Denne teknologien var høydepunktet på kurset "Machine Learning" gitt av professor Andrew Ng ved Standford University på coursera.org. Dette universitetskurset er av høy kvalitet og er gratis!

Professor Ng sier: "Når jeg reiser rundt i Silicon Valley og spør folk hva de er mest opptatt av, svarer de fleste: Bedre system for produktanbefalinger".

Algoritmen som professor Ng presenterte, er i siste del som lineær regresjon. I første del lærer den derimot ikke modellen (vektene) fra kjente produktegenskaper, men den lærer både vektene og egenskapene samtidig.

Sentralt i algoritmen er en kostfunksjon som beregner differanse mellom predikerte og virkelige tilbakemeldinger fra kundene (squared error). Så tar algoritmen mange steg i retningen angitt av den deriverte av kostfunksjonen. Ganske enkelt, men fasinerende. Tiden vil vise om det fungerer i praksis.

****

Artikkelen A Survey of Collaborative Filtering Techniques fra 2009 går gjennom ulike framgangsmåter for slike systemer. I tråd med denne oversikten er algoritmen som professor Ng presenterte, model-based data mining / machine learning.

Spennende oppstartsfirmaer tilbyr nå også kollaborating filtering. Eksempel er det norske cXence. De skriver på sine nettsider:

"Product or Promotions Recs: Recommend any type of content, including products, promotions, content, articles, user reviews, blogs, photo's and rich media based on collaborative filtering."

Se www.cxense.com/cXrecs.html

En sentral del av collaborating filtering er at systemet kan forbedre kundenes vektlegging og produktenes egenskaper etter hvert som systemet får mer data å lære fra. Dette indikerer også cXence:

"CCE Lifecycle: Continual Improvement cX::recs allow for continued improvement over time to improve recs to deliver better products, offers, and content just like all other cX products."

****

Det er flere utfordringer med "collaborative filtering" via SaaS (Software as a Service) som er plattformen til cXense. (Cousera.com har også et godt, men arbeidskrevende kurs om Software Engineering for SaaS).

Det første problemet med "collaborative filtering" i "skyen" er identifisering av brukerne/ kundene. Det er to muligheter: vag gjenkjenning via cookies eller registrering/ innlogging. Ingen av disse passer godt for nyhetssteder og aviser slik bruksmønster og praksis er i dag.

Det andre problemet er innsamling av brukernes/ kundenes oppfatning ("ratings"). Oppfatninger kan være implisitte for eksempel ved at et klikk indikerer høy score. Systemet kan også spørre brukerne direkte om deres oppfatning, eller det kan måle hva de faktisk gjør/ handler i slutten av klikk-sekvensen. Dersom et SaaS-system skal kunne samle inn dette, må systemet være integrert i hele kjeden, for eksempel både i en avis/ et magasin og i en nettbutikk som annonserer.

Til sist er utfordringen å kunne måle hvor godt systemet fungerer og forbedre det. "Collaborative filtering" kan lett bli trylling som ingen egentlig forstår. Det er brukernes oppfatning, "recommender systems" skal predikere for å vise annonser og produkter med predikert høy score. Ved "collaborating filtering" har vi ikke et test-set eller cross validation set å sjekke ytelse mot. Kundenes virkelige oppfatninger kommer etter hvert via hva de klikker på, handler eller svarer i en spørreundersøkelse. Systemet må kunne lagre predikert og virkelig oppfatning og justere parametere og input til systemet basert på avvik. Dersom systemet tar mest hensyn til gjennomsnitlig score for et produkt og ikke brukernes/ kundenes individuelle behov og oppfatning, fungerer det ikke optimalt.

En risiko er at et "collaborating filtering"-system ikke måler ytelse eller er selvoppfyllende ved at det kun måler anbefalte linker og produkter, og ikke alle andre. For å løse denne oppgaven tilfredsstillende, må et recommender-system være tett integrert i nettstedet. Da kan man spørre seg om SaaS er riktig plattform.

For å få best nytte i avis- og nyhetssammenheng, bør systemet være vidt utbredt og samle inn en mengde data fra ulike kilder. Det spørs om sluttbrukerne og datatilsyn er veldig tilfreds med det.

****

Jeg har nylig implementert "Collaborative filtering" for nettbutikken Cotton Child. Algoritmen i dette systemet er modellbasert maskinlærning med lineær regresjon som presentert av professor Ng ved Stanford University.

Skrevet av Birger Baksaas 21.08.2012.

Se flere innlegg