Archives de catégorie : Top of the blogs

Pour un usage éthique et durable de la musique sur internet : The Trichordist

Capture d’écran 2015-04-23 à 10.46.36

Dans la série Top of the blogs, je recommande vivement The Trichordist, qui prône une approche durable et éthique de la musique sur l’internet. L’intérêt principal de ce blog est double : une veille juridique et économique pointue sur les évolutions de l’internet, le droit d’auteur, les contrats d’artistes, les jurisprudences, la redistribution des revenus, etc. d’une part ; d’autre part, la sensibilisation des lecteurs à la défense des artistes, auteurs-compositeurs face aux majors et aux plateformes de streaming.

On trouvera ci-dessous la reproduction d’un article de The Trichordist consacré aux revenus générés sur les plateformes de streaming et à leur répartition. Bonne lecture !

The Trichordist

Artists For An Ethical and Sustainable Internet #StopArtistExploitation

The Streaming Price Bible – Spotify, YouTube and What 1 Million Plays Means to You!

Several of our posts on streaming pay rates aggregated into one single source. Enjoy…

[UN to Airlift Calculators, Behavioral Economics Textbooks to Digital Music Industry]

musicstreamingindex020114[EDITORS NOTE: All of the data above is aggregated. In all cases the total amount of revenue is divided by the total number of the streams per service  (ex: $5,210 / 1,000,000 = .00521 per stream). In cases where there are multiple tiers and pricing structures (like Spotify), these are all summed together and divided to create an averaged, single rate per play.]

If the services at the top of the list like Nokia, Google Play and Xbox Music can pay more per play, why can’t the services at the bottom of the list like Spotify and YouTube?

We’ll give you a hint, the less streams/plays there are the more each play pays. The more plays there are the less each stream/play pays. Tell us again about how these services will scale. Looking at this data it seems pretty clear that the larger the service get’s, the less artists are paid per stream.

So do you think streaming royalty rates are really going to increase as these services “scale”? No, we didn’t either.

[ BREAKING! Apple Announces Itunes One Dollar Albums and Ten Cent Song Downloads In Time For The Holidays! | Sillycon Daily News ]

 

StreamingPriceIndexwYOUTUBE

We’ve been waiting for someone to send us this kind of data. This info was provided anonymously by an indie label (we were provided screenshots but anonymized this info to a spreadsheet). Through the cooperative and collaborative efforts of artists such as Zoe Keating and The Cynical Musician we hope to build more data sets for musicians to compare real world numbers.

In our on going quest for openness and transparency on what artists are actually getting paid we’d love to hear from our readers if their numbers and experience are consistent with these numbers below. At the very least, these numbers should be the starting point of larger conversations for artists to share their information with each other.

Remember, no music = no business.

whatyoutubereallypaysFor whatever reason there appear to be a lot of unmonetized views in the aggregate. So let’s just focus on the plays earning 100% of the revenue pool in the blue set. These are videos where the uploader retains 100% of the rights in the video including the music, the publishing and the video content itself.

Plays  Earnings  Per Play
2,023,295 $3,611.84 $0.00179
1,140,384 $2,155.69 $0.00189
415,341 $624.54 $0.00150
240,499 $371.47 $0.00154
221,078 $313.47 $0.00142
TOTALS TOTALS AVERAGE
4,040,597 $7,077.01 $0.00175

So it appears that YouTube is currently paying $1,750 per million plays gross.

We understand that people reading this may report other numbers, and that’s the point. There is no openness or transparency from either Spotify or YouTube on what type of revenue artists can expect to earn and under what specific conditions. So until these services provide openness and transparency to musicians and creators, “sharing” this type of data is going to be the best we’re going to be able to do as East Bay Ray comments in his interview with NPR.

As we’re now in a world where you need you need a million of anything to be meaningful here’s a benchmark of where YouTube ranks against Spotify.

Service  Plays  Per Play  Total  Notes 
Spotify To Performers/Master Rights 1,000,000 0.00521 $5,210.00 Gross Payable to Master Rights Holder Only
Spotify To Songwrtiers / Publishers This revenue is for the same 1m Plays Above 0.000521 $521.00 Gross Payable to Songwriter/s & Publisher/s (estimated)
YouTube Artist Channel 1,000,000 0.00175 $1,750.00 Gross Payable for All Rights Video, Master & Publishing
YouTube CMS (Adiam / AdRev) ** 1,000,000 0.00032 $321.00 Gross Payable to Master Rights Holder Only

The bottom line here is if we want to see what advertising supported free streaming looks like at scale it’s YouTube. And if these are the numbers artists can hope to earn with a baseline in the millions of plays it speaks volumes to the unsustainability of these models for individual creators and musicians.

Meet the New Boss: YouTube’s Monopoly on Video | MTP

It’s also important to remember that the pie only grows with increased revenue which can only come from advertising revenue (free tier) and subscription fees (paid tier). But once the revenue pool has been set, monthly, than all of the streams are divided by that revenue pool for that month – so the more streams there are, the less each stream is worth.

All adrev, streaming and subscription services work on the same basic models as YouTube (adrev) and Spotify (adrev & subs). If these services are growing plays but not revenue, each play is worth less because the services are paying out a fixed percentage of revenue every month divided by the number of total plays. Adding more subscribers, also adds more plays which means that there is less paid per play as the service scales in size.

This is why building to scale, on the backs of musicians who support these services, is a stab in the back to those very same artists. The service retains it’s margin, while the artists margin is reduced.

[** these numbers from a data set of revenue collected on over 8 million streams via CMS for an artist/master rights holder]

Here’s what 1 million streams looks like from different revenue perspectives on the two largest and mainstream streaming services.

Service  Units Per Unit  Total  Notes 
Spotify 1,000,000 $0.00521 $5,210.00 Gross Payable to Master Rights Holder Only
Spotify same million units as above $0.00052 $521.00 Gross Payable to Songwriter/s & Publisher/s (est)
YouTube 1,000,000 $0.00175 $1,750.00 Gross Payable for All Rights Video, Master & Publishing
YouTube CMS Master Recording (Audiam / AdRev) 1,000,000 $0.00032 $321.00 Gross Payable to Master Rights Holder Only
STREAMING TOTALS  3,000,000 $7,802.00 TOTAL REVENUE EARNED FOR 3 MILLION PLAYS ON SPOTIFY AND YOUTUBE 
Itunes Album Downloads 1,125 $7.00000 $7,875.00 Gross payable including Publishing

Here are some compelling stats on the break down of what percentage of videos on YouTube actually achieve breaking the 1 million play threshold, only 0.33%

CHART OF THE DAY: Half Of YouTube Videos Get Fewer Than 500 Views | Business Insider

Some 53% of YouTube’s videos have fewer than 500 views, says TubeMogul. About 30% have less than 100 views. Meanwhile, just 0.33% have more than 1 million views.

That’s not a huge surprise. But it highlights some of the struggles Google could have selling ads around all those unpopular videos, despite the money it has to spend to store them.

An artist needs to generate THREE MILLION PLAYS on the two largest and most popular streaming platforms to equal just 1,125 album downloads from Itunes. This is an important metric to put in context. In 2013 only 4.8% of new album releases sold 2,000 units or more. So if only 4.8% of artists can sell 2,000 units or more, how many artists can realistically generate over four million streams from the same album of material?

in 2013 there were 66,565 new releases, only 3,237 sold more than 2,000 units = 4.8% of new releases sold over 2,000 units

in 2013 there were 915,482 total releases in print, only 14,856 sold more than 2,000 units = 1.6% of ALL RELEASES in print sold more than 2,000 units.

This is even more important when you start to consider that many artists feel that growing a fan base of just 10,000 fans is enough to sustain a professional career. Note we said solo artists because these economics probably need to be multiplied by each band member added for the revenue distribution to remain sustainable. So a band of four people probably need a sales base of 40,000 fans to sustain a professional career for each member of the band.

Each 10,000 albums sold on iTunes (or 100,000 song downloads) generates $70,000 in revenue for the solo artist or band. To achieve the same revenue per 10,000 fans in streams, the band has to generate 30 million streaming plays (as detailed above) if they are distributing their music across the most common streaming services including Spotify and YouTube.

In 2013 the top 1% of new releases (which happen to be those 620 titles selling 20k units or more) totaled over 77% of the new release market share leaving the remaining 99% of new releases to divide up the remaining 23% of sales.

This appears to confirm our suspicion that the internet has not created a new middle class of empowered, independent and DIY artists but sadly has sentenced them to be hobbyists and non-professionals.

Meanwhile the major artists with substantial label backing dominate greater market share as they are the few who can sustain the attrition of a marketplace where illegally free and consequence free access to music remains the primary source of consumption.

What’s worse is that it is Silicon Valley corporate interests and Fortune 500 companies that are exploiting artists and musicians worse than labels ever did. New boss, worse than the old boss, indeed.

So whose feeling empowered?

RELATED:

UN to Airlift Calculators, Behavioral Economics Textbooks to Digital Music Industry

Streaming Is the Future, Spotify Is Not. Let’s talk Solutions.

Who will be the First Fired Label Execs over Spotify Fiasco & Cannibalization?

« Don’t believe the hype » : un blog sur les business models de l’industrie musicale

 

Capture d’écran 2015-04-15 à 12.34.21

A la découverte des bons blogs consacrés à la musique en régime numérique, voici « Don’t believe the hype » de Virginie Berger. Cette dernière, par ailleurs auteur d’un ouvrage publié par l’IRMA (Musique et stratégies numériques), décrit les évolutions des business models sur le marché de la musique et parvient à en vulgariser les principaux enjeux.

A titre d’exemple, on trouvera ci-dessous un article consacré au streaming, dont la totalité pourra être lue à l’adresse suivante : http://blog.dbth.fr/2015/04/dossier-special-streaming-comment-comprendre-tidal-spotify/

 

Dossier special STREAMING: Comment Comprendre Tidal et Spotify?

Streaming musical  tidal spotify

Le débat retentissant déclenché par le retrait de Taylor Swift de Spotify a finalement ravivé les discussions habituelles sur le montant des droits d’auteur et plus précisément combien un artiste peut être rémunéré par tel ou tel service digital. Mais cela a aussi mis en lumière un élément bien plus intéressant dans la discussion sur la musique digitale. A quoi le freemium (business modèle du streaming, une partie gratuite, et une partie payante vs des avantages) est-il censé ressembler? Une question centrale qui va jouer un rôle clé dans la façon dont le marché numérique va se développer durant les cinq prochaines années.

L’histoire du business model du streaming jusqu’à aujourd’hui? 

En considérant que 1998 fut l’année où le potentiel de la musique digitale est devenu manifeste — Internet et le MP3 ayant émergé plus tôt dans les années 90 et les quelques premières startups de musique digitale comme MP3.com et eMusic venant d’être lancées —, pendant presque toute la décennie qui suivit la réponse par défaut des majors à la plupart des modèles économiques numériques proposés sembla être “non”.

En effet, pendant les cinq années suivantes, les dirigeants de majors semblèrent être tantôt dans le déni (le numérique ne deviendrait jamais grand public comme le CD), tantôt dans le protectionnisme (les ventes de CD devaient être protégées contre le piratage grandissant sur internet) ou dans l’hyper-contrôle (si les canaux de musique digitale ont un potentiel il nous faut alors les contrôler). Inutile de préciser qu’aucune de ces stratégies n’a fonctionné.

Ces cinq premières années virent l’arrivée sur le marché de diverses startups de musique numérique — essentiellement (mais pas uniquement) basées sur le téléchargement —  bien que peu d’entres elles ne proposent alors de  contenu issu des majors (et d’autres ne présentant que des artistes non signés). Mais l’un des acteurs (Apple) réussit à persuader (voire forcer) les majors à rejoindre la partie et c’est ainsi qu’en 2003 l’iTunes Store fut lancé aux USA. Les majors insistèrent pour qu’un système de gestion de droits numériques (DRM) soit intégré au format de fichiers détenu par Apple, mais consentirent dès le départ à la proposition du géant de l’informatique d’un prix unique de vente fixé à 99 cents pour chaque morceau téléchargé. Ça paraissait séduisant sur le papier.

 

etude du marché musique avant 2000

 

Et, il faut le dire, l’iTunes Store fut un succès. Un immense succès même. Surtout aux USA et au Royaume-Uni. Alors, pendant pratiquement les cinq années qui suivirent, dès qu’il était question des nouveaux modèles économiques numériques, les majors dirent “oui” à tout ce qui pouvait être une réplique d’iTunes mais restèrent fermées à tout le reste. C’était, en théorie, une bonne nouvelle pour les ambitieux du téléchargement bien que la continuelle insistance des majors au sujet des DRM empêchât les startups de pouvoir vendre des MP3 ce qui signifiait que leur musique ne pourrait pas être lue sur l’iPod (leader du marché) et que la réussite était quasi impossible.

Il y eut quelques exceptions à cette politique du “oui si vous êtes fondamentalement comme iTunes et non si vous êtes quoi que ce soit d’autre“. Les majors signèrent tout de même des licences avec des plateformes de téléchargement basées sur les abonnements, comme l’authentique produit original Napster dont le fonctionnement était assez proche de celui des services de streaming sur les téléphones aujourd’hui, cependant ces tentatives ne connurent jamais vraiment de véritable succès.

Et aux États-Unis, les majors furent obligées par la législation sur le droit d’auteur d’accorder une licence à des services radio interactifs comme Pandora, ainsi que via le système Sound Exchange dont les taux étaient fixés par un tribunal dédié au droit d’auteur, ce qui a permis à ces dernières de prendre de l’essor.

De plus, certaines startups novatrices choisirent l’angle du “lançons-nous maintenant et obtenons une licence plus tard” ce qui leur permit ensuite de sceller des accords avec les grands labels, toutefois, à défaut d’obtenir les faveurs des maisons de disque, lesdites startups risquaient toujours des poursuites en justice et donc leur existence même.

Mais ce fut vers 2008 que l’on perçut un changement d’attitude notable chez les majors de la musique. Peut-être était-ce dû à l’arrivée de dirigeants plus experts du monde numérique. Ou parce que, les canaux numériques étant devenus une partie essentielle de l’action marketing des labels, le numérique  dans son ensemble était peu à peu adopté par toute la profession.

Ou peut-être était-ce simplement dû au fait que, suite à 10 années de chute des ventes de CD, les responsables en place avaient enfin pris conscience que les décisions tentant uniquement de soutenir cette source-ci de revenu étaient inutiles.

Quoi qu’il en soit, il semble qu’à partir de ce moment-là, une fois confrontées à de nouveaux modèles commerciaux qui différaient fortement voire qui rivalisaient avec iTunes, les majors évoluèrent vers un “peut-être”.
Mais ce “peut-être” était sujet à une grosse condition. C’était “peut-être” à condition que vous soyez une startup au financement conséquent, un géant de la technologie ou une entreprise de médias capable de payer des avances importantes et, dans le cas d’entreprises nouvelles, ouvertes à la participation et donc gage de rentabilité si l’entreprise montrait une réussite.

Apple Itunes

 

En tout cas, l’évolution vers un “peut-être” d’emblée fut importante et libératrice. Ainsi, vers 2008 il semble que le discours des majors se rapprocha sensiblement de : “Le futur de cette industrie est numérique, et sans doute pas uniquement numérique à la façon d’iTunes, mais nous ignorons à quoi ce futur numérique va ressembler alors faisons autant d’affaires que possible, mettons en œuvre le plus d’expérimentations possible, engrangeons le plus d’argent possible et prenons des parts aussi importantes que nous pouvons de nos licenciés dans l’espoir que dans dix ans quelque chose de concret et viable émerge de tout ceci.”

Bien sûr, les grosses avances et la participation au capital ne sont pas allées sans créer de polémique. D’abord parce que les majors y avaient accès mais pas les indépendants, même si la création de Merlin a pu assurer une sorte de parité pour les indépendants.

Ensuite parce que les artistes ont peu de chances de percevoir une part du retour sur investissement lié à la participation au capital et, avec les nombreuses voix parmi la communauté artistique qui critiquent déjà la répartition des droits d’auteur issus des revenus du streaming et le secret entourant les accords de l’industrie concernant le numérique, c’est une situation compliquée qui s’annonce lorsque Spotify lancera son introduction en bourse.
Certaines sources déclarent aussi qu’en insistant sur les grosses avances et la prise d’actions, les labels ont limité le nombre de services numériques pouvant accéder au marché ce qui veut dire que certains modèles commerciaux de startups intéressants n’ont même jamais été testés.

Mais cela dit, il y a eu une logique dans la stratégie que les grandes maisons de disque ont commencé à employer vers la fin de la dernière décennie.

Laisser la communauté des technologies et startup expérimenter, faire le plus d’argent possible durant la phase expérimentale, et encaisser le bénéfice des actions dans les quelques services qui fonctionnent et laisser les autres prendre des risques pour savoir quelle plateforme digitale est solide. Tout ça pendant que les labels se recentrent sur leur propre gestion des risques, l’activité risquée d’investissement sur de nouveaux artistes et la création de nouveau contenu.
Si l’on convient que les gros titulaires de droits ont changé leur politique sur les innovations numériques en 2008, et ainsi débuté une décennie d’expérimentation en 2009, nous nous trouvons alors à mi-chemin de cette décennie d’expérimentation. Est-il alors possible de présager de la tournure des choses ? Et comment exactement le freemium va-t-il trouver sa place dans tout ceci ?

l'évolution des startups musictech

L’eventail des business models pour la musique numérique

Il existe aujourd’hui 3 modèles économiques pour la musique digitale : la boutique de téléchargement façon iTunes (le modèle ‘possession’), le service radio interactif façon Pandora (ce que l’analyste de la musique digital Mark Mulligan appelle le modèle ‘écoute’) et le service à la demande façon Spotify (le modèle ‘accès’).

La question de savoir, parmi ces trois types de service, lequel est en position dominante varie énormément d’un marché à l’autre.

  • Les services ‘écoute’ sont beaucoup plus prolifiques aux USA, surtout parce que, comme expliqué plus tôt, une licence rendue obligatoire par une cour américaine dédiée au droit d’auteur doit lier les maisons de disque en amont à des entités telles que Pandora avec des taux de répartition également fixés par cette même cour. En Europe par contre, les services d’accès tout à la demande ont eu plus de succès.
  •  En revanche — alors que les ventes d’iTunes, après avoir atteint leur point le plus haut sont maintenant en chute — il convient de noter que, le modèle ‘propriété’ est toujours l’unique plus gros générateur de revenus aux USA et au Royaume-Uni. Tandis qu’en Norvège et en Suède, où le téléchargement façon iTunes n’a jamais vraiment décollé, le streaming à la demande est déjà le plus important type de service.

Concernant les modèles de paiement,

  • Le marché du téléchargement est majoritairement basé sur pay as you go, à savoir que l’utilisateur paye à l’unité pour chaque titre téléchargé sans engagement, même si quelques services de téléchargement de niche basés sur l’abonnement existent encore.
  • Dans le cadre du streaming on trouve des options gratuites financées par la publicité et des options payantes, avec un prix standard fixé à 10 livres/dollars/euros par mois (nous donnerons désormais tous les prix en dollar pour avoir une coordination mondiale).
  • En outre, certains services ont aussi des offres aux fonctionnalités limitées à moitié prix et d’autres proposent un niveau super premium pour 20 dollars avec généralement une haute qualité audio.

Alors que la question de savoir quels types de service et quels modèles de paiement seront dominant sur le long terme a déjà animé de nombreux débats. Il apparaît certain que les prochaines années verront l’évolution  d’une gamme de services incluant des éléments à la fois des modèles possession, écoute et accès. De manière essentielle, il y aura au sein de cette gamme différents niveaux de prix, variant davantage entre le gratuit et le standard moyen actuel à 10 dollars.

 

les startups musictech qui se sont plantées

 

Car l’un des problèmes avec le modèle de streaming actuel est que les deux principaux niveaux de prix sont soit gratuit soit à 10 dollars mensuels — donc gratuit ou à 120 dollars annuels — ce qui représente un écart de prix certain. Et, tandis que pour les passionnés de musique  le prix annuel de 120 dollars pour l’accès tout à la demande sans publicité et sur plusieurs appareils à un catalogue de plus de 20 millions de titres semble être une très bonne affaire (ce qui est vrai), dépenser 120 dollars par an pour du contenu musical est plutôt un gros engagement pour le consommateur moyen qui aurait avec l’ancien modèle acheté deux ou trois CD en l’espace d’une année.

Donc tandis que le nombre d’inscriptions à des abonnements pour des services gratuits est plutôt impressionnant et que le taux d’inscriptions à 10 dollars par mois (on parle en dollars pour garder une homogénéité avec tous les tarifs des services dans le monde)  pour des services premium – surtout Spotify – est encourageant, il est probable que seulement une minorité de consommateurs ne s’aventure à dépenser 120 dollars par an pour de la musique enregistrée. Cependant, il y a un manque d’options pour ceux ayant un budget annuel de 20 à 60 dollars et ces consommateurs sont donc susceptibles de d’orienter vers le freemium. Et cela constitue un ensemble bien plus grand que le nombre actuel de gens qui payent pour Spotify.

 Tout le monde en conviendra : pour que le streaming soit un vrai succès il est nécessaire d’y ajouter des niveaux de prix entre la gratuité et 10 dollars. Spotify s’est essayé à un abonnement moitié prix dans certains territoires en excluant à la base les fonctionnalités sur mobiles mais l ‘écoute sur téléphone mobile est tellement devenue la norme qu’un service payant réduit à la seule utilisation sur ordinateur devient difficile à vendre.

 L’option premium de Pandora (qui est plus un service d’écoute que d’accès) est aussi fixée à 5 dollars par mois mais les glissements de ventes pour Pandora du freemium au premium sont loin d’égaler celles de Spotify. Il semblerait que 5% de ses utilisateurs payent par rapport à 25% pour Spotify, ce qui suppose que la majorité considère que 5 dollars par mois pour une simple radio personnalisée est un prix trop élevé.

Alors à quoi va donc ressembler l’éventail des offres de musique digitale ? Quelles variables les services numériques peuvent-ils utiliser pour distinguer les différents niveaux de prix ? Nous verrons cela dans le prochain article de la série.

Retrouvez la suite du dossier: 

 

A propos de l’auteur

Virginie Berger est la fondatrice de DBTH (www.dbth.fr), agence spécialisée en stratégie et business développement notamment international pour les industries créatives (musique, TV, ciné, gastronomie), et les startups creative-tech. Elle est aussi l’auteur du livre sur « Musique et stratégies numériques » publié à l’Irma. Sur twitter: @virberg

Les machines du goût : comment ça marche ?

Capture d’écran 2015-03-30 à 10.18.32

Voici la référence à un blog très autorisé, son auteur n’étant autre que Brian Whitman, co-fondateur de l’API Echo Nest et aujourd’hui music scientist chez Spotify. Dans l’article présenté ci-dessous, on trouvera une description très précise des différents systèmes de recommandation et de leurs logiques internes.

How music recommendation works — and doesn’t work (http://notes.variogr.am/post/37675885491/how-music-recommendation-works-and-doesnt-work)

When you see an automated music recommendation do you assume that some stupid computer program was trying to trick you into something? It’s often what it feels like – with what little context you get with a suggestion on top of the postmodern insanity of a computer understanding how should you feel about music – and of course sometimes you actually are being tricked.

Amazons recommendations for Abbey RoadAmazon’s recommendations for Abbey Road

No one is just learning that if they like a Beatles album, they may also like five others. Amazon is not optimizing for the noble work of raising independent artists’ profiles to the public, and they’re definitely not optimizing for a good musical experience. They’re statistically optimizing to make more money, to sell you more things. Luckily this is the fruit fly of music recommendation, the late night infomercial quality of a music discovery experience that also might dry your lettuce if you spin it fast enough. And I doubt Amazon would ever claim otherwise.

The rest of the field has gotten pretty far since then and we’ve now got tons of ways to discover music using actual qualities of the music or social cues of what your friends are listening to. But I still hate seeing examples like the above. I hate thinking there are forces at work in music discovery that don’t have listeners’ best interests at heart and I want to make them better. I want to walk through all the ways music recommenders work or don’t, and concentrate of course on the one I know best – The Echo Nest’s – which you’re probably using even if you don’t already know it. And most importantly, I want to talk about what we can do next.

Before I get into it, a brief history of who I am: I’ve been working on music recommenders and music retrieval since 1999, academically and in industry. In 2005 I started The Echo Nest with my co-founder Tristan. We power most online music services’ discovery using a very interesting series of algorithms that is sort of the Voltron-figure of our two dissertations and the hard work of our 50 employees in Boston, SF, NYC and London. And we’ve been on a bit of a tear – just in the past year alone we’ve announced that we’re powering music discovery features for eMusic, Twitter, EMI, iHeartRadio, Rdio, Spotify, VEVO and Nokia – with some new heavy hitters yet announced – to add to our existing customer base that includes MTV, MOG, and the BBC. And through our API we have tens of thousands of developers making independent apps like Discovr, KCRW, Muzine, Raditaz, Swarm, SpotON and hundreds more.

We’ve been a quiet company for a while and with all this great news comes a lot of new confusion about what we do and how it compares to other technologies. Journalists like to pin us as the “machine” approach to understanding music next to the “human” of our nearest corollary (not competitor) in the space – Pandora. This is somewhat unfair and belies the complexity of the problem. Yes, we use computer programs to help manage the mountains of music data, but so does everyone, and the way we get and use that data is just as human as anything else out there.

I’ll go into technologies like collaborative filtering, automatic content based recommendation, and manual approaches used by Pandora or All Music Guide (Rovi). I’ll show that no matter what the computational approach ends up being, the source data – how it knows about music – is the most important asset in creating a reliable useful music discovery service.

What is recommendation? What is it good for?

Musicians are competing for an audience among millions of others trying just as hard. And it’s not the listener’s fault if they miss out on something that will change their lives – these days, anyone can gain access to a library of over 15 million songs on demand for free. To a musician turned computer scientist (as I and so many of my colleagues are) this is the ultimate hidden variable problem. If there was something “intelligent” that could predict a song or artist to a person, both sides (musician and listener) win, music is amazing, there’s a ton of data, and it’s very far from solved.

But anyone in the entire field of music technology has to treat music discovery with respect: it’s not about the revenue of the content owner, it’s not about the technology, it’s not about click through rates, listening hours or conversion. The past few years have shown us over and over that filters and guides are invaluable for music itself to coexist with the new ways of getting at it. We track over 2 million artists now – I estimate there are truly 50 million, most of them currently active. Every single one of them deserves a chance to get their art heard. And while we can laugh when Amazon suggests you put a Norah Jones CD in your cart after you buy a leaf blower, the millions of people that idly put on Pandora at work and get excited about a new band they’ve never heard deserve a careful look. Recommendation technology is powering the new radio and we have a chance to make it valuable for more than just the top 5 percent of musicians.

When people talk about “music recommendation” or “music discovery” they usually mean one of a few things:

  • Artist or song similarity: an anonymous list of similar items to your query. You can see this on almost any music service. Without any context, this is just a suggestion of what other artists or songs are similar to the one you are looking at. Formally, this is not truly a recommendation as there is no user model involved (although since a query took the user to the list, I still call these a recommendation. It’s a recommendation in the sense that a web search result is.)
  • Personalized recommendation: Given a “user model” (your activity on a service – plays, skips, ratings, purchases) a list of songs or artists that the service does not think you know about yet that fits your profile.
  • Playlist generation: Most consumers of music discovery are using some form of playlist generation. This is different from the above two in that they receive a list of items in some order (usually meant to be listened to at the time.) The playlist can be personalized (from a user model) or not, and it can be within catalog (your own music, ala iTunes Genius’s or Google’s Instant Mix playlists) or not (Pandora, Spotify’s or Rdio’s radio, iHeartRadio.) The playlist should vary artists and types of songs as it progresses, and many rely on some form of steering or feedback (thumbs up, skips, etc.)
Where popular services sit in discovery
Personalized Anonymous
Playlist Pandora Rdio radio
Suggestions Amazon All Music Guide

These are three very different ways of doing music discovery, but for every technology and approach I know of, they are simply applications on top of the core data presented in different ways. For example, at the Echo Nest we do quite a bit to make our playlists “radio-like” using our observed statistics, acoustic features and a lot of QA but that sort of work is outside the scope of this article – all three of our similarity API, taste profiles (personalized recommendation) API and playlist API start with the same knowledge base culled from acoustic and text analysis of music.

However, the application means a lot to the listener. People seem to love playlists and radio-style experiences, even if the data driving both that and the boring list of songs to check out are the same. One of the great things about working at the Echo Nest is seeing the amazing user interfaces and experiences and people put on top of our data. Listeners want to hear music, and they want to trust the service and have fun doing it. And conversely, a Pandora completely powered by Echo Nest data would feel the same to users but would have far better scale and results and thus add to the experience. Because of this very welcome sharding of discovery applications, it’s helpful less to talk about these applications directly and more to talk about “what the services know” about music – how they got to the result that Kreayshawn and Uffie are similar, no matter where it appeared in the radio station or suggestion or what user model led them there. We can leave the application and experience layer to another lengthy blog post.

My (highly educated, but please know I have no direct inside information except for Echo Nest of course) guesses on the data sources are:

How popular services know about music
Service Source of data
Pandora Musicologists take surveys
Songza Editors or music fans make playlists
Last.fm Activity data, tags on artists and songs, acoustic analysis[1]
All music guide Music editors & writers
Amazon Purchase & browsing history
iTunes Genius Purchase data, activity data from iTunes[2]
Echo Nest Acoustic analysis, text analysis

There are many other discovery platforms but this list covers the widest swath of approaches. Many services you interact with use either these platforms directly (Last.fm, Echo Nest, AMG all license data or give away data through APIs) or use similar enough approaches that it’d be not worth going into in detail.

From this list we’re left with a few major music knowledge approaches: (1) activity data, (2) critical or editorial review, (3) acoustic analysis, and (4) text analysis.

The former two are self-describing: you can learn about music by the activity around it (listens, plays, purchases) – Kreayshawn and Uffie are considered similar if the same people buy their singles or rate them highly – or you can learn about music by critical review, what humans have been pretty good at for some time. Of course, encoding activity (via collaborative filtering or taste mining) and critical review (via surveys or direct entry) into a database is a relatively recent art.

The latter two, acoustic and textual analysis, were developed by the field as a reaction to the failures of the first two. I’ll go into much greater detail on those as it’s how Echo Nest does its magic.

Care and Scale

The dominating principle of the Echo Nest discovery approach from day one has been “care and scale.” When Tristan and I started the company in 2005 we were two guys with fresh PhDs on music analysis and some pretty good technological solutions; Tristan’s in the acoustic analysis realm (a computer taking a signal and making sense of it) and mine in the data mining and language analysis space (understanding what people are saying and doing with music.) We surveyed the landscape at the time for discovery and found that almost every one suffered from either a lack of care or scale, sometimes (and often) both. The entire impetus of doing a startup (not an easy choice for two scientists and anyone that has met us knows we are not the “startup type”) was that we thought we had something between the two of us that could fix those two problems.

Care & Scale

Scale is easy to explain: you have to know about as much music as possible to make good recommendations. If you don’t know about an up and coming artist, you can’t recommend them. If you only analyze or rate or understand the popular stuff you by default fail at discovery. Manual discovery approaches by their nature do not scale. We track over two million artists and over 30 million songs and there is no way a manually curated database can reach that level of knowledge. Even websites that can be volunteer or community edited run against the limits of the community that takes part – we count only a little over 130,000 artist pages on Wikipedia. Pandora recently crossed the 1 million song barrier, and it took them 10 years to get there. Try any hot new artist in Pandora and you’ll get the dreaded:

Pandora not knowing about YUS

This is Pandora showing its lack of scale. They won’t have any information for YUS for some time and may never unless the artist sells well. This is bad news and should make you angry: why would you let a third party act as a filter on top of your very personal experiences with music? Why would you ever use something that “hid” things from you?

Activity data approaches (such as Last.fm and Amazon and iTunes Genius) also suffer from a slighter scale problem that manifests itself in a different way. It’s trivial to load a database of music into an activity data-based discovery engine (such as collaborative filtering or social tags.) I’ve often gone after such naive approaches to music discovery publicly. If a website or store has a list of user data (user A bought / listened to song Y at time Z) any bright engineer will immediately go into optimization mode. There’s almost a duplicitous ease of recommending music to people poorly. I recently was shopping for a specific type of transistor for a project on a parts and components website and found they, too, had turned on the SQL join that allowed “recommendations” on their site based on activity data:

Pathological filteringPathological filtering

Other than activity not making much sense in a discovery context, by default these systems suffer a “popularity bias,” where a lot of music simply doesn’t have enough activity data yet collected to be considered a recommendation match. Activity based systems can only know what people have told them explicitly, and this often makes it hard for less-popular artists to be recommended.

Care is a trickier concept and one we’ve tried very hard to define and encode into our engineering and product. I translate it as “is this useful for the musician or listener?”A great litmus test for care in music discovery is to check the similar artists or songs to The Beatles. Is it just the members of the Beatles and their side projects? For almost all services that use musical activity data, it will be:

Top artist similars are all members of the BeatlesTop artist similars are all members of the Beatles

Certainly a statistically correct result[3], but not a musically informative one. There is so much that user data can tell you about listening habits, but blindly using it to inform discovery belies a lack of care about the final result. Care is neatly handled by using social, manual or editorial approaches, as humans are pretty good at treating music properly. But when using more statistical or signal processing approaches that know about more music at scale, care has to be factored in somehow. Most purely signal processing approaches (such as Mufin here) fall down as badly on care as activity data approaches do:

Mufin expressing so little care about Stairway to HeavenMufin expressing so little care about Stairway to Heaven

Care is a layer of quality assurance, editing and sanity checks, real-world usage and analysis and, well, care, on top of any systematic results. You have to be able to stand by your results and fix them if they aren’t useful to either musicians or listeners. Your WTF count has to be as low as possible. We’ve spent a lot of time embedding care into our process and while we’re always still working, we’re generally pleased with how our results look.

Echo Nests Beatles similars via MTV Music MeterEcho Nest’s Beatles similars via MTV Music Meter

Without both care and scale you’ve got a system that a listener can’t trust and that musician can’t use to find new fans. You’ve failed both of your intended audiences and you might as well not try at all.

Care & Scale of common approaches

Text Analysis

Echo Nest Cultural vectorsEcho Nest Cultural vectors

I started doing music analysis work in 1999 at the NEC Research Institute in Princeton, NJ (I had scammed them into an internship and then a full time job by being very persistent.) NEC was then full of the top tier of data mining, text retrieval, machine learning and natural language processing (NLP[4]) scientists; I had the great fortune to work with guys like Steve Lawrence, Gary Flake, David Waltz and even Vladimir Vapnik moved into my tiny office after I left for MIT.

I was there while figuring out what to do with myself after abruptly quitting my PhD program in NLP at Columbia. I was a musician at the time, playing a lot of shows at various warehouse spaces or the lamented late “Brownies,” places where 20 people might show up and 10 would know who you were. There was a lot of excitement about “the future of music” – far more than there is today, as somehow we felt that the right forces would win and quickly. I logged onto Napster for the first time from a DSL connection and practically squealed in delight as a song could be downloaded faster than the time it would take to listen to it. It was a turning point for music access, but probably a step back for music discovery. We were still stuck with this:

Napster in 2001Napster in 2001

The search was abysmal: a substring match on ID3v1 tags (32 characters each for artist, title, release and a single byte for genre) or filename (usually “C:\MUSIC\MYAWES~1\RAPSONG.MP3”) and there was no discovery beyond clicking on other users’ names and seeing what they had on their hard drives. I would make my music available but of course, no one would ever download it because there was no way for them to find it. A fellow musician friend quickly took to falsely renaming his songs as “remixes” by better known versions of himself: “ARTIST – TITLE – APHEX TWIN MIX” and reported immediate success.

At the time I was a member of various music mailing lists, USENET groups and frequent visitor of a new thing called “weblogs” and music news and review sites. I would read these voraciously and try to find stuff based on what people were talking about. To me, while listening to music is intensely private (almost always with headphones alone somewhere), the discovery of it is necessarily social. I figured there must be a way to take advantage of all of this conversation, all the excited people talking about music in the hopes that others can share in their discovery – and automate the process. Could a computer ‘read’ all that was going on across the internet? If just one person wrote about my music on some obscure corner of the web, then the system could know that too.

This is scale with care: real people feeding information into a large automated system from all different sources, without having to fill out a survey or edit a wiki page or join a social network.

After almost ten years of data mining, language and music research (first at NECI, then a PhD at MIT at the Media Lab) The Echo Nest currently is the only music understanding service that takes this approach. And it works. We crawl the web constantly, scanning over 10 million music related pages a day. We throw away spam and non-music related content through filtering, we try to quickly find artist names in large amounts of text and parse the language around the name. Every word anyone utters on the internet about music goes through our systems that look for descriptive terms, noun phrases and other text and those terms bucket up into what we call “cultural vectors” or “top terms.” Each artist and song has thousands of daily changing top terms. Each term has a weight associated, which tells us how important the description is (roughly, the probability that someone will describe music as that term.) We don’t use a fixed dictionary for this, we are able to understand new music terms as quickly as they are uttered, and our system works in many Latin-derived languages across many cultures.

On top of this statistical NLP, we also pull in structured data from a number of partners and community access sites like Wikipedia or Musicbrainz. We apply the same frequency and vector approach to this knowledge-base style data: if Wikipedia lists the location of an artist as NYC and the label partner as New York, NY and their Facebook page has “EVERYWHERE ON TOUR 2012”, we have to figure out which is the right answer to index. Often the cultural vectors on structured data become a synthesis of all the different data sources.

When a query for a similar artist or a playlist comes into our system, we take the source artist or song, grab its cultural vectors, and use those in real time to find the closest match. This is not easy to do at scale, and over the years we’ve done quite a lot of “big data” work to make this tractable. We don’t cache this data because it changes so often – the global conversation around music is very finicky and artists make overnight changes to their sound.

A lot of useful data naturally falls out of cultural analysis of music: the quantity of conversation is used to inform our “hotttnesss” and familiarity data points, representing how popular the artist is now on the internet and overall how well known they might be. We can use the crawled text anonymously as sort of a proxy for listener data without having to get it from a playback service. And the index of documents that relate to artists or songs is of course valuable to a lot of our customers in a feed or search context – showing news or reviews about artists their users are interested in.

Acoustic Analysis

Echo Nest acoustic analysis viewEcho Nest acoustic analysis view

The internet is not the Library of Babel we envision it to be, and quite often many “lower-rank” (less popular) musicians are left out of the “cultural universe” we crawl. Also, the description of music necessarily leaves out things that actually describe the music – a Google blog search for Rihanna illustrates the problem well: many popular artists’ descriptions are skewed towards the celebrity angle and while this is certainly a valid thing to know about a musician, it’s not all we need to know. Lastly, internet discussion of music tends to concentrate on artists, not songs (although there is sometimes talk of individual songs on music blogs.) These three issues (and common sense) require us figure out if we can understand how a song sounds as well as how the artist and song is represented by listeners. And if we are going to follow care and scale, we’ve got to do this automatically, with a computer doing the job of the careful listening.

Can a computer really listen to music? A lot of people have promised it can over the years, but I’ve (personally) never heard a fully automated recommendation based purely on acoustic analysis that made any sense – and I’ve heard them all, from academic papers to startups to our own technology to big-company efforts. And that has a lot to do with the expectations of the listener. There are certain things computers are very good and fast at doing with music, like determining the tempo or key, or how loud it is. Then there are harder things that will get better as the science evolves, like time signature detection, beat tracking over time, transcription of a dominant melody, and instrument recognition. But even if a computer were to predict all of these features accurately, does that information really translate into a good recommendation? Usually not – and we’ve shown over the years that people’s expectation of “similar” – either in a playlist or a list of artists or songs – trends heavily towards the cultural side, something that no computer can get at simply by analyzing a signal.

But it does turn out that acoustic analysis has a huge part to play in our algorithms. People expect playlists to be smooth and not jump around too much. Quiet songs should not be followed with loud metal benders (unless the listener asked for that.) For jogging, the tempo should steadily increase. Most coherent mixes should keep the instrumentation generally stable. Songs should flow into one another like a DJ would program them, keeping tempo or key consistent. And there’s a ton we haven’t figured out yet on the interface side. Could a “super dorky query interface” work for music recommendation, where a listener can filter by dominant key or loudness dynamics? Maybe with the right user experience. An early product out of the Echo Nest[5] was an “intelligent pause button” that Tristan whipped up that would compose a repeating segment out of the part of the song you were in or just play the song roughly forever (check out an automated 10 minute MP3 re-edit of a Phoenix song) – which a few years later became Paul’s amazing Infinite Jukebox – these experiments are fascinating precursors to a new listening experience that might become more important than discovery itself.

How Echo Nest acoustic analysis worksHow Echo Nest acoustic analysis works

The Echo Nest audio analysis engine (PDF) contains a suite of machine listening processes that can take any audio file and outputs both low-level (such as the time of when every beat starts) and high-level (such as the overall “danceability”) information for any song in the world. We analyze all the music we work with, and developers can upload their own audio to see everything we compute on a track via our API. Our analysis starts by pretending it was an ear: it will model the frequencies and loudness of a musical signal much the same way perceptual codecs like MP3 or AAC do. It then segments the audio into small pieces – roughly 200ms to 4s, depending on how fast things are happening in the song. For each segment we can tell you the pitch (in a 12-dimensional vector called chroma), the loudness (in an ADSR-style envelope) and the timbre, which is another 12 dimensional vector that represents the sound of the sound – what instruments there are, how noisy it is, etc. It also tracks beats across the signal, in subdivisions of the musical meter called tatums, and then per beat and bar, alongside larger song-level structure we call sections that denote choruses, intros, bridges and verses.

That low level information can be combined through some useful applications of machine learning that Tristan and has team have built over the years to “understand” the song at a higher level. We emit song attributes such as danceability, energy, key, liveness, and speechiness, which aim to represent the aboutness of the song in single floating point scalars. These attributes are either heuristically or statistically observed from large testbeds: we work with musicians to label large swaths of ground truth audio against which to test and evaluate our models. Our audio analysis can be seen as an automated lead sheet or a computationally understandable overview of the song: how fast it is, how loud it gets, what instruments are in it. The data within the analysis is so fine grained that you can use it as a remix tool – it can chop up songs by individual segments or beats and rearrange them without anyone noticing.

We don’t use either type of data alone to do recommendations. We always filter the world of music through the cultural approaches I showed above and then use the acoustic information to order or sort the results by song. A great test of a music recommender is to see how it deals with heavy metal ballads – you normally would expect other ballads by heavy metal bands. This requires a combination of the acoustic and cultural analysis working in concert. The acoustic information is obviously also useful for playlist generation and ordering, or keeping the mood of a recommendation list coherent.

What’s next

I’ve used every single automated music recommendation platform, technology or service. It’s obviously part of my job and it’s been astounding to watch the field (both academically and commercially) mature and test new approaches. We’ve come a long way from RINGO and while the Echo Nest-style system is undoubtedly the top of the pack these days as far as raw quality of automated results go, there’s still quite a lot of room to grow. I’ve been noticing two trends in the space that will certainly heat up in the years to come:

Social – filtering collaborative filtering

This is my jamThis is my jam

Social music discovery as embodied by some of my favorite music services such as This is my jam, Swarm.fm, Facebook’s music activity ticker and real time broadcasting services like the old Listening Room and its modern progentior Turntable.fm often have no or little automated music discovery. Friend-to-friend music recommendations enabled by social networks are extremely valuable in music discovery (and I personally rely on them quite often), but are not recommendation engines as they can not automatically predict anything when bereft of explicit social signals (and so they fail on scale.) The main amazing and useful feature of recommendation systems are that it can find things for you that you wouldn’t have otherwise come across.

Even though that puts this kind of service outside the scope of this article, that doesn’t mean we should ignore the power of social recommendations. There’s something very obvious in the social fabric of these services that makes personal recommendations more valuable: people don’t like computers telling them what to do.

There are some interesting new services that mix both the social aspects of recommendation with automated measures. This is my jam’s “related jams” is a first useful crack at this, as is Spotify’s recent “Discover” feature. You can almost see these as extensions of your social graph: if your friends haven’t yet caught onto Frank Ocean there might be signals that show they will get there soon, and using cultural filtering can get us there. And a lot of the power of social recommendations – that it comes from your friends – can tell the story better than just a raw list of “artists we think you would like.”

Listener intelligence

When do you listen to music? Is it in the morning on your way to work? Is it on the weekends, relaxing at home? When you do it, how often do you listen to albums versus individual songs in a playlist? Do you idly turn on an automated radio station, or have your own playlists? Which services do you use and why? If it’s raining, do you find yourself putting on different music? The scariest thing about all the music recommendation systems I’ve gone over (including ours as of right now) is none of them look at this necessary listener context.

There is a lot going on in this space, both internal stuff we can’t announce yet at Echo Nest, and new products I’m seeing coming out of Spotify and Facebook. We’re throwing our weight behind the taste profile – the API that represents musical activity on our servers. It’s sort of the scrobble 2.0: both representing playback activity as well as all the necessary context around it: your behaviors and patterns, your collection, your usage across services and maybe even domains. We’re even publishing APIs to do bulk analysis of the activity to surface attributes like “mainstreamness” or “taste-freeze,” the average active year of your favorite artists. This is more than activity mining as collaborative filtering sees it: it’s understanding everything about the listener we can, well beyond just making a prediction of taste based on purchase or streaming activity. All of these attributes and analysis might be part of the final frontier of music recommendation: understanding enough to really understand the music and the listener it’s directed to.

– Brian (brian@echonest.com)

Thanks to EVB for the edits


  1. I know they do a ton of acoustic analysis there but I don’t know if it’s used in radio or similar artists/songs. Probably.  ↩
  2. They use Gracenote’s CDDB data as well but I don’t know to what extent it appears in Genius.  ↩
  3. You can even claim that since you are listening to the Beatles, you are also listening to the individual members at the same time but let’s not get too ahead of the curve here  ↩
  4. Whenever I say NLP I mean the real NLP, the natural language processing NLP, not the creepy pseudoscience one.  ↩
  5. Released eventually as the Earworm example in Echo Nest Remix.  ↩

Les machines du goût : sur les algorithmes de la recommandation

Musicovery
Musicovery

 

Dans une récente thèse de doctorat portant sur l’API Echo Nest et plus généralement sur les algorithmes de la recommandation (la thèse sera prochainement publiée aux éditions Hermann), Stephan-Héloïse Gras montre comment, dans un univers où les catalogues de services de streaming musical en ligne détiennent des millions de titres, de nouvelles formes de compétition se mettent en place autour de la recommandation personnalisée de nouveaux artistes. L’enjeu est en quelque sorte symétrique : pour les plateformes, cibler leurs publics potentiels avec un niveau de granulométrie exceptionnellement fin. On passe en quelque sorte du « prêt à porter » naguère offert par les systèmes promotionnels à l’époque du disque ou du CD au « taillé sur mesure ». Pour les publics, trouver l’artiste qu’on ne connaît pas encore mais qu’on aimera presque à coup sûr parce qu’il correspond à la structure de nos goûts, à notre sensibilité esthétique voire à nos émotions du moment… Car à ce petit jeu des affinités électives, c’est non seulement la mise en relation d’un artiste avec un auditeur que proposent les machines du goût mais également la contextualisation de cette relation : leur devise pourrait être « The right artist at the right place at the right time », puisque la contextualisation peut théoriquement tenir compte de variables aussi précises que le lieu où vous vous trouvez, de l’heure de la journée, du type de lumière, de votre état émotionnel et que les développements de la recommandation  vont aller de pair non seulement avec le développement des capacités de traitement des big data mais également avec la sophistication de capteurs de données individuelles. Un bon exemple de « recommandation émotionnelle » se trouve sur le site http://musicovery.com/, co-dirigé par Vincent Castaignet.

Je reviendrai très régulièrement sur ce sujet car il est central pour comprendre ce qui se joue aujourd’hui dans la relation entre les publics et les distributeurs de contenus. D’ores et déjà, on peut signaler plusieurs des questions de fond que les machines du goût suscitent : l’hyper-personnalisation de la recommandation contribue-t-elle à élargir le portefeuille des goûts (autrement dit, écoute t-on plus d’artistes et surtout plus d’artistes issus de familles esthétiques diversifiées ?) ou n’assiste t-on pas au contraire à une sorte d’homogénéisation des préférences ? Les algorithmes permettent non seulement de recommander de la musique mais également d’offrir des services connexes comme des tickets de concert ou des produits dérivés. Comment peuvent-ils contribuer à la réorganisation du marché ? Par ailleurs, les systèmes de recommandation, en matière de musique, ne sont-ils pas largement indexés sur un modèle occidentalocentrique, pour ne pas dire américanocentrique, du goût ? Enfin, comme le  soulignait Brian Whitman, co-fondateur de l’API Echo Nest et aujourd’hui music scientist chez Spotify, jusqu’à quel point les outils de la recommandation ne réintroduisent-ils pas une forme d’hyper-déterminisme social, par exemple lorsqu’ils lient le fait d’aimer Rihanna au fait d’être plutôt de gauche (enfin, démocrate puisqu’il s’agit des USA dans cet exemple : http://notes.variogr.am/post/26869688460/how-well-does-music-predict-your-politics) mais sans assortir ce type de corrélation d’aucune explication sociologique digne de ce nom ?

En attendant d’explorer plus avant ce sujet, on trouvera ci-dessous un premier article expliquant comment fonctionnent les machines du goût. A suivre,  un article de Brian Whitman sur le même sujet.

 Les algorithmes de recommandation

On 25.04.2012, in Dossiers, by Mathieu(http://www.podcastscience.fm/dossiers/2012/04/25/les-algorithmes-de-recommandation/)

Il existe des centaines d’algorithmes qui ont été utilisés pour l’implémentation de systèmes de recommandation. La plupart relève de concepts mathématiques avancés. Dans ce dossier, on va tenter d’analyser différentes approches et stratégies utilisées lors de la mise en place d’un système de recommandation.Wikipedia définit un système de recommandation comme une forme spécifique de filtrage de l’information visant à présenter les éléments d’information (films, musique, livres, news, images, pages Web, etc) qui sont susceptibles d’intéresser l’utilisateur.

Dit autrement, un système de recommandation cherche à prédire la valorisation ou préférence qu’un utilisateur attribuerait à un objet (livre, musique, film…) ou à un élément social (personne, groupe, communauté) qu’il n’avait pas encore considéré.

Un système de recommandation requiert généralement 3 étapes:

  1. La première consiste à recueillir de l’information sur l’utilisateur.
  2. La deuxième consiste à bâtir une matrice ou un modèle utilisateur contenant l’information recueillie.
  3. La troisième consiste à extraire à partir de cette matrice une liste de recommandations.

Collecte d’Information

Pour être pertinent, un système de recommandation doit pouvoir faire des prédictions sur les intérêts des utilisateurs. Il faut donc pouvoir collecter un certain nombre de données sur ceux-ci afin d’être capable de construire un profil pour chaque utilisateur.

Une distinction peut être faite entre 2 formes de collecte de données:

  • Collecte de données explicite – Filtrage actif: repose sur le fait que l’utilisateur indique explicitement au système ses intérêts.
    • Exemple: demander à un utilisateur de commenter, taguer/étiqueter, noter, liker ou encore ajouter comme favoris des contenus (objets, articles…) qui l’intéressent. On utilise souvent une échelle de ratings allant de 1 étoile (je n’aime pas du tout) à 5 étoiles (j’aime beaucoup) qui sont ensuite transformées en valeurs numériques afin de pouvoir être utilisées par les algorithmes de recommandation.
    • Avantage: capacité à reconstruire l’historique d’un individu et capacité à éviter d’agréger une information qui ne correspond pas à cet unique utilisateur (plusieurs personnes sur un même poste).
    • Inconvénient: les informations recueillies peuvent contenir un biais dit de déclaration.
  • Collecte de données implicite – Filtrage passif: repose sur une observation et une analyse des comportements de l’utilisateur effectuées de façon implicite dans l’application qui embarque le système de recommandation, le tout se fait en “arrière-plan” (en gros sans rien demander à l’utilisateur).
    • Exemples:
      • Obtenir la liste des éléments que l’utilisateur a écoutés, regardés ou achetés en ligne.
      • Analyser la fréquence de consultation d’un contenu par un utilisateur, le temps passé sur une page.
      • Monitorer le comportement en ligne de l’utilisateur.
      • Analyser son réseau social.
    • Avantage: Aucune information n’est demandée aux utilisateurs, toutes les informations sont collectées automatiquement. Les données récupérées sont a priori justes et ne contiennent pas de biais de déclaration.
    • Inconvénient: Les données récupérées sont plus difficilement attribuables à un utilisateur et peuvent donc contenir des biais d’attribution (utilisation commune d’un même compte par plusieurs utilisateurs). Un utilisateur peut ne pas aimer certains livres qu’il a acheté, ou il peut l’avoir acheté pour quelqu’un d’autre.

Modèle Utilisateur

Le modèle utilisateur se présente généralement sous forme de matrice. On peut se le représenter comme un tableau qui contient des données recueillies sur l’utilisateur associées aux produits disponibles sur le site web.

Un autre point important est comment le temps influence le profil de l’utilisateur. Les intérêts des utilisateurs, généralement, évoluent au cours du temps. Les données du modèle utilisateurs devraient donc constamment être réajustées pour rester conformes aux nouveaux centre d’intérêts de l’utilisateur.

Liste de recommandations

Pour extraire une liste de suggestions à partir d’un modèle utilisateur, les algorithmes utilisent la notion de mesure de similarité entre objets ou personnes décrits par le modèle utilisateur. La similarité a pour but de donner une valeur ou un nombre (au sens mathématique du terme) à la ressemblance entre 2 choses. Plus la ressemblance est forte, plus la valeur de la similarité sera grande. A l’inverse, plus  la ressemblance est faible, et plus la valeur de la similarité sera petite. On verra plus tard dans le dossier quelques exemples.

Types de système de recommandation

On a l’habitude de présenter 4 approches possibles pour un système de recommandation:

  • Recommandation Personnalisée
  • Recommandation Objet (Content-Based filtering CB)
  • Recommandation Sociale (Collaborative Filtering CF – Context Aware)
  • Recommandation Hybride

Recommandation Personnalisée

Il s’agit de recommander des objets sur la base du comportement passé de l’utilisateur.

Exemples:

  • Des produits achetés ou sélectionnés sur un site de e-commerce, ainsi qu’un certain nombre d’actions ou décisions effectuées par l’utilisateur qui permettent de prédire de nouveaux produits susceptibles de l’intéresser.
  • Les annonces publicitaires (par ex. Adsense de Google) sont considérées comme des systèmes de recommandation personnalisée qui se basent sur le comportement passé de l’utilisateur (navigation, clics, historique de recherche…)

Recommandation Objet

Il s’agit de recommander des objets (ou contenus) en se basant sur les qualités et propriétés intrinsèques de l’objet lui-même et en les corrélant avec les préférences et intérêts de l’utilisateur. Ce type de système va donc extraire un certain nombre de caractéristiques et attributs propres à un contenu, afin de pouvoir recommander à l’utilisateur des contenus additionnels possédant des propriétés similaires. Cette méthode crée un profil pour chaque objet ou contenu, c’est-à-dire un ensemble d’attributs/propriétés qui caractérisent l’objet.

Exemples:

  • La décision de sélection et recommandation ou non d’un document à un utilisateur peut se baser sur le contenu (les mots présents) dans celui-ci, c’est-à-dire sur une comparaison des thèmes abordés dans le document par rapport aux thèmes qui intéressent l’utilisateur.
  • Pour décider la suggestion d’un article (news) ou non, un système de recommandation peut se baser sur les mot-clés principaux de l’article et les comparer avec les mot-clés apparaissant dans d’autres articles que l’utilisateur a évalués positivement dans le passé.
  • Dans le cas d’un site de vente de livre en ligne, on va se baser sur les caractéristiques du livre pour effectuer des recommandations, comme par exemple le sujet que traite l’ouvrage, son genre, son auteur, l’éditeur, etc. On pourrait ainsi recommander le livre Harry Potter à un utilisateur, si on sait d’une part que ce livre est un roman fantastique et d’autre part que l’utilisateur aime les romans fantastiques. Un système de recommandation pourra donc accomplir cette tâche seulement s’il a à disposition 2 types d’information:  1) la description des caractéristiques du livre et 2) un profil utilisateur qui décrit les intérêts (passés) de celui-ci en termes de préférence de type de livre. La tâche de recommandation consiste donc à déterminer les livres qui correspondent le mieux aux préférences de l’utilisateur.
Profil des livres
Profil/Préférences Utilisateur

Les algorithmes de recommandation objet permettent de développer des modèles afin de trouver des patterns ou motifs semblables entre différentes données. Ils évaluent à quel point un contenu pas encore vu par l’utilisateur est similaire aux contenus que celui-ci a évalués positivement dans le passé. Pour ce faire, on utilise la notion de similarité qui peut être mesurée de plusieurs manières:

  • Le système peut tout simplement vérifier si le livre se trouve dans la liste des genres préférés de l’utilisateur. Dans ce cas la similarité sera de 0 ou 1 (binaire/boolean).
  • Une autre façon serait de ne pas se baser sur le genre du livre, mais sur les mot-clés qui caractérisent l’ouvrage, et calculer la similarité de chevauchement entre les mots-clés du livre qui va éventuellement être suggéré avec les mots-clés préférés de l’utilisateur. Un des indicateurs de mesure de similarité qu’on utilise dans le cas d’un objet avec des propriétés multi-valeurs (cas des mot-clés) est le coefficient de Dice. Si chaque livre est décrit par un ensemble de mot-clés, le coefficient de Dice permet de mesurer le degré de similarité entre 2 livres à partir de leurs mot-clés.

Chevauchement des mots-clé

Dans le cas de documents de texte, on peut également imaginer que le contenu de chaque document soit décrit à partir d’une liste de tous les mots apparaissant dans le document, et décrire chaque document par un vecteur de valeurs binaires/booléennes, où un 1 indiquerait que le mot apparaît dans le document et un 0 indiquerait que le mot n’apparaît pas dans le document. Si le profil utilisateur est décrit par une liste similaire (un 1 indique un intérêt pour un mot-clé), on peut facilement associer et proposer des documents en mesurant le chevauchement entre les mot-clés qui intéressent l’utilisateur et les mots contenus dans le document. Le problème qui surgit avec une telle approche est qu’on assume que chaque mot a la même importance au sein d’un document. Or un mot qui apparaît très souvent ne caractérise pas forcément mieux un document. En plus, un plus large chevauchement entre les préférences de l’utilisateur et un document apparaîtera naturellement plus le document est long. En conséquence, le système de recommandation tendera à proposer des longs documents. Pour résoudre ces problèmes, on applique des techniques qui permettent de réduire le poids des mots qui apparaissent très souvent et d’augmenter le poids de ceux qui apparaissent plus rarement. Pour rendre encore plus compacte la liste des mots présents dans un document, on peut aussi quitter un certain nombre de mots qui sont sans intérêt, comme les prépositions, les articles… En normalisant aussi différentes variantes d’un même mot, par exemple les verbes conjugués sont remplacés par leur infinitif (volait par voler). On peut aussi décider de limiter la liste aux n mots les plus pertinents apparaissant dans les documents. Différents travaux ont montrés que le nombre optimum de mots à prendre en compte se trouve aux alentours de 100. Si trop peu de mots sont sélectionnées (moins de 50), on voit que d’importantes caractéristiques d’un document ne sont pas couvertes. Et si trop de mots sont inclus, certains ont peu d’importance et apportent plus de bruit qu’autre chose, ce qui réduit la qualité de la recommandation. On utilise aussi des base de connaissances lexicales externes pour éliminer des mots non pertinents.

De façon générale, les algorithmes de recommandation objet assignent un poids plus ou moins élevé aux attributs d’un contenu selon l’importance de ceux-ci. Le poids exprime donc l’importance de chaque attribut pour un utilisateur.

Un autre algorithme de recommandation objet couramment utilisé est la méthode de retour de pertinence de Rocchio (Rocchio’s relevance feedback) ou  classification de Rocchio. L’idée de cette méthode est de prendre en compte le point de vue des utilisateurs sur les recommandations proposées. Le principe, simple, repose sur le fait que l’utilisateur est le seul à savoir exactement ce qu’il recherche et apprécie, il est donc le plus à même de juger de la pertinence des suggestions retournées par un système de recommandation. Partant de cette idée, les systèmes exploitant le retour de pertinence permettent de récupérer ces « jugements » utilisateurs et les exploitent pour améliorer et affiner les recommandations. Techniquement, l’idée est dans un premier temps de décomposer les contenus évalués par l’utilisateur en 2 groupes (vecteurs, clusters) D+ (contenus évalués positivement et pertinents) et D- (contenus évalués négativement et non pertinents). Par un procédé mathématique on calcule une moyenne (prototype) qui permet de déterminer le centre (centroid) de chacun des 2 groupes (vecteurs) D+ et D-. Lorsqu’un nouvelle requête est effectuée par l’utilisateur, les résultats à recommander sont pondérés en fonction des 2 groupes D+ et D-. C’est-à-dire, on ajoute au résutats de la requête la liste D+ et on soustrait (retire) la liste D-, le tout de façon pondérée. L’effet obtenu est que les résultats retournés se rapprochent à chaque itération un peu plus du centre (centroid) de la liste D+ des contenus évalués positivement par l’utilisateur. Avec cette technique, on voit qu’il est possible d’affiner la requête initiale des utilisateurs au fur et à mesure que ceux-ci fournissent des jugements de pertinence sur des documents consultés. Le système de recommandation est donc doté d’une boucle de retour qui permet au même système de reformuler des recommandations plus pertinente en favorisant ou écartant certains contenus.

Avantages et inconvénients

Avantage: ce type de recommandation objet n’a pas besoin d’une large communauté d’utilisateurs pour pouvoir effectuer des recommandations. Une liste de recommandations peut être générée même s’il n’y a qu’un seul utilisateur.

Inconvénients: certains attributs peuvent être extraits automatiquement d’un contenu, comme par exemple pour un document de texte, on peut relativement facilement déduire certaines propriétés sémantiques automatiquement. On voit aussi qu’en pratique, des caractéristiques et propriétés comme le genre d’un livre ou la liste des acteurs dans un film, sont généralement fournis pas les créateurs du livre ou du film et sont généralement offerts sous forme électronique. Ce qui reste plus problématique, c’est l’acquisition de caractéristiques subjectives et qualitatives… Des propriétés, comme par exemple le style, le design… peuvent difficilement être acquises automatiquement, et devront plutôt être introduites manuellement avec tout ce que ça implique, comme le coût, les éventuelles erreurs…

Recommandation Sociale

Recommander des choses sur la base du comportement passé des utilisateurs similaires, en effectuant une corrélation entre des utilisateurs ayant des préférences et intérêts similaires. On utilise des méthodes qui collectent et analysent des données sur le comportement, les activités, les préférences des utilisateurs et des algorithmes tentent de prédire ce que l’utilisateur aimera en cherchant des utilisateurs qui ont les mêmes comportements que l’utilisateur à qui l’on souhaite faire des recommandations. L’idée sous-jacente est de dire que si un personne A a la même opinion (ou les même goûts) qu’une personne B sur un objet x, alors la personne A a plus de chance d’avoir la même opinion que B sur un autre objet y, plutôt que d’avoir la même opinion que quelqu’un choisi au hasard pour l’objet y. L’idée de base est donc de dire que si des utilisateurs ont partagés des mêmes intérêts dans le passé, il y a de fortes chances qu’ils partagent aussi les mêmes goûts dans le futur.

Les techniques de recommandation sociale (filtrage collaboratif) sont classées en 2 sous-types:

  • memory-based
  • model-based

User-based nearest neighbor (user-centric / memory-based)

Les algorithmes de recommandation sociale utilisent généralement différentes variantes d’un mécanisme basé sur le voisinage proche (user-based nearest neighborhood approach). Dans cette approche, un nombre d’utilisateurs (peer users / nearest neighbors / plus proches voisins) est identifié et sélectionné sur la base de la similarité de leurs intérêts et préférences avec l’utilisateur actif. On utilise alors principalement les ratings (par ex: films) de ces utilisateurs “voisins” pour calculer des similarités avec l’utilisateur actif. Pour chaque produit p que l’utilisateur n’a pas encore vu, une prédicition est faite en se basant sur les ratings de p assignés par le panel d’utilisateurs voisins. Cette méthode suppose 2 conditions initiales (inconvénients):

  1. On assume que si des utilisateurs ont eu des goûts similaires dans le passé, ils auront aussi des goûts similaires dans le futur.
  2. Les préférences des utilisateurs restent stables et cohérentes dans le temps.

Pour bien comprendre, on peut imaginer un tableau ou matrice de ratings de films, avec sur un axe les utilisateurs et sur un autre les films. Chaque cellule de la matrice contient le rating donné par un utilisateur pour un film. Un signe “+” indique que l’utilisateur a aimé le film, un signe “-” qu’il ne l’a pas aimé, pas de signe signifie qu’il n’a pas d’avis particulier sur ce film. Pour pouvoir prédire si Ken apprécierait le film “Fargo” et éventuellement lui recommander ce film, on compare les ratings de Ken à ceux des autres utilisateurs sélectionnés. On peut alors voir que Ken et Mike ont des ratings identiques, et que Mike a aimé le film Fargo, on pourrait alors prédire que Ken aimera aussi ce film et lui faire cette suggestion (user-centric).

Au lieu de se baser uniquement sur l’utilisateur le plus semblable, la prédiction est normalement calculée à partir de la moyenne pondérée des ratings de plusieurs utilisateurs. Le poids donné au rating de chaque utilisateur est déterminé par le degré de corrélation entre cet utilisateur et l’utlisateur pour qui on désire faire la recommandation. Pour mesurer le degré de corrélation entre 2 utilisateurs, on fait appel généralement au coefficient de corrélation de Pearson r. D’autres indicateurs de mesure de la similarité ou proximité entre utilisateurs sont aussi utilisés comme la corrélation de Ringo, ou le coefficient de corrélation de Spearman. Le coefficient de corrélation de Pearson se calcule à partir des valeurs présentes dans la matrice et peut prendre une valeur allant de +1 (forte corrélation positive) à -1 (forte corrélation négative). Par exemple, un coefficient de corrélation 0.70 entre 2 utilisateurs indiquerait une bonne similarité de leurs intérêts. On introduit aussi souvent dans le calcul de la mesure de Pearson un facteur de pondération afin de prendre en compte et pondérer le fait que certains utilisateurs ont toujours tendance à donner seulement de bons ratings, ou que d’autres ne vont jamais donné le rating maximum à un produit.

Les systèmes de recommandation doivent généralement aussi gérer un grand nombre d’utilisateurs. Faire des recommandations à partir des ratings de millions d’utilisateurs peut avoir de sérieuses implications en termes de performance. Ainsi, qua

nd le nombre d’utilisateurs atteint un certain seuil, une sélection des “meilleurs” voisins doit être faite. Pour déterminer quels sont les voisins les plus pertinents à sélectionner, on utilise généralement l’algorithme du k-nearest neighbor (k-NN) qui permet de sélectionner seulement les k meilleurs voisins ayant la plus haute valeur de corrélation. Une autre approche (correlation-thresholding) serait de sélectionner seulement les voisins possédant une corrélation plus grande qu’un certain seuil. Le problème dans ces deux approches réside dans le fait de sélectionner le bon nombre k d’utilisateurs voisins à prendre en compte ou de déterminer la bonne valeur du seuil de corrélation. Si le nombre k est trop petit ou si le seuil de similarité est trop élevé, le nombre d’utilisateurs voisins pris en compte sera trop réduit pour effectuer une bonne prédiction (problème du reduced coverage/couverture réduite). Dans le cas contraire, lorsque que k est trop élevé ou que le seuil est trop faible, l’ensemble du panel de voisins est trop large (trop d’utilisateurs avec un degré de similarité limité), ce qui amène du bruit additionnel dans les prédictions. Plusieurs travaux et situations réelles ont montré qu’un panel composé de 20 à 50 voisins donne de bons résultats.

On n’est pas non plus limités aux ratings ou like/dislike, on peut aussi se baser sur des données plus implicites en observant le comportement de l’utilisateur sur le site, par opposition à la récolte de données explicite comme l’est le rating. On peut observer par exemple quelle musique il a écouté, quel article il a lu, et on croise ses infos avec celles du reste des utilisateurs afin de lui proposer de nouvelles suggestions.

La recommandation sociale user-centric a cependant ses limites. Lorsqu’il s’agit d’un gros site qui gère des millions d’utilisateurs et un catalogue de milliers de produits, il faut scanner un grand nombre de voisins potentiels, ce qui rend impossible la recommandation en temps réel. Pour palier ce problème, les gros sites implémentent souvent une technique différente plus apte au traitement préalable des données hors-ligne (offline preprocessing), la recommandation sociale item-centric (à ne pas confondre avec la recommandation objet).

Item-based nearest neighbor (item-centric / model-based)

Cette autre approche, appelée aussi item-to-item, propose une inversion de l’approche user-based nearest neighbor. Au lieu de mesurer la corrélation entre des utilisateurs, les ratings sont utilisés pour mesurer la corrélation entre les contenus (films), en s’aidant toujours du coefficient de corrélation de Pearson, mais cette fois-ci appliqué au contenu. Si par exemple les ratings des deux films “Fargo” et “Pulp Fiction” ont une parfaite corrélation, c’est-à-dire qu’ils ont reçu les mêmes ratings (positif, négatif ou nul) de la part des utilisateurs, on peut ainsi prédire que Ken aimera le film “Fargo” car il a aimé “Pulp Fiction” (les ratings des utilisateurs sur ces deux films sont parfaitement corrélés).

Pour le dire autrement, l’approche item-centric propose de rechercher en premier lieu des contenus similaires et ensuite de faire une recommandation à l’utilisateur. Cette approche permet de faire un traitement préalable sur la matrice pour déterminer les contenus similaires et ainsi pouvoir effectuer des prédictions en temps réel, contrairement à l’approche user-centric très gourmande en mémoire.

Autant le coefficient de corrélation de Pearson est très utilisé pour déterminer des utilisateurs similaires (cas de la recommandation sociale user-centric), dans l’approche item-centric, on utilise plutôt comme indicateur de mesure de similarité entre items un autre indicateur qu’on appelle de similarité cosinus ajustée. Les valeurs possibles pour cet indicateur vont comme dans le cas de mesure de Pearson de +1 (forte similarité positive) à -1 (forte similarité négative). Une fois que la similarité entre les items a été établie à l’aide de la similarité cosinus ajustée, on peut alors prédire un rating pour un item grâce aux ratings effectués par l’utilisateur sur les items similaires.

Dans l’approche item-centric, l’idée est donc de construire à l’avance la matrice de similarité entre items. Et en temps réel, on peut facilement ensuite déduire la prédiction de recommandation (le rating) d’un produit pour un utilisateur actif en déterminant depuis la matrice déjà construite quels sont les produits les plus similaires, et en calculant la valeur moyenne de ratings sur ces produits effectués par les utilisateurs voisins.

Avantages et inconvénients

Avantage:  L’approche purement de recommandation sociale n’exploite pas ou ne demande aucune connaissance sur les contenus eux-même. Par exemple, dans le cas d’un magasin de vente de livres en ligne, le système de recommandation collaboratif n’a pas besoin de savoir le type de contenu du livre, son genre, qui en est l’auteur, etc… Pas besoin de se baser sur l’analyse des propriétés intrinsèques d’un livre ou d’un contenu, la recommandation sociale est capable de recommander des contenus sans avoir besoin de comprendre le sens ou la sémantique du contenu lui-même. Les informations propres au livre n’ont pas besoin d’être introduite dans le système.

Inconvénients:

  • Scalability: souvent, les plate-formes sur lesquelles sont utilisés les filtres collaboratifs ont des millions d’utilisateurs, de produits et contenus. Ça demande donc beaucoup de puissance de calcul pour pouvoir proposer des suggestions aux utilisateurs. La recommandation sociale de type user-centric est aussi appelée memory-based, car la base de données des ratings est maintenue en permanence en mémoire dans le serveur et utilisée directement pour générer des recommandations à l’utilisateur actif. Bien que cette approche memory-based soit théoriquement plus précise, car elle a disposition en permanence et en temps réel toutes les données pour générer les recommandations, elle souffre de problèmes de scalability pour des bases de données de millions d’utilisateurs et de millions de contenus. Dans une approche item-centric ou model-based, les données sont préalablement traitées hors-ligne. Ensuite lors de l’exécution de l’application ou service web, le modèle “appris” ou pré-traité sera utilisé pour effectuer les prédictions. L’approche model-based permet d’éviter le problème de scalability.
  • Cold Start: les systèmes de recommandation sociale ont besoin de beaucoup de données et beaucoup d’utilisateurs pour être performants. Le lancement d’un service de recommandation peut souffrir au début du manque d’utilisateurs et d’informations sur ceux-ci.
  • Sparsity (Rareté): le nombre de produits ou contenus est énorme sur certaines plates-formes, et même les utilisateurs les plus actifs auront noté ou valorisé qu’un tout petit sous-ensembe de toute la base de données. Donc, même l’article le plus populaire n’aura que très peu de bonnes notes. Dans une telle situation, deux utilisateurs auront peu d’articles valorisés en commun, ce qui rend plus difficile la tâche de corrélation. C’est une situation qu’on retrouve lorsque le système dispose d’un ratio élevé de contenu par rapport aux utilisateurs, et qu’on retrouve aussi souvent au stade initial du lancement du service de recommandation, ce qui nous ramène au problème de cold start (qui peut être vu comme un cas spécial du problème de rareté).

Recommandation Hybride

Une combinaison des trois approches ci-dessus. Les méthodes hybrides sont de plus en plus utilisées, car elle permettent de résoudre des problèmes comme le cold start et la sparsity (rareté) qu’on retrouve dans une approche de recommandation uniquement sociale. D’autre part, si par exemple on considère 2 utilisateurs avec les mêmes goûts mais qui n’ont pas évalué ou “raté” des objets en commun, un filtrage collaboratif pur ne les considérera pas comme similaires ou voisins. Rappelons que la mesure de similarité standard ne prend en compte que les éléments pour lesquels l’utilisateur actif et l’utilisateur à comparer ont effectué un rating. L’idée est alors de pouvoir assigner une valeur par défaut aux éléments qui ont été “ratés” seulement par un des deux utilisateurs, afin d’améliorer la qualité de prédiction en cas de rareté (sparsity). En appliquant préalablement un algorithme de recommandation objet sur les contenus pour en exploiter leurs descriptions et caractéristiques, accompagné ensuite d’un algorithme de recommandation sociale pour effectuer les recommandations peut aider à résoudre ces limitations. Autrement dit, pour les cas de rareté (sparsity), lorsque peu d’items ont été évalués par les utilisateurs et qu’un filtrage collaboratif n’est pas possible, ce qu’on fait, c’est qu’on assigne en premier lieu un pseudo-rating ou vote artificiel par défaut à l’utilisateur sur les contenus disponibles en utilisant préalablement un algorithme objet, puis on applique ensuite sur la matrice (contenant peu de vrais rating et beaucoup de pseudo-ratings) un filtrage collaboratif.

Exemples:

Amazon utilise les 3 approches (personnalisée, sociale et objet). Amazon possède un système très sophistiqué, les recommandations sont d’une part personnalisées en se basant sur le comportement individuel passé de l’utilisateur (historique de navigation et historique d’achat), et d’autre part Amazon utilise aussi les caractéristiques de l’article lui-même (recommandation objet) et les comportements d’autres personnes (recommandation sociale). Tous ceux qui ont déjà fait un achat sur Amazon ont probablement dû lire le message de la part d’Amazon qui nous dit “les gens qui ont acheté x ont aussi acheté y“.  Cette approche est tout simplement l’approche item-based nearest neighbor (item-centric ou item-based collaborative filtering) qu’on a décrit auparavant. Il semblerait que le système de recommandation d’Amazon représente plus du 30% du CA global de la société (en 2009)!

Recommandation Amazon

Amazon Recommendation System

Netflix est aussi un bon exemple de système hybride. Il propose des recommandations en comparant les habitudes de visionnage des films d’utilisateurs similaires (recommandation sociale) et suggère aussi des films qui partagent des caractéristiques avec des films que l’utilisateur a noté positivement (recommandation objet).

Google, lui se focalise aussi sur une combinaison de 3 approches pour améliorer son produit phare qui est son moteur de recherche:
  • Recommandation Personalisée:
    • Google customise nos résultats de recherche, quand cela est possible, en se basant sur notre localisation et/ou nos dernières recherches.
    • Lorsqu’on est connecté à notre compte Google, il propose un contenu encore plus pertinent en fonction de notre historique de recherche.
  • Recommandation Sociale:
    • L’algorithme du PageRank est de manière intrinsèque un outil basé sur de la recommandation sociale dans la mesure ou il utilise les liens entre les pages web.
    • L’utilisation de contenus provenant de nos cercles de Google+ est aussi une forme de recommandation sociale.
  • Recommandation Objet
    • Google utilise aussi une approche sémantique pour sa fonction « Did you mean » de son moteur de recherche.

Pandora vs Last.fm

La différence entre les approches de recommandation objet et de recommandation sociale (collaborative) peut être illustrée en comparant deux services de radio en ligne que sont Pandora (seulement disponible aux USA) et Last.fm.

Pandora utilise principalement une approche de recommandation objet. Le système se base sur les propriétés de la chanson et/ou de l’artiste, c’est à dire il décompose dans un premier temps les morceaux de musique afin de mettre en évidence ses propriétés intrinsèques. Chaque morceau de musique disposerait de plus de 400 attributs, permettant de déterminer une sorte de code génétique de la chanson (Music Genome Project). En comparant les propriétés similaires entre différents morceaux, le système arrive alors à nous proposer de nouvelles chansons à écouter, c’est-à-dire une sorte de station radio qui diffuse de la musique avec des propriétés susceptibles de correspondre à nos goûts. L’utilisateur peut ensuite indiquer s’il aime ou pas le morceau en écoute, et permet ainsi à Pandora d’affiner son filtre de recommandation en privilégiant (ou pas) certains attributs selon l’information venue en retour de l’utilisateur.

Recommandation Pandora

Last.fm lui utilise un filtre de recommandation sociale (collaborative). Le service crée une station de radio personnalisée en observant quels sont les groupes, artistes et chansons que l’utilisateur a écouté régulièrement et les compare avec les comportements d’écoute d’autre utilisateurs. Last.fm va alors proposer des morceaux fréquemment écoutés par des utilisateurs ayant des goûts similaires.

 Last.fm
Chaque type d’approche a ses avantages et inconvénients. En l’occurrence Last.fm requiert beaucoup d’information sur les habitudes d’écoute des utilisateurs afin de produire un système de recommandation efficace (problème du cold start). Pandora lui au contraire a besoin de très peu d’information sur l’utilisateur pour démarrer une radio personnalisée, mais doit disposer d’une base de données gigantesque sur le “génome” de chaque chanson.

Netflix Prize

De 2006 à 2009, Netflix a parrainé un concours, le Netflix prize, offrant un prix de $1’000’000 à celui qui à partir d’un set de données de plus de 100 millions de ratings de films pourrait offrir des recommandations 10% plus précises que celles générées par le système original de la compagnie Netflix. Le 21 septembre 2009, le prix a été attribué à une équipe appelée  BellKor’s Pragmatic Chaos. Les gagnants avaient misé sur un mélange de centaines d’approches algorithmiques et méthodes prédictives qui réunies ensemble permettent d’être plus performant dans la prédiction. La solution la plus performante semble donc bien s’appuyer sur un ensemble de méthodes algorithmiques plutôt que sur le raffinement et l’optimisation d’une seule technique spécifique.

Pour l’anecdote, le Netflix prize n’a pas été renouvelé en 2010, car malgré le fait que le set de million de données fournies aux participants du concours aient été rendues anonymes pour préserver l’identité des clients, deux chercheurs de l’Université du Texas ont été capables d’identifier des utilsateurs présents dans le set de données utilisé lors du concours en associant et croisant ces données avec des ratings de films soumis sur l’Internet Movie Database (IMDb). Il s’en est suivi qu’en décembre 2009, un des utilisateurs anonymes du set de données a poursuivi Netflix pour violation de la législation américaine en terme de confidentialité.

Efficacité d’un algorithme de recommandation

On a vu que la recommandation sociale (filtrage collaboratif) a l’avantage contrairement à la recommandation objet de permettre d’effectuer des prédicitions même lorsqu’il y a peu de information associée au contenu à recommander ou lorsque que le contenu est difficile d’analyser automatiquement (idées, opinions…) Mais la recommandation sociale souffre aussi d’inconvénients comme le cold start et le problème de rareté (sparsity).

Evaluer l’efficacité des algorithmes de recommandation est loin d’être trivial. En premier lieu, parce que différents algorithmes peuvent être meilleurs ou moins bons en fonction du set de données sélectionné et sur lequel ils sont appliqués. D’autre part, les objectifs fixés par un système de recommandation peuvent être divers et variés. Un système de recommandation peut être mis en place pour estimer avec exactitude la note que donnerait un utilisateur à un élément, alors que d’autres auront comme objectif principal de ne pas proposer des recommandations erronées.

On peut donc légitimement se demander jusqu’à quel point ces différentes méthodes de recommandation sont réellement efficaces. Pour déterminer l’efficacité d’un système, des indicateurs comme la précision et le recall sont utilisés.

La précision est un indicateur qui représente la qualité de la recommandation, c’est-à-dire à quel point les suggestions proposées sont conformes aux intérêts de l’utilisateur:

précision = nbre de suggestions pertinentes / nbre de suggestions

Le recall indique combien de suggestions pertinentes ont été recommandées à l’utilisateur par rapport au nombre total de suggestions pertinentes disponibles dans le système.

recall = nbre de suggestions pertinentes proposées à l’utilisateur / nbre de suggestions pertinentes totale

L’indicateur de précision permet de déterminer la probabilité qu’un élément recommandé soit pertinent.

L’indicateur de recall permet de déterminer la probabilité qu’un élément pertinent soit recommandé.

On utilise aussi des techniques statistiques pour mesurer l’efficacité d’un algorithme de recommandation. L’idée c’est d’évaluer la précision de la prédiction effectuée par le système en comparant les prédicitions avec les choix qu’aurait fourni l’utilisateur dans un cas réel. On utilise par exemple lErreur Moyenne Absolue (MAE) qui mesure la déviation des recommandation prédites avec les choix réels effectués par les utilisateurs. Plus l’erreur moyenne absolue est faible, meilleure est la prédicition.

Pour conclure, la meilleure mesure de l’efficacité d’un algorithme de recommandation et de la pertinence des suggestions c’est finalement la satisfaction de l’utilisateur, qui n’est pas toujours facile à bien identifier.

Sources:

http://www.readwriteweb.com/archives/recommendation_engines.php

http://fr.wikipedia.org/wiki/Syst%C3%A8me_de_recommandation

http://en.wikipedia.org/wiki/Recommender_system

http://en.wikipedia.org/wiki/Collaborative_filtering

http://recommender-systems.org/

http://www.it.uc3m.es/jvillena/irc/descarga.htm?url=practicas/06-07/31.pdf

http://www.docstoc.com/docs/35703482/Top-N-Recommendation-Algorithm-B

http://www.cs.utexas.edu/users/ml/papers/cbcf-aaai-02.pdf

http://www.amazon.es/Recommender-Systems-Introduction-Dietmar-Jannach/dp/0521493366

iTunes store et la politique des petits nombres

Capture d’écran 2015-03-27 à 16.10.58

Dans notre série « meilleurs blogs consacrés à la musique, à son écoute et à sa consommation », voici Electron Libre – « malheureusement » seulement accessible par abonnement – où officie notamment l’excellent Philippe Astor, probablement le journaliste spécialisé français le plus averti en matière de musique et de numérique et capable d’articuler la dimension économique à la dimension de l’innovation technologique. L’article reproduit ci-dessous en guise d’exemple porte sur les modes de calculs des ventes sur la plateforme iTunes et leur impact sur la visibilité des indépendants face aux majors, dans un univers qui semble encore et toujours structuré comme une oligopole à franges…

Dans un ouvrage qui fait désormais figure de classique (La politique des grands nombres, coll. Textes à l’appui, éd. La Découverte), Alain Desrosières montre comment la statistique ne se réduit pas à une discipline mathématique mais en quoi elle est également une activité administrative qui procède d’une histoire sociale. En d’autres termes, la statistique n’est pas donnée en soi, ne contient pas intrinsèquement ses propres règles, ne tire pas sa raison d’elle-même, mais est bien le produit d’une histoire, de rapports de forces et d’arbitrages que des controverses, par exemple sur la définition d’une moyenne, illustrent fort bien.

Cette politique des grands nombres – autrement dit l’idée selon laquelle les usages des mathématiques ont aussi à voir avec le social et le performent – trouve une illustration dans l’article reproduit ci-dessous : on y voit que selon le type de calcul retenu  sur la plateforme iTunes, les majors se trouvent en position avantageuses, dans un système où la visibilité influe directement sur les ventes. Comme le rappelle un commentaire : « C’est l’effet Top 50. Il suffit de vendre beaucoup de m*** pour que tout le monde (enfin, tous les pigeons) imagine que c’est d’la bonne cam’… Ou l’art de confondre quantité avec qualité. Cela dit, « Indies » est aussi un terme marketing : un autre moyen de vendre. Rien que du business ».

 

Apple corrige les classements de musique d’iTunes

Florian Innocente | 4 mars 2015 | 23:11 |  (http://electronlibre.info/)

Dans la salle des machines de l’iTunes (Music) Store, Apple procède parfois à des changements sur lesquels elle revient par la suite. Billboard explique que les équipes d’iTunes ont satisfait aux demandes exprimées il y a quelques jours par des labels indépendants.

Les singles et albums qui apparaissent dans les différents carrousels sur la page principale d’iTunes étaient sélectionnés un peu moins par les équipes du service qui font un travail éditorial et un peu plus par un algorithme basé sur la vitesse à laquelle un titre se vend. L’effet retors de cette dernière approche est qu’elle pouvait bénéficier surtout aux grandes maisons de disques, reléguant les indépendants à une place bien moins visible, et ce d’autant plus que cette formule actualise le carrousel très vite, toutes les 90 minutes.

Billboard raconte qu’un gros travail de nettoyage a commencé il y a un an dans le catalogue d’iTunes et que ce mécanisme faisait partie des nouveautés mises en place depuis la fin 2014. D’après les retours obtenus par le site spécialisé, Apple a revu à la baisse l’influence de son algorithme. Les indés conservent par ailleurs une place non négligeable dans les différents étages de cette page. Dans la toute première et grosse rangée par exemple, les indés pèsent pour 40% de contenus affichés et 50% dans la rangée des nouvelles sorties, placée juste en dessous.

Autre recul constaté, la manière dont les albums en précommande peuvent affecter les classements. Précédemment, lorsqu’un artiste mettait son prochain opus en précommande, les pré-ventes enregistrées servaient de fusée d’appoint pour faire grimper son album en tête du classement, une fois la disponibilité effective. Apple a changé son fusil d’épaule, maintenant les performances de l’album ne reposent que sur les ventes réalisées au jour de la commercialisation réelle. Une modification qui n’est pas anodine, explique un cadre, car les tops d’iTunes sont autrement plus scrutés par les professionnels que ceux de Spotify ou Google Play Music. Et tout bouleversement a des conséquences auxquelles il faut s’habituer.

S’agissant du nettoyage dans le fond du catalogue, il s’agit par exemple des karaokés, des reprises de titres tombés dans le domaine public (ce peut être un hit historique tel le Love me do des Beatles) ou des ribambelles d’albums d’hommage qui sont passés à la trappe. Des milliers de disques auraient été ainsi retirés pour améliorer la qualité du catalogue et éviter que des clients ne se laissent abuser.

Là aussi, des labels s’en sont émus, certaines disparitions étant inexplicables car le disque conforme à la charte édictée par Apple. Mais les équipes d’iTunes sont à l’écoute et réceptives pour corriger une erreur, tempère un responsable. Une explication à certaines suppressions est avancée : en prévision de l’arrivée de son service de streaming, Apple souhaite écarter des singles ou albums où la répartition des ayants droit est incomplète, en attendant que la situation se régularise.

 

 

« Music Industry Blog » : un blog sur l’économie de l’industrie musicale

 

 

Capture d’écran 2015-03-26 à 19.19.37

Premier dans la liste des blogs que cette rubrique a vocation à présenter, le site « Musicindustryblog ». Véritable mine de renseignements, ce blog propose une analyse économique et une veille de très grande qualité- parfois avec un grand sens de l’humour –  sur les mutations du secteur, comme en atteste l’article ci-dessous, sélectionné parmi bien d’autres…

What The Music Industry Can Learn From The Beer Industry

Over the next few weeks I will be writing a series of posts that illustrate what lessons the music business can heed from other industries. This is the first of these posts. Beer sales have been in steady decline for many years with the big brewers coming to terms with changing consumption habits of consumers and the impact of disruptive new models. Sound familiar? The dynamics of the beer industry bear remarkable similarity to the recorded music business and there are some lessons that can be learned. Beer sales have been declining since 2008 with the core baby boomer consumer base changing consumption habits and drinking more hard liquor and wine. In the UK the amount of beer drunk has fallen by 20% over the last 10 years while US beer sales have been falling since 2008. The number of new breweries went into decline and after years of acquisitions and mergers the bigger-than-ever brewers started to feel the pinch. Again the parallels are clear. The Rise Of Craft Beers Against this doom laden backdrop there has been a standout good news story: craft brewing and micro breweries. Predominately small independent brewers this market segment has been growing strongly, albeit from a small base, in the last few years. Craft beer sales in the US grew by 10% in 2012, 17% in 2013 and 18% in 2014. In fact 2014 was the year that craft beers broke through to double digit market share (11%) for the first ever time. Craft beers are catering for a market of discerning drinkers, whether they be hipsters or real ale purists, who are willing to pay more for quality and uniqueness. Craft beer is like the music industry’s indie sector and vinyl sales rolled into one. Big Brewers Get In On The Act What gets interesting is that the big brewers are realising that if you can’t beat them then you need to join them. So the craft beer growth is not just down to plucky little cottage industries but also the big brewers opening their own micro breweries and creating their own craft ales. In fact some mid sized brewers have gone one step further and stopped producing their own mainstream beer brands, instead having them brewed on license by the big brewers, allowing them to focus on craft ales. The margins on an increasingly commoditised market simply don’t add up unless you can bring vast scale to bear. So the similarities are clear. But there are differences in all this too. I was careful to emphasise that craft beer is like an amalgamation of vinyl and indie. It is both a product strategy pivot and a business culture pivot. What the beer industry is realising is that while there remains a mainstream majority that will continue to drink mainstream beers, the economics of that sector are challenged which means that it is hard to bear the effect of even modest negative trends. The beer industry hasn’t gone out and started finding its equivalent of playing live and selling t-shirts, instead it has looked at how to reinvent its core product to make it relevant to the new generation of its most valuable customers.    And the effects are beginning to be felt at a market level. Beer consumption actually grew by 1% in 2014 in the UK and US sales were up 0.5%. Reinvent The Product Not Just The Sales Channel This is what needs to happen with recorded music, not just reinventing the sales and acquisition channel (which is fundamentally what the entire history of digital music sales has been about). The beer aficionado and the music aficionado are more important to their respective industries now than they have ever been and this will only increase. The beer industry is dragging itself out of recession by super serving its super fans. Artists have been doing the same for years with the likes of PledgeMusic, BandPage and now Paetron. Now it is time for the labels and music services to do the same by working together to create a new generation of music products, such as that I laid out the vision for here.  But this must also be part of a cultural shift, from treating the artist as employee to that of an agency – client relationship, a model that many label services and indie labels are already pursuing. Of course the recorded music industry has to grapple with other extenuating factors such as the contagion of free and competition for spend from live. But even with these considerations, it is clear that music industry now needs to find its craft beer.