Com us dirà qualsevol persona que hagi tingut alguna relació, les emocions humanes són un concepte complicat. Això és especialment cert per als professionals del màrqueting que intenten comprendre els avantatges qualitatius (el valor que va més enllà de la funcionalitat bàsica) del seu producte o servei. No és difícil entendre què fa el vostre producte, però sabeu com els sentiu als vostres consumidors?



Si fes servir l'anàlisi del sentiment d'escolta social per destil·lar les reflexions no filtrades de les xarxes socials del públic objectiu en estadístiques estratègiques accionables. Prenent tots els fitxers dades socials disponibles a Twitter i classificar-lo per un sentiment positiu, negatiu o neutral és una empresa important i no es creen dos mètodes iguals. Per això, HASHTAGS va construir un sistema d’anàlisi de sentiments híbrids que combina els dos enfocaments principals, les llistes de regles i l’aprenentatge automàtic.



Llistes de regles

Una de les maneres més senzilles d’afrontar l’anàlisi del sentiment és mitjançant l’ús de regles o diccionaris creats per humans. Amb aquest enfocament, el sistema es basa en una llista de paraules o frases que mapen directament a un sentiment específic. Per exemple, qualsevol tuit que contingui la paraula 'cinc alt' pot ser etiquetat com a positiu, mentre que un tuit que conté 'horrible' seria negatiu. Sistemes com aquest són molt personalitzables i es poden ampliar per incloure milers de regles de paraules i frases.

A l’inconvenient, els sistemes de regles lluiten amb tuits que coincideixen amb regles contradictòries, com ara 'La pel·lícula no va ser tan horrible com anticipava'. Aquí, 'horrible' es podria etiquetar com a negatiu, mentre que 'anticipat' seria positiu. Les normes contradictòries etiqueten el Tweet com a neutral, mentre que alguns lectors humans ho interpretarien com a lleugerament positiu i d'altres, lleugerament negatiu.

Una limitació addicional dels sistemes basats en regles és la dependència de l’esforç i la comprensió humana. El llenguatge evoluciona ràpidament (sobretot a Twitter) i un sistema basat en regles requereix que algú proporcioni un flux constant de termes i frases nous. L’actualització d’un sistema de sentiment no sempre és una prioritat i un sistema pot quedar obsolet ràpidament. Fins i tot amb un seguiment vigilant, pot ser difícil identificar les tendències canviants de l’idioma i determinar quan cal afegir noves regles.

Aprenentatge automàtic

Utilització de sistemes d’anàlisi de sentiments més avançats Aprenentatge automàtic Tècniques (ML) (de vegades també anomenades intel·ligència artificial o Processament del llenguatge natural ). L’aprenentatge automàtic és una família de tècniques que utilitzen estadístiques i probabilitats per identificar patrons complexos que es poden utilitzar per etiquetar elements.

A diferència dels sistemes basats en regles, els sistemes de ML són prou flexibles per detectar similituds que no són aparents immediatament per a un ésser humà. En mirar molts i molts exemples, el sistema aprèn patrons que normalment s’associen a sentiments positius, negatius o neutres.



744 número d’àngel

Per exemple, un sistema d'anàlisi del sentiment ML pot trobar que els tuits que contenen la paraula 'pluja' i acaben amb un signe d'admiració són negatius, mentre que els tuits amb 'pluja' i dos punts d'exclamació són positius. És possible que un ésser humà no noti aquest patró ni entengui per què es produeix, però un sistema de ML pot utilitzar-lo per fer prediccions molt precises.

Tot i que els sistemes d’aprenentatge automàtic poden produir excel·lents resultats, tenen algunes deficiències. Quan hi ha molta varietat en el llenguatge, pot ser difícil que un sistema ML analitzi el soroll per seleccionar patrons. Quan existeixen patrons forts, poden eclipsar patrons menys habituals i fer que el sistema ML ignori les pistes subtils.

Sprout’s Approach

Per construir el nostre sistema d’anàlisi de sentiments, hem dissenyat un sistema híbrid que combina el millor dels enfocaments basats en regles i d’aprenentatge automàtic. Vam analitzar desenes de milers de tuits per identificar llocs on els models de ML tenen dificultats i vam introduir estratègies basades en regles per ajudar a superar aquestes deficiències.



Complementant els models estadístics amb la comprensió humana, hem creat un sistema robust que funciona bé en una àmplia varietat de configuracions.

anàlisi del sentiment brot

Tot sobre l'exactitud

A la superfície, l’anàlisi del sentiment sembla bastant senzill: només cal decidir si un tuit és positiu, negatiu o neutral. El llenguatge i les emocions humanes són complicats, però, i detectar sentiment en un tuit reflecteix aquesta complexitat.

àngels número 34

Penseu en aquests tweets. Són positius, negatius o neutres?

https://twitter.com/alex/status/917406154321420289

És possible que tingueu confiança en les vostres respostes, però és probable que no tothom estigui d’acord amb vosaltres. La investigació ha demostrat que la gent només està d'acord en el sentiment dels tuits 60-80% del temps.

Podríeu ser escèptics. També ho vam ser.

Per provar-ho, dos membres del nostre equip de Data Science van etiquetar exactament el mateix conjunt de 1.000 tuits com a positius, negatius o neutres. Vam pensar que “treballem cada dia amb tuits; probablement tindrem un acord quasi perfecte entre tots dos '.

Vam calcular els resultats i després els vam comprovar per doble i triple. La investigació es va fer al moment; només vam acordar el 73% dels tuits.

Reptes en l'anàlisi del sentiment

La investigació (juntament amb el nostre petit experiment) demostra que l'anàlisi del sentiment no és senzill. Per què és tan complicat? Passem per alguns dels reptes més importants.

Context

Els tuits són una petita instantània en el temps. Tot i que alguns estan sols, els tuits sovint formen part d’una conversa o informació de referència en curs que només té sentit si coneixeu l’autor. Sense aquestes pistes, pot ser difícil interpretar els sentiments d’un autor.

Sarcasme

La detecció de sarcasme és un altre sabor del repte contextual. Sense informació addicional, els sistemes d’anàlisi de sentiments sovint confonen el significat literal de les paraules amb la forma en què estan pensades. El sarcasme és una àrea activa d’investigació acadèmica, per la qual cosa és possible que en un futur pròxim vegem sistemes que entenen l’esbarjo.

Comparacions

El sentiment també es fa complicat quan els tuits fan comparacions. Si estic realitzant estudis de mercat sobre verdures i algú amb tuits, 'Les pastanagues són millors que la carbassa', aquest tuit és positiu o negatiu? Depèn de la vostra perspectiva. De la mateixa manera, algú podria tuitejar: 'L'empresa A és millor que l'empresa B.' Si treballo per a l’empresa A, aquest tuit és positiu, però si soc amb l’empresa B, és negatiu.

Emojis

Els emojis són un idioma propi . Tot i que els emojis expressen un sentiment força evident, d’altres són menys universals. Tot construint el nostre sistema d’anàlisi de sentiments, vam examinar amb atenció com la gent utilitza els emojis, trobant que fins i tot els emojis més comuns poden causar confusió. s’utilitza gairebé igualment per significar 'tan feliç que ploro' o 'tan trist que ploro'. Si els humans no podem posar-nos d’acord sobre el significat d’un emoji, tampoc un sistema d’anàlisi del sentiment.

Definició de neutre

Fins i tot el sentiment 'neutral' no sempre és senzill. Penseu en un titular de notícies sobre un fet tràgic. Tot i que coincidiríem que l’esdeveniment és terrible, la majoria de titulars de notícies volen ser declaracions fets i informatius. Els sistemes d’anàlisi de sentiments estan dissenyats per identificar l’emoció de l’autor del contingut, no la resposta del lector. Tot i que pot semblar estrany veure terribles notícies etiquetades com a 'neutrals', reflecteix la intenció de l'autor de comunicar informació de fet.

el 411 que significa

Els sistemes d’anàlisi de sentiments també varien en la forma en què es defineix el neutre. Alguns consideren que el neutral és una categoria generalitzada per a qualsevol Tweet on el sistema no pugui decidir entre positiu o negatiu. En aquests sistemes, 'neutre' és sinònim de 'no estic segur'. En realitat, però, hi ha molts tuits que no expressen emoció, com ara l’exemple següent.

El nostre sistema classifica explícitament els tuits no emocionals com a neutres, en lloc d’utilitzar-los com a etiqueta predeterminada per als tuits ambigus.

Avaluació de l'anàlisi del sentiment

Amb tants desafiaments en l’anàlisi del sentiment, val la pena fer els deures abans d’invertir en una nova eina. Els proveïdors intenten ajudar a solucionar les complexitats centrant-se en les estadístiques sobre la precisió del seu producte. Tanmateix, la precisió no sempre és una comparació de pomes a pomes. Si teniu previst utilitzar la precisió com a pal de mesura, aquí teniu algunes coses que us hauríeu de preguntar.

La precisió reportada és superior al 80%?
Com que els humans només estem d'acord entre el 60-80% de les vegades, no hi ha manera de crear un conjunt de dades de prova que tothom accepti que contingui les etiquetes de sentiment 'correctes'. Pel que fa al sentiment, 'correcte' és subjectiu. Dit d’una altra manera, no hi ha un patró d’or que s’utilitzi en la precisió de les proves.

El límit superior de la precisió d’un sistema d’anàlisi de sentiments sempre serà l’acord a nivell humà: aproximadament el 80%. Si un venedor reclama més del 80% de precisió, és una bona idea ser escèptic. La investigació actual suggereix que fins i tot el 80% de precisió és poc probable; els millors experts en la matèria solen aconseguir precisions a mitjans dels anys 60.

Quantes categories de sentiment es preveuen?
Alguns proveïdors avaluen la precisió només als tuits que els avaluadors humans han identificat definitivament com a positius o negatius, excloent tots els tuits neutres. És molt més fàcil que la precisió d’un sistema aparegui molt alta quan es treballa amb tuits fortament emocionals i només dos resultats possibles (positius o negatius).

En llibertat, però, la majoria de tuits són neutres o ambigus. Quan un sistema només s’avalua en positiu i en negatiu, és impossible saber fins a quin punt el sistema fa front als tuits neutres, la majoria del que realment veureu.

Quins tipus de tuits s’inclouen al conjunt de proves?
S'hauria de construir i provar un sistema d'anàlisi del sentiment en tuits que siguin representatius de les condicions del món real. Alguns sistemes d’anàlisi de sentiments es creen mitjançant tuits específics de domini que s’han filtrat i netejat per facilitar la comprensió d’un sistema.

Per exemple, és possible que un proveïdor hagi trobat un conjunt de dades preexistent que només inclogui tuits molt emocionals sobre la indústria aèria, amb qualsevol correu brossa o tuits fora del tema exclosos. Això faria que la precisió fos elevada, però només si s’utilitza en tuits molt similars. Si esteu treballant en un domini diferent o si rebeu tuits fora del tema o brossa, veureu una precisió molt inferior.

Quina mida tenia el conjunt de dades de prova?
Els sistemes d’anàlisi del sentiment s’han d’avaluar en diversos milers de tuits per mesurar el rendiment del sistema en molts escenaris diferents. No obtindreu una mesura real de la precisió d’un sistema quan només es provi un sistema amb uns quants centenars de tuits.

Aquí, a Sprout, hem construït el nostre model sobre una col·lecció de 50.000 tuits extrets d’una mostra aleatòria de Twitter. Com que els nostres Tweets no són específics de domini, el nostre sistema d’anàlisi de sentiments té un bon rendiment en una àmplia gamma de dominis.

A més, fem prediccions separades per a categories positives, negatives i neutres; no només apliquem neutralitat quan fallen altres prediccions. La nostra precisió es va provar en 10.000 tuits, cap dels quals es va utilitzar per construir el sistema.

Consulteu Sprout’s Sentiment Analysis en directe amb els oients

Tota la investigació del món no és un substitut per avaluar un sistema de primera mà. Proveu el nostre nou sistema d’anàlisi de sentiments en el nostre nou conjunt d’eines d’escolta social, Oients , i vegeu com us funciona. En última instància, la millor eina d’escolta social és la que satisfà les vostres necessitats i us ajuda a obtenir més valor social. Deixeu-nos ajudar-vos a començar avui mateix.

Comparteix Amb Els Teus Amics:

949 significat espiritual