Comments sections and social networks across the web are littered with antisocial users who repeatedly abuse and provoke people to get a reaction. These so-called 'trolls' have even been known to cause mental distress to their victims. But now a team of researchers has studied millions of such online posts to identify common traits among these users. And it has built an algorithm that can recognise a potential troll with an accuracy of 80 per cent by scanning their comments. Experts studied 40 million posts by 1.7 millions users on news site CNN.com, political news site Breitbart.com and gaming site IGN.com.  The researchers then divided users into those most likely to be banned, called Future-Banned Users (FBUs), and other users dubbed Never-Banned Users (NBUs) The research was carried out by PhD students from Stanford and Cornell University, led by Justin Chang, in a paper called Antisocial Behavior in Online Discussion Communities. The team examined three large online forums including general news site CNN.com, Breitbart.com, a political news site, and computer gaming site IGN.com. Within these communities members that repeatedly violate community guidelines can be banned, either temporarily or permanently. Over an 18-month period, the team studied the content and deletion rates of 40 million posts and 100 million votes posted by 1.7 million users across these sites. From this data they were able to divide users into two groups. Posts made by antisocial web users, or trolls, are less readable in terms of language and coherency. Trolls are more likely to veer off-topic and have fewer similarities in terms of language and content compared to posts by other users. Trolls are also less likely to use positive words than other users, they swear more, and use less tentative or conciliatory language such as 'could', 'perhaps', or 'consider'. In terms of activity, the study found that trolls make more comments each day, and post more times on each thread. They purposefully try to create discussions, or actively respond to an on-going discussion. Trolls were also more likely to have had posts deleted than other users and over the 18 month study period, the number of deleted posts by FBUs increased. People who, over the course of the study, were subsequently banned from the sites, or were likely to be, were classified as Future-Banned Users (FBUs). Users who weren't banned during the study, and didn't exhibit signs that suggested they would be in the future, were known as Never-Banned Users (NBUs). Once these users were split up the researchers looked at four features to identify common traits among the FBUs and NBUs. The first was called 'Post features' and included studying the content of a post. 'Activity features' included how often a user posted in the forum, while 'Community features' looked at votes on individual posts that suggest a person or opinion's popularity. Lastly, 'Moderator features' looked at how many posts had been moderated or deleted. The findings suggest that posts written by FBUs are 'less readable', tend to veer off-topic and have fewer similarities in terms of language and content compared to posts by NBUs. The researchers compared the average text similarity of a user's post with the previous three posts in the same thread. 'We find that the average text similarity of posts written by FBUs is significantly lower than that of NBUs, suggesting that FBUs make less of an effort to integrate or stay on-topic,' said researchers. The team also found that while there was no consistent trend with respect to the use of words containing negative emotion among posts made by FBUs, they are less likely to use positive words. Posts made by antisocial web users, or trolls, are less readable (centre) in terms of language  and coherency and are more likely to veer off-topic and have fewer similarities than posts by other users (left). Trolls are also less likely to use positive words (right) than other users, and they swear more in posts . In terms of activity, the study found that trolls make more comments each day and post more times on each thread. They purposefully try to create discussions, or actively respond to an on-going discussion . FBUs are also more likely to swear and use less tentative or conciliatory language such as 'could', 'perhaps', or 'consider'. In terms of activity, the research also found that FBUs purposefully try to create discussions, or actively respond to an on-going discussion. As a result they spend more time in individual threads than NBUs. Previous research found that post frequency was a signal of low quality discussions. On Breitbart and IGN, trolls were more likely to reply to others' posts, but on CNN, they were more likely to start new discussions. Still, across all communities, FBUs appear to be 'effective at luring other users into potentially fruitless discussions', which is a sign of troll-like behaviour, said the study. Trolls were also more likely to have had posts deleted than other users and over the 18-month study period, the number of deleted posts by FBUs increased. These traits are unlikely to help recognise a troll in their own right, but when combined, the researchers found they could be used to identify a troll with 80% accuracy . FBUs contribute significantly more posts per thread they participate in, according to the results. Trolls were also more likely to have had more posts deleted than NBUs, and over 18 months, the number of deleted posts by FBUs increased. These individual identifiers and traits are unlikely to help recognise a troll or antisocial behaviours in their own right. However, when combined the researchers found they could identify a troll with an accuracy of 80 per cent. 'Understanding how antisocial users may steer individual discussions can help us better quantify their influence on other users,' concluded the researchers. 'Our initial explorations suggest that FBUs cause discussions to veer off-topic: replies to FBUs were significantly less similar to preceding posts in a thread than replies to NBUs. 'One could also investigate the effects of having multiple antisocial users participate in a discussion.' But they recognised the algorithm's accuracy rate meant that one in five antisocial users are undetected and further works needs to be done to boost this rate and work out effective ways of dealing with the trolls. The findings are published in arXiv.
Researchers studied 40 million posts made by 1.7 million web users .
From this they divided people into two groups - Future-Banned Users (FBUs) and Never-Banned Users (NBUs)
They built an algorithm that scans posts for signs of antisocial behaviour .
Study shows this algorithm can identify potential trolls in 80% of cases .
מדורי תגובות ורשתות חברתיות ברחבי הרשת עמוסות במשתמשים אנטי-חברתיים שמתעללים שוב ושוב ומעוררים אנשים לקבל תגובה. מה שמכונה 'טרולים' אלו אף ידועים כגורמים למצוקה נפשית לקורבנותיהם. אבל כעת צוות חוקרים חקר מיליוני פוסטים מקוונים כאלה כדי לזהות תכונות משותפות בקרב משתמשים אלה. והוא בנה אלגוריתם שיכול לזהות טרול פוטנציאלי בדיוק של 80 אחוז על ידי סריקת ההערות שלהם. מומחים בחנו 40 מיליון פוסטים של 1.7 מיליון משתמשים באתר החדשות CNN.com, אתר החדשות הפוליטיות Breitbart.com ובאתר המשחקים IGN.com. לאחר מכן חילקו החוקרים את המשתמשים לאלו שסביר להניח שייחסמו, הנקראים Future-Banned Users (FBUs), ומשתמשים אחרים שזכו לכינוי Never-Banned Users (NBUs) המחקר בוצע על ידי דוקטורנטים מאוניברסיטת סטנפורד וקורנל, בראשות ג'סטין צ'אנג, במאמר בשם התנהגות אנטי-חברתית בקהילות דיון מקוונות. הצוות בחן שלושה פורומים מקוונים גדולים, כולל אתר החדשות הכללי CNN.com, Breitbart.com, אתר חדשות פוליטי, ואתר משחקי המחשב IGN.com. בתוך הקהילות הללו ניתן לאסור חברים שמפרים שוב ושוב את הנחיות הקהילה, באופן זמני או קבוע. במהלך תקופה של 18 חודשים, הצוות למד את שיעורי התוכן והמחיקה של 40 מיליון פוסטים ו-100 מיליון הצבעות שפורסמו על ידי 1.7 מיליון משתמשים באתרים אלה. מהנתונים האלה הם הצליחו לחלק את המשתמשים לשתי קבוצות. פוסטים שנעשו על ידי משתמשי אינטרנט אנטי-חברתיים, או טרולים, פחות קריאים מבחינת השפה והקוהרנטיות. לטרולים יש סיכוי גבוה יותר לסטות מהנושא ויש להם פחות קווי דמיון מבחינת שפה ותוכן בהשוואה לפוסטים של משתמשים אחרים. טרולים גם נוטים פחות להשתמש במילים חיוביות ממשתמשים אחרים, הם מקללים יותר ומשתמשים פחות בשפה טנטטיבית או פייסנית כגון 'יכול', 'אולי' או 'שקול'. מבחינת פעילות, המחקר מצא שטרולים מעירים יותר תגובות בכל יום, ומפרסמים יותר פעמים בכל שרשור. הם מנסים בכוונה ליצור דיונים, או מגיבים באופן פעיל לדיון מתמשך. גם לטרולים היה סביר יותר שנמחקו פוסטים מאשר משתמשים אחרים ובמהלך תקופת המחקר של 18 חודשים, מספר הפוסטים שנמחקו על ידי FBUs גדל. אנשים שבמהלך המחקר נאסרו לאחר מכן מהאתרים, או שהיו צפויים להיות, סווגו כמשתמשים אסורים לעתיד (FBUs). משתמשים שלא נאסרו במהלך המחקר, ולא הציגו סימנים המצביעים על כך שהם יהיו בעתיד, היו ידועים כמשתמשים לא נאסרים (NBUs). לאחר פיצול המשתמשים הללו, החוקרים בדקו ארבע תכונות כדי לזהות תכונות משותפות בין ה-FBUs וה-NBUs. הראשון נקרא 'תכונות פוסט' וכלל לימוד התוכן של פוסט. 'תכונות פעילות' כללו את התדירות שבה משתמש פרסם פוסטים בפורום, בעוד ש'תכונות קהילה' הסתכלו על הצבעות על פוסטים בודדים המצביעים על הפופולריות של אדם או דעה. לבסוף, 'תכונות מנחה' בדק כמה פוסטים טופלו או נמחקו. הממצאים מצביעים על כך שפוסטים שנכתבו על ידי FBUs הם 'פחות קריאים', נוטים לסטות מהנושא ויש להם פחות קווי דמיון מבחינת שפה ותוכן בהשוואה לפוסטים של NBUs. החוקרים השוו את דמיון הטקסט הממוצע של פוסט של משתמש עם שלושת הפוסטים הקודמים באותו שרשור. "אנו מוצאים שדמיון הטקסט הממוצע של פוסטים שנכתבו על ידי FBUs נמוך משמעותית מזה של NBUs, מה שמצביע על כך ש-FBUs מתאמצים פחות להשתלב או להישאר על הנושא", אמרו חוקרים. הצוות גם מצא שאמנם לא הייתה מגמה עקבית ביחס לשימוש במילים המכילות רגש שלילי בין פוסטים של FBUs, אך יש סיכוי נמוך יותר להשתמש במילים חיוביות. פוסטים שנעשו על ידי משתמשי אינטרנט אנטי-חברתיים, או טרולים, הם פחות קריאים (במרכז) מבחינת שפה וקוהרנטיות, ויש להם סיכוי גבוה יותר לסטות מהנושא ויש להם פחות קווי דמיון מאשר פוסטים של משתמשים אחרים (משמאל). טרולים גם נוטים פחות להשתמש במילים חיוביות (נכון) מאשר משתמשים אחרים, והם מקללים יותר בפוסטים. מבחינת פעילות, המחקר מצא שטרולים מעירים יותר תגובות בכל יום ומפרסמים יותר פעמים בכל שרשור. הם מנסים בכוונה ליצור דיונים, או מגיבים באופן פעיל לדיון מתמשך. FBUs גם נוטים יותר לקלל ולהשתמש בשפה פחות טנטטיבית או פייסנית כגון 'יכול', 'אולי' או 'שקול'. מבחינת פעילות, המחקר מצא גם ש-FBU מנסים בכוונה ליצור דיונים, או להגיב באופן אקטיבי לדיון מתמשך. כתוצאה מכך הם מבלים יותר זמן בשרשורים בודדים מאשר NBUs. מחקרים קודמים מצאו שתדירות הפוסטים הייתה אות לדיונים באיכות נמוכה. ב-Breitbart ו-IGN, סביר יותר שטרולים יגיבו לפוסטים של אחרים, אבל ב-CNN, סביר יותר שהם יתחילו דיונים חדשים. ובכל זאת, בכל הקהילות, נראה כי FBUs "יעילים לפתות משתמשים אחרים לדיונים שעלולים להיות חסרי פרי", וזה סימן להתנהגות דמוית טרול, אמר המחקר. גם לטרולים היה סביר יותר שנמחקו פוסטים מאשר משתמשים אחרים ובמהלך תקופת המחקר של 18 חודשים, מספר הפוסטים שנמחקו על ידי FBUs גדל. סביר להניח שתכונות אלו לא יעזרו לזהות טרול בפני עצמן, אך בשילובן, החוקרים גילו שניתן להשתמש בהן כדי לזהות טרול ברמת דיוק של 80%. FBUs תורמים משמעותית יותר פוסטים בכל שרשור שהם משתתפים בו, לפי התוצאות. גם לטרולים היה סביר יותר שנמחקו יותר פוסטים מאשר NBUs, ובמשך 18 חודשים, מספר הפוסטים שנמחקו על ידי FBUs גדל. לא סביר שמזהים ותכונות בודדים אלו יעזרו לזהות טרול או התנהגויות אנטי-חברתיות בפני עצמם. עם זאת, בשילוב החוקרים גילו שהם יכולים לזהות טרול עם דיוק של 80 אחוז. "ההבנה כיצד משתמשים אנטי-חברתיים עשויים לכוון דיונים בודדים יכולה לעזור לנו לכמת טוב יותר את השפעתם על משתמשים אחרים", סיכמו החוקרים. "המחקרים הראשוניים שלנו מצביעים על כך ש-FBUs גורמים לדיונים לסטות מהנושא: תשובות ל-FBUs היו פחות דומות משמעותית לפוסטים קודמים בשרשור מאשר תשובות ל-NBUs. "אפשר גם לחקור את ההשפעות של השתתפות של מספר משתמשים אנטי-חברתיים בדיון." אבל הם זיהו ששיעור הדיוק של האלגוריתם פירושו שאחד מכל חמישה משתמשים אנטי-חברתיים אינו מזוהה ויש צורך לבצע עבודות נוספות כדי להגביר את הקצב הזה ולמצוא דרכים יעילות להתמודדות עם הטרולים. הממצאים מתפרסמים ב-arXiv.
חוקרים בחנו 40 מיליון פוסטים שנעשו על ידי 1.7 מיליון משתמשי אינטרנט.
מכאן הם חילקו אנשים לשתי קבוצות - משתמשים שאסורים לעתיד (FBUs) ו-NBUs Never-Banned Users (NBUs)
הם בנו אלגוריתם שסורק פוסטים לאיתור סימנים של התנהגות אנטי-חברתית.
מחקר מראה שהאלגוריתם הזה יכול לזהות טרולים פוטנציאליים ב-80% מהמקרים.