Get best of the week

OSINT (pas) évident sur Twitter



Twitter est assez ancien, mais reste un service de micro-blogging toujours populaire auprès d'un large public, qui est activement utilisé par les utilisateurs ordinaires et les personnalités publiques. Le meilleur exemple est les comptes Twitter officiels de politiciens, écrivains, musiciens et acteurs. Bien sûr, ces comptes sont souvent tenus par des «personnes spécialement formées», mais si nous parlons d'OSINT dans le secteur manufacturier, le suivi des comptes des ingénieurs ou des gestionnaires ordinaires peut donner d'excellents résultats.

Il est également important que pour travailler efficacement avec un tableau de données de Twitter, il ne soit pas nécessaire de traiter chaque tweet manuellement, ou de vous précipiter à l'autre extrême - connectez-vous à l'API et écrivez vous-même le logiciel. Bien que l'interface standard du service ne nous donne presque rien en termes d'outils de recherche ou d'outils de filtrage, alors que Twitter prend en charge un grand nombre de requêtes et de règles de recherche, qui ne sont pas vraiment mentionnées dans l'interface Web ou l'application standard. C'est avec l'utilisation de ces requêtes qu'il vaut la peine de commencer.

Twitter Dorks


Sur Twitter, vous pouvez rechercher des informations selon quatre paramètres clés: par contenu, par informations complètes sur les tweets, par type de média et par utilisateur.

Par «contenu», on entend le texte lui-même ou les mots-clés des tweets. Cette catégorie comprend les requêtes suivantes:
Requête de rechercheRésultats de recherche
watching nowContient "regarder" et "maintenant"
"happy hour"Contient l'expression exacte "happy hour"
love OR hateContient la valeur "amour" OU la valeur "haine"
beer -rootContient de la «bière» mais ne contient pas de «racine»
#haikuContient le Haiku Hashtag
$twtrContient une étiquette en espèces, utilisée pour le suivi des prix.
politics filter:safeLes tweets contenant de la «politique» seront supprimés en tant que contenu inapproprié
puppy url:twitterContient le mot «chiot» et l'URL dans laquelle il y a une combinaison de «twitter» dans n'importe quelle partie de celui-ci
traffic ?Recherche les tweets avec le mot trafic et un point d'interrogation

La catégorie «informations» comprend à la fois la catégorie «contenu» et des données telles que la date du tweet, la géolocalisation, les retweets, et même des choses complexes telles que le filtrage par le nombre de retweets, de réponses et de likes.

Requête de rechercheRésultats de recherche
near:london within:15miGéolocalisation ponctuelle avec rayon en mi (miles) ou km (kilomètres)
superhero since:2015-12-21Contient "superhero" et envoyé après la date spécifiée "21/12/2015" au format "année-mois-jour"
#brexit until:2016-06-23Contient "#brexit" et envoyé avant la date spécifiée "2016-06-23" au format "année-mois-jour"
puppy source:tweetdeckContient «puppy» et a été envoyé à l'aide de «tweetdeck» (autres options de source: «twitter_for_iphone», «twitter_for_android» et «twitter_web_client»)
puppy min_retweets:5Contient "puppy" et a un minimum de 5 retweets
puppy min_faves:10Contient «chiot» et contient au moins 10 mentions J'aime
puppy min_replies:100Contient un chiot et a au moins 100 rediffusions
puppy filter:nativeretweetsAffiche les retweets contenant le mot "chiot"
puppy filter:retweetsStyle de filtrage à l'ancienne pour les anciens retweets (RT) qui contiennent le mot «chiot»


Dans la catégorie «média», vous pouvez filtrer les tweets par le contenu du contenu multimédia, par exemple, rechercher uniquement les tweets à partir d'une vidéo ou d'une photo, ou simplement trouver tous les articles contenant une URL externe.

Requête de rechercheRésultats de recherche
kitten filter:mediaContient «chaton» et tout type de média (image ou vidéo)
kitten filter:native_videoContient une vidéo «chaton» et tweetée, ou une vidéo de Periscope

kitten filter:periscopeContient «chaton» et un lien vers la vidéo de Periscope
kitten filter:imagesContient "chaton" et tous les liens définis comme des images
kitten filter:twimgContient "chaton" et une image téléchargée sur pic.twitter.com. Les images peuvent être une ou plusieurs
kitten filter:linksContient "chaton" et n'importe quelle URL

Avec le filtrage par "utilisateur", tout est plus ou moins clair: cet ensemble de fonctions de recherche vous permet de filtrer les entrées par comptes. En même temps, nous pouvons observer non pas des tweets spécifiques, mais, par exemple, uniquement les réponses de l'objet de surveillance à des utilisateurs spécifiques .

Requête de rechercheRésultats de recherche
from:jackTweet envoyé par l'utilisateur @jack
list:NASA/space-tweetsTweet envoyé depuis le compte de la NASA vers la feuille «NASA / espace-tweets»
to:NASARejouer d'autres utilisateurs sur le compte NASA
@NASARechercher des tweets qui mentionnent la NASA
breaking filter:verifiedRechercher tous les tweets avec le mot «rupture» dans tous les comptes vérifiés

Il est important de noter que pour toutes les requêtes ci-dessus du type "filtre: type", la règle de la requête "exclusive" est valable grâce à l'utilisation du symbole "-". Par exemple, pour obtenir tous les médias de la NASA à l'exception des images, vous devez entrer une requête comme «from: NASA filter: media -filter: images».

Cet ensemble de commandes de recherche ressemble à la nouvelle année au milieu de l'été, car il élimine la nécessité d'analyser avec des outils tiers, de se connecter à l'API et à d'autres astuces et difficultés techniques inhérentes à la recherche dans les données publiques.

En fait, Twitter lui-même nous permet de prendre toutes les informations qui nous intéressent, et selon un éventail assez large de paramètres que nous pouvons combiner les uns avec les autres. Étonnamment, toutes les requêtes de recherche décrites ne sont évidemment documentées nulle part. Autrement dit, Twitter vous permet d'analyser et de rechercher subtilement les publications de vos utilisateurs, mais cela ne s'applique pas particulièrement. Et c'est merveilleux - nous avons une telle opportunité - parce que très souvent les spécialistes souffrent de l'effet de la «surqualification» et compliquent leur vie où ils pourraient utiliser le rasoir d'Occam et trouver la solution la plus évidente et en même temps la plus correcte pour leur tâche.

Tweetdeck


Tweetdeck est une application bien connue pour filtrer le contenu en fonction de paramètres et de catégories donnés . Cependant, si un utilisateur moyen considère Tweetdeck simplement comme une autre incarnation du flux RSS, alors dans le cas d'un filtrage ciblé des données publiques, il devient un outil très puissant.

L'un des scénarios les plus évidents pour utiliser Tweetdeck dans le contexte OSINT consiste à réduire le niveau de bruit dans un échantillon de tweets fonctionnel. Prêt à l'emploi, le service est en mesure de créer une liste noire de mots clés et les tweets les contenant n'apparaîtront tout simplement pas dans votre flux. Si vous êtes impliqué dans OSINT et collectez des informations auprès de sources publiques, une telle fonction a une application très évidente.

Prenons un cas conditionnel: le compte Twitter de Stephen King. Ceux qui tombent sur le récit de l'écrivain savent qu'il se compose de 30% d'amour pour son chien, 60% de haine du président Trump et 10% des tweets laisseront tomber le reste. Si nous avons besoin exactement des 10% des derniers enregistrements, alors Tweetdeck vous permettra parfaitement de filtrer la plupart des déchets qui ne nous intéressent pas et de travailler avec une sélection plus ou moins pertinente. Regardons un morceau de la bande de King:



nous filtrerons les paramètres de Tweetdeck pour les mots-clés "Trump", "président", "maison blanche", "Obama" pour supprimer la plupart des "politota" de notre échantillon.



En fait, cela se fait de manière élémentaire. Après une muta de tweets avec des mots clés, le compte que nous avons observé a complètement changé:



Dans le même temps, Tweetdeck prend en charge toutes les requêtes de recherche qui ont été discutées au début de l'article, ce qui en fait un outil confortable pour trouver des informations.

Maintenant, beaucoup d'entre vous ont pensé qu'avec un tel pool de requêtes de recherche prises en charge, il ne reste plus qu'à écrire un logiciel qui extraira des tweets pour vous et les collectera dans des rapports, par exemple, dans des documents texte, qui peuvent ensuite être paresseusement feuilletés tout en sirotant de nouvelles mouettes. Et là encore le principe de "la solution la plus simple - la plus correcte". Après tout, avant de vous asseoir pour écrire un logiciel, vous devez ouvrir Google et il nous répondra: vous n'avez pas besoin d'écrire quoi que ce soit, un tel logiciel existe déjà et s'appelle Twitter Archiver.

Archiveur Twitter


Twitter (Tweet) Archiver est une extension de feuille de calcul Google qui recueille les données de nos recherches Twitter et les télécharge toutes sur Google Docs. L'application elle-même s'accroche aux modules complémentaires des tableaux Google et vous permet de télécharger les résultats de recherche directement dans le document.



Au moment de la création de la première règle de recherche, Twitter Archiver demandera une connexion à un compte existant à partir duquel travailler. C'est tout. Nous recherchons, analysons, téléchargeons dans un tableau Excel et analysons.

Par exemple, nous allons proxy Twitter avec les paramètres de recherche les plus larges possibles afin de montrer à quoi ressemblera le téléchargement: Cliquable En sortie, nous obtenons un tableau avec les colonnes suivantes:




Date, Nom d'écran, Nom complet, Texte du Tweet, Identifiant du Tweet, Lien (s), Médias, Emplacement, Retweets, Favoris, Application, Abonnés, Suit, Répertorié, Vérifié, Utilisateur depuis, Emplacement, Bio, Site Web, Fuseau horaire, Image de profil . Malheureusement, tout cela ne correspondait pas à la capture d'écran ci-dessus, car il occupe deux écrans.

Il n'y a qu'une seule faiblesse dans l'outil présenté: la version gratuite de Twitter Archiver vous permet d'analyser une seule règle et une seule fois par heure. La version payante fonctionne sans restriction sur le nombre de règles de recherche et effectue un téléchargement toutes les 15 minutes. Certes, ce n'est pas bon marché: de 39 $ / an par utilisateur à 399 $ / an pour un nombre illimité de comptes.

Total


Il est possible de collecter des informations en mode semi-automatique sans aucune compétence en programmation, il suffit de rechercher des requêtes depuis Twitter lui-même et l'application Tweetdeck suffisent. Le bot pour les tables Google simplifie la systématisation, mais une version complète de celui-ci coûte de l'argent.

Il existe un moyen plus compliqué, qui ne se rapporte pas au sujet de l'article comme une solution simple, mais il est nécessaire de le mentionner. Cette solution consiste à accéder à l'API Twitter via une demande officielle puis à créer vos propres outils. Cependant, la personne privée n'a pas trop de chances pour cela: dans les forums spécialisés, ils disent que tout le monde ne donne pas accès à l'API et que le taux de rejet est très élevé.

Mais que se passe-t-il si vous souhaitez protéger vos données et ne pas les collecter? Comment gérer l'analyse des données sur Twitter? Oui, en fait, rien. Il s'agit d'un réseau public de microblogage dans lequel il n'y a que deux outils de protection des informations: les listes noires des comptes et les restrictions d'accès.

Le premier, évidemment, ne sauvera pas les bots et l'analyse. Le second est plus efficace, mais les tweets ne seront alors disponibles que pour les abonnés du compte. Si nous parlons d'une sorte de compte public, alors la deuxième option n'est pas applicable, de plus, un observateur peut toujours se faufiler dans la liste des lecteurs si le titulaire du compte ajoute manuellement de nouveaux abonnés.

Par conséquent, le seul moyen garanti de réduire la probabilité de fuites OSINT via Twitter à un niveau acceptable est de ne pas utiliser Twitter.

More articles:


All Articles