Get best of the week

Podcast: Was Anfänger auf dem Gebiet der Verteidigung erwartet

Wie versprochen stellen wir eine vollständige Abschrift der ersten Veröffentlichung unseres Podcasts zur Verfügung ( Sie können sie in Apple Podcasts anhören ). Andrei Filchenkov , Ph.D. in Physik und Mathematik, außerordentlicher Professor an der Fakultät für Informationstechnologien und Programmierung und Leiter der Gruppe für maschinelles Lernen am International Computer Science Laboratory, sprach mit uns .


Foto von Samuel Bourke (Unsplash.com)

Dmitry:vergangenen Jahr Sieerhaltenden Ilya SegalovichPreis, und sagtedass man in verschiedenen Bereichen beschäftigt waren, ohne gemeinsame Vektor neben maschinelles Lernen. Bitte kommentieren Sie diesen Ansatz. Ist eine solche Freiheit für Sie entscheidend?

Andrey Filchenkov:Als ich an die ITMO-Universität in unserem Labor für Computertechnologien kam, das bereits zu einem wissenschaftlichen Zentrum geworden war, gab es nichts, was in direktem Zusammenhang mit maschinellem Lernen stand. Und wir fingen an zu experimentieren. Es war das Jahr 2014.

Dmitry:Hast du die Aufgabe für dich selbst formuliert?

Andrew:Sie setzten, entschieden. Maschinelles Lernen ist so konzipiert, dass Ideen von einem Bereich zum anderen fließen und Modelle von einer Aufgabe zur anderen fließen. Es ist ziemlich schwierig, sich auf etwas zu beschränken. Und so arbeiten nicht nur wir. Forscher auf dem Gebiet des maschinellen Lernens sitzen fast immer nicht streng in einer Nische, es gibt immer viel Forschung.

Eine andere Sache ist, dass wir anfangs keinen Vektor hatten, um den wir unsere Arbeit aufbauen würden. Aber jetzt beschäftigen wir uns mit bestimmten Themen und begrenzen im Allgemeinen die Anzahl der Nischen, in denen wir arbeiten. Zuallererst ist dies automatisches maschinelles Lernen, alles, was mit Bildverarbeitung und -generierung zu tun hat, einschließlich Video und Analyse sozialer Netzwerke.

Im vergangenen Jahr tauchten zwei relativ neue Themen auf: maschinelles Lernen für die Codeanalyse und maschinelles Lernen für das Routing. Wir routen seit 2016, haben uns aber mit diesem Thema befasst. Wir haben versucht, eine Vielzahl von Aufgaben zu übernehmen, aber dieser Ansatz wirkt sich auf die Ergebnisse aus. Jetzt versuchen wir, uns mehr auf Qualität als auf Vielfalt zu konzentrieren.

Dmitry: Und deshalb formulieren Sie bereits Punktprobleme für diejenigen, die im Labor arbeiten, und fungieren als theoretischer Mentor für eine große Anzahl von Spezialisten?

Andrew: Ja.

Dmitry: Dem Laien mag es so erscheinen, als ob diese Aktivität mit sehr grundlegenden Dingen, Formeln und wissenschaftlichen Artikeln verbunden ist. Aber die Jungs aus dem Labor, wie Sie sehen können, arbeiten mit der Analyse von sozialen Netzwerken, Empfehlungs-Engines, Trumps Twitter-Analyse. Bitte erzählen Sie uns von solchen Projekten, die auf praktischer Ebene verständlich sind.

Andrey: Unsere Aktivitäten können in zwei Kategorien unterteilt werden. Der erste sind Algorithmen, die auf viele Dinge anwendbar sind. Zum Beispiel Algorithmen zur Merkmalsauswahl. Sie werden für viele Aufgaben benötigt - für die Analyse von DNA-Sequenzen, die Verarbeitung medizinischer Daten usw. Die zweite Kategorie sind Aufgaben aus dem Themenbereich, in denen wir bereits versuchen, verschiedene Algorithmen zu verwenden. Es gibt mehr Aufgaben in dieser Kategorie, sie sind verständlich und vielfältig und nicht immer vollständig wissenschaftlich.

Auf dem Foto: Andrey Filchenkov
Neben dem Labor haben wir ein gemeinsames Umfeld, in dem sich Startups und Unternehmen drehen. Sie kommen mit Industrieaufträgen, Aufgaben entstehen ganz praktisch. Kürzlich haben wir mit dem TVC-Kanal zusammengearbeitet. Sie haben eine Vielzahl unterschiedlicher Dokumente und Artikel. Und sie sind sehr daran interessiert zu überwachen, wie dieses oder jenes Phänomen in der Presse dargestellt wird und wie es sich im Laufe der Zeit ändert - wie viele konventionelle Ilon-Masken in der Presse sind, in welchem ​​Kontext er angetroffen wird. Wir haben eine Suchmaschine für sie geschrieben, um schnell recht komplexe Abfragen über eine ziemlich große Datenbank durchzuführen.

Dmitry: War es für sie effektiver, sich mit Ihnen in Verbindung zu setzen und eine kundenspezifische Entwicklung einzuführen, als auf den Markt für ein fertiges „verpacktes“ Produkt zu gehen?

Andrew: Ja. Sie haben eine bestimmte Aufgabe. Es gibt keine solchen Lösungen auf dem Markt.

Wir machen auch ziemlich interessante Dinge mit Vk, wo einer unserer Doktoranden arbeitet. Wie die meisten dieser Unternehmen ist Werbung eine der Haupteinnahmequellen für die Website. Und Sie müssen verstehen, wem diese Werbung gezeigt werden soll, damit alles effektiv ist. Die Aufgabe sieht so aus. Es gibt eine große Anzahl von Werbetreibenden. Wir müssen sicherstellen, dass sie Shows haben und die Leute relevant werden.

Es gibt eine Reihe von Studien zur Medizin. Zum Beispiel eine Hautanalyse von einem Foto, um wichtige medizinische Marker zu identifizieren. Es gibt zwei Themen. Eine hängt damit zusammen, zu identifizieren, ob ein Maulwurf ein Maulwurf ist oder ein Signal dafür, dass etwas Ernstes sein kann. Das zweite ist ein Verständnis der Ursachen dieser oder jener Flecken, Hautausschläge (dies können Symptome einer großen Anzahl von Haut- und sexuell übertragbaren Krankheiten sein).

Dmitry:Und hier können Sie die Verfügbarkeit der Basisdiagnose erhöhen?

Andrew: Ja. Aber selbst wenn die Symptome sichtbar sind, weil sie sich auf der Haut befinden, ist ihre Klassifizierung nicht so einfach. Wir automatisieren diese Aufgabe, damit Sie die Anwendung auf Ihr Telefon übertragen, ein Bild aufnehmen und verstehen können, aber es gibt etwas Verdächtiges. Wir treffen hier keine Entscheidungen, aber wenn der Antrag der Person mitteilt, dass anscheinend etwas nicht stimmt, ist es besser, zum Arzt zu gehen und sich beraten zu lassen.


Transfer verschiedener Lösungen und Entwicklung des Moskauer Feldes


Timecode ( Audioversion ) - 09:07


Dmitry: Hatten Sie Situationen, in denen Sie Entscheidungen getroffen haben, die in einem Tätigkeitsbereich getestet und in einem anderen Bereich angewendet wurden, als Experiment oder als Sie Schwierigkeiten mit einer Aufgabe hatten?

Andrew:Normalerweise versuchen wir, automatisches maschinelles Lernen zu verwenden. Grob gesagt haben wir eine Black Box, in der wir Aufgaben ablegen und grundlegende Lösungen erhalten. Natürlich sind sie normalerweise schlechter als das, was Sie danach mit Ihren Händen tun können, aber dies ist eine Basislinie, auf die Sie sich konzentrieren können. Wenn wir über spezifische Lösungen sprechen, zum Beispiel im Zusammenhang mit der Bildverarbeitung, funktioniert die Übertragung hier. Das Grundlegende ist die vorab geschulte VGG und deren Weiterbildung zu Daten. Die Bildung grundlegender Lösungen auf der Grundlage geschulter und angelegter Zugangsnetze ist ein Standardschritt. Und es stellt sich oft heraus, dass es besser ist, in der aktuellen Konfiguration nichts zu tun.

Dmitry: Stellt sich in diesem Fall heraus, dass Sie einige architektonische Dinge aus der Sicht des Eisens ändern, oder geht es nur um Softwarelösungen, Algorithmen?

Andrew:Normalerweise sprechen wir nur über Algorithmen. Es gab nur wenige Probleme, für die wir uns an Eisen anpassen mussten. Das hellste ist, was wir mit Huawei gemacht haben, um Zeichen auf Fotos zu erkennen. Es gab ziemlich strenge Einschränkungen im Zusammenhang mit der Tatsache, dass dieses Modell auf dem Telefon implementiert werden musste. Wo nicht viel Speicher vorhanden ist, gibt es Einschränkungen für Operationen, die verwendet werden können, da es unmöglich ist, das, was wir auf TensorFlow getan haben, in reiner Form anzuwenden. Und hier mussten wir ausweichen, weil es gute Entscheidungen gab, aber ohne die Möglichkeit einer Übertragung, und wir mussten uns anstrengen. Aber öfter treffen wir eine Entscheidung, die schnell irgendwo auf dem Server funktioniert, aber ohne Einschränkungen für alles andere.

Dmitry:Ich frage, weil sich oft die Frage stellt, wovon die Effizienz eines solchen Systems abhängen kann. Sagen Sie uns, mit welchen Problemen Sie derzeit in Bezug auf die Entwicklung von Algorithmen und theoretischen Ansätzen in diesem Bereich konfrontiert sind. Gibt es eine Grenze, die diese Sphäre erreicht hat, oder entwickelt sie sich jetzt schnell?

Andrew:Die Frage ist ziemlich kompliziert, aber interessant. Lange Zeit war alles wirklich auf Eisen beschränkt. Es gab ziemlich komplexe Algorithmen, aber sie funktionierten nicht immer gut. Jetzt ist viel mit neuronalen Netzen verbunden, weil Rechenleistung erschienen ist, die es ihnen ermöglicht, zu fahren. Obwohl die Rechenleistung irgendwann an Bedeutung verloren hat, meinen wir immer, dass wir bestimmte Kosten haben werden. Wenn wir über klassische Algorithmen sprechen, gibt es keine besonderen Probleme mit den Kapazitäten. Die Frage ist, wie schnell und effizient die besten Lösungen gefunden werden können.

Da die Kapazitäten begrenzt waren, war es zunächst wichtig, dass die Person, die das Problem löst, die Funktionsweise der Algorithmen, ihre Ressourcenanforderungen und die Anwendbarkeit für diese Aufgabe verstand. Es gab eine Zeit, in der dies nicht ganz so wurde, da die Kapazitäten ziemlich erschwinglich wurden.

Dmitry: Das heißt, das Wachstum der Rechenleistung und -fähigkeiten hat deutlich genug zugenommen. Wir hoben leicht eine Hand von einem Puls. Jetzt geben Sie es zurück.

Andrei: Ja, in den letzten Jahren hat das automatische maschinelle Lernen zugenommen. Und es gibt eine Version, bei der das gesamte Fachwissen des maschinellen Lernens durch eine hundertfache Steigerung der Rechenleistung ersetzt werden kann. Beim automatischen maschinellen Lernen wird tatsächlich versucht, eine Lösung für Ihr Problem zu finden. Und dies ist eine Frage der Kapazitäten, da es sich um eine Suche handelt, nicht um eine erschöpfende Suche, sondern um eine sehr komplexe, lange und umfangreiche Suche, die eine große Menge an Rechenressourcen erfordert. Infolgedessen ruhen wir erneut auf der Tatsache, dass Fachwissen durch Ressourcen und deren Verfügbarkeit ersetzt wird.


Foto von Franki Chamaki (Unsplash.com)

Ich glaube nicht, dass wir uns jemals in einer Situation befinden werden, in der kein Experte benötigt wird, da es immer noch viele Aufgaben gibt, die so nicht übernommen und automatisiert werden können (Festlegen einer Aufgabe, Verstehen von Geschäftsprozessen), bis wir leistungsstarke Systeme entwickeln künstliche Intelligenz. Zumindest wird es nicht sehr bald sein. Daher bleibt die Aufgabe erhalten, aber die Anforderungen an den erneuten Start der Rechenleistung werden zu einem der Schlüsselfaktoren.

Dmitry: Gleichzeitig müssen Sie jedoch noch einige Maßnahmen ergreifen, um das Wachstum der Rechenleistung in Bezug auf die Effizienz der Algorithmen selbst nachzuholen. Unternehmen, die über enorme Kapazitäten verfügen können, aber meiner Meinung nach hat jede Aufgabe einen bestimmten Zeitrahmen, in dem sie gelöst werden muss und relevant bleibt.

Andrew: Ja. Es gibt eine gewünschte Qualität, es gibt eine Zeit, für die es notwendig ist, sie zu erreichen. Wir sind auf beiden Seiten begrenzt. Wenn genügend Zeit vorhanden ist, ist Qualität fast immer erreichbar. Obwohl natürlich jede Aufgabe grundlegende Einschränkungen hinsichtlich der erzielbaren Qualität aufweist. Grob gesagt werden wir den Charakter nicht besser anhand der Position der Monde vorhersagen können als eine Münze. Wenn die erforderliche Einschränkung jedoch nicht die Obergrenze erreicht, können wir für einige Zeit die gewünschte Qualität erreichen. Manchmal können wir sagen, dass wir in der vorgegebenen Zeit, in der wir eine ziemlich gute Lösung gefunden haben, für diese Zeit nicht das Beste bekommen können. Es gibt immer diese beiden "Koordinaten".


Das Studium neuer Ergebnisse, deren Verständnis und Anpassung


Timecode ( Audioversion ) - 16:41


Dmitry: Wie können Sie unter dem Gesichtspunkt der beruflichen Entwicklung derjenigen, die in Ihrem Labor arbeiten, die Verteilung des Grundwissens und der theoretischen Ausbildung im Vergleich zu dem beurteilen, was Sie direkt im Prozess studieren müssen: Analyse wissenschaftlicher Artikel, Durchbrüche, Veränderungen in diesem Bereich? Wie viele dieser Änderungen treten als Teil einer Woche oder eines Monats auf? Wie schwierig ist es, sie in Ihre Aktivitäten umzusetzen, in die Projekte, an denen Sie gerade hier arbeiten?

Andrew:Das ist eine sehr gute Frage. Es hängt alles von der Gegend ab. Zum Beispiel schützt mich jetzt ein Doktorand, der die Aufgabe des Clustering automatisiert. Im Allgemeinen gibt es keinen sehr großen Strom neuer Ergebnisse. Auf der anderen Seite macht er AutoML für das Clustering. Hier ist es nicht so einfach, den Strom neuer Ergebnisse im Auge zu behalten. Darüber hinaus ist es schwierig, sich auf einen Bereich zu beschränken.

Wie ich gleich zu Beginn sagte, ist im Bereich des maschinellen Lernens alles eng miteinander verbunden. Die Ideen, die ursprünglich im Bereich der Bildverarbeitung entstanden sind, fließen in wenigen Schritten an anderer Stelle ein. Textverarbeitung ist der nächste Kandidat. Einer der wichtigsten Erfolgsfaktoren ist es, sich darüber im Klaren zu sein, was nicht nur in Ihrer Nische, sondern auch im Bereich des maschinellen Lernens im Allgemeinen geschieht.

Foto von Nick Hillier (Unsplash.com)
Dies ist schwierig, da viele Ergebnisse generiert werden. Zehntausende Teilnehmer an großen Konferenzen, eine große Anzahl von Werken, bis zu Hunderte von Werken pro Woche im Archiv. Ein solcher Betrag ist schwer durchzublättern. Aber die Meilensteine ​​sind wichtig zu beobachten.

Um dies zu tun, müssen Sie nicht das Archiv scannen oder Konferenzsammlungen von Anfang bis Ende lesen, aber es ist sehr wichtig, die Öffentlichkeit zu abonnieren, die sich mit maschinellem Lernen befasst, und zu verfolgen, was dort geschrieben steht.

Anfänglich gab es viele verschiedene Ergebnisse bei der Sprachverarbeitung. Sobald Word2vec erschien, begannen alle, sich mit Einbettungen zu beschäftigen. Da sind viele von denen. Es gab mehrere grundlegende, aber für verschiedene bestimmte Aufgaben hatten sie ihre eigenen, und es war notwendig zu überwachen, wie sie sie verbessern. Dann hat Google BERT eingeführt und es gab einen sehr großen Anstieg. Irgendwann stellte sich heraus, dass Sie wirklich nichts brauchen, wenn Sie verstanden haben, wie BERT funktioniert, und wenn Sie an der Verarbeitung von Englisch beteiligt sind.

Sie konnten sich keine Sorgen über die Erfolge der neuen Versionen von fastText und die darauf basierenden Einbettungen machen. BERT hat jetzt viele Änderungen. Es ist immer noch einfach, wie Word2vec auf einmal. Es gibt jedoch bereits viele Änderungen mit einer Häufigkeit von mehreren Jobs pro Monat oder sogar nicht weniger Arbeit pro Woche.

Und diese Dynamik ändert sich ständig. Es gibt einen Ort, an dem alles zusammenbricht, und hier können Sie etwas einholen, dann beginnt es wieder in verschiedenen Farben zu blühen, und Sie müssen dem folgen. Das Problem ist, dass dies häufiger vorkommt, dh die Geschwindigkeit, mit der neue Ergebnisse erscheinen, nimmt nur zu. Wie man das im Auge behält, ist eines dieser grundlegenden Lebensprobleme, auf die ich stoße.

Dmitry: Treten solche Aktivitätsschübe eher bei großen Unternehmen auf, die ihre eigenen Rahmenbedingungen schaffen, oder wirft die wissenschaftliche Gemeinschaft etwas?

Andrew:Jeder ist in unterschiedlichem Maße beteiligt. Ich muss zugeben, dass Unternehmen mehr Ergebnisse erzielen als Universitäten. Es kommt auf die Gegend an. Ein typisches Szenario ist, wenn große Wissenschaftler nicht nur an Universitäten, sondern auch in Unternehmen arbeiten. Meistens stellen sie diejenigen ein, die weiterhin Forschungsaktivitäten durchführen. Daher verfügt das Unternehmen über ein enormes intellektuelles Potenzial. Universitäten können selten ähnliche Rechenleistung und Datensätze bereitstellen, sodass Unternehmenswürfel über Artikel (Zugehörigkeit) immer häufiger gefunden werden.

Dmitry: Auch bei Artikeln, obwohl das Unternehmen in der Lage ist, die meisten seiner Entwicklungen und Forschungen vor der Öffentlichkeit zu schließen? Das macht Sinn. Die Universität hat jedoch keine solche Möglichkeit, da sie naturgemäß verpflichtet ist, etwas zu veröffentlichen.

Andrew:In der Tat kann es Voreingenommenheit geben. Universitäten veröffentlichen auf jeden Fall, weil dies die Besonderheit ihrer Arbeit ist. Der Artikelfluss von Universitäten ist größer, weil es viele Universitäten gibt, Menschen veröffentlicht werden und Unternehmen dies nicht überall begrüßen. Aber bahnbrechende Ergebnisse - Unternehmen haben mehr davon.

So nutzen sie ihren Ruhm und ihre Kompetenzen, ziehen neue Wissenschaftler an, erklären, dass mit ihnen geforscht werden kann, und sind sehr cool. Zum Beispiel haben sie ein neues Modell gemacht, es kann sehr theoretisch sein. Aber meistens ist es in erster Linie von großer praktischer Bedeutung für das Unternehmen. Sie können in Open Source angelegt werden, aber wie bei Google werden es beispielsweise bereits einige frühere Versionen sein, die sie selbst als veraltet betrachten.


Offene Entwicklung, Vorbereitung von Veröffentlichungen und Anforderungen an diese


Timecode ( Audioversion ) - 23:48


Dmitry: Wie wichtig ist Open Source-Entwicklung in Ihrem Unternehmen? Wie wirken sie sich auf sie aus? In dem Beispiel mit Clustering-Automatisierung haben Sie gesagt, dass Sie Open Source-Entwicklung verwenden und diese auf einer fundamentalen Basis anwenden, die Sie studieren, gründlich erarbeiten, dh in die entgegengesetzte Richtung gehen und nicht an schnelle Änderungen in einer engen Sphäre gebunden sind.

Andrew:Der angegebene Code ist sehr wichtig. Fast immer stellt sich die Standardfrage: Erledigt das, was angelegt ist? Still - Fragen des Vergleichs mit den Ergebnissen. Wenn ein Mensch etwas erschafft, muss er beweisen, dass es besser ist als vorher. Leider kommt es nach den im Artikel veröffentlichten Zahlen häufig vor, dass Menschen mit dem vergleichen, was vor ihnen lag. Das ist nicht sehr richtig. Es gibt keine Garantie dafür, dass eine Person ein Experiment so reproduziert, wie es andere getan haben. Daher ist es wichtig, verschiedene Entscheidungen zu treffen und sie selbst auszuführen, ihre Funktionsweise zu überprüfen und sicherzustellen, dass Sie in einem ähnlichen Versuchsaufbau besser abschneiden.

Sie können nur dann richtig vergleichen, wenn Sie den Code haben.


Foto Headway (Unsplash.com)

Zweitens, wenn eine Person aus Sicht des Wettbewerbs nichts Neues entwickelt, aber die Methode anwenden möchte, wäre es schön, sie auf GitHub zu haben, und sie könnte verwendet werden. Aber selbst wenn etwas angelegt ist, ist die Dokumentation nicht immer verfügbar. Veröffentlichen Sie Arbeiten selten mit guter Dokumentation. Es kommt vor, dass sie den Code überhaupt nicht hochladen und Sie alles wie im Artikel beschrieben implementieren müssen. Das ist ein Problem. Diese Situation führt zu Schwierigkeiten bei der Reproduzierbarkeit der Ergebnisse des maschinellen Lernens. Und das ist fast das Hauptproblem in unserer Sphäre.

Es ist einfach, Umschulungsergebnisse zu veröffentlichen, aber es ist schwierig zu überprüfen, ob kein Code vorhanden ist. Wir haben unser eigenes AutoML mit vorhandenen Lösungen verglichen. Glücklicherweise gibt es veröffentlichte Bibliotheken, die aktiv genutzt werden. Es gibt mehr neue Lösungen, aber ihr Code ist nicht ausgelegt. Es war klar, dass sie schlimmer waren - was sie darlegten, war ein Sonderfall unserer Entscheidung.

Dmitry: Ist es möglich, einige Ansätze vorzustellen, die dieses Problem zumindest im Rahmen Ihrer Arbeit beseitigen und die Möglichkeit der Reproduktion der Ergebnisse garantieren?

Andrew:Sie können Links zu geöffneten Repositorys erstellen und Dokumentation bereitstellen. Ich versuche alles in allen Artikeln zu machen. Dies ist leider nicht immer der Fall. Dies passiert bei fast jedem: Eine Person hat einen Code geschrieben, er funktioniert, aber es ist den Leuten peinlich, ihn mit anderen zu teilen, weil sie sich für einige seiner Elemente schämen. Aber ich versuche die Idee zu verbreiten, dass Sie beim Schreiben eines Artikels diesen durch einen Link zu GitHub ergänzen müssen. Das Repository mit dem Code muss im Voraus vorbereitet werden.

Dmitry: Hier müssen Sie Zeit mit der Dokumentation verbringen.

Andrew: Zumindest minimal. Dies ist notwendig, damit das, was im Artikel geschrieben steht, besser versteht, was passiert, auch wenn der Code überhaupt nicht dokumentiert ist. Obwohl es schwierig ist. Je größer das Projekt, desto weniger hilft der Artikel.


Arbeit der Laborspezialisten und Häufigkeit der Ausgabe


Timecode ( Audioversion ) - 28:37


Dmitry: Wenn Sie den Zeitpunkt der Vorbereitung eines wissenschaftlichen Artikels und eines praktischen Projekts bewerten, in welchem ​​Zeitraum kann eine Person etwas in Ihrem Tätigkeitsbereich realisieren? Herkömmlicherweise veröffentlicht er alle sechs Monate oder ein Jahr einen Artikel, und ein großes Projekt dauert beispielsweise zwei Jahre.

Andrei: Es gibt ein erhebliches Problem damit, dass es stark von der Hypothese selbst abhängt. Es ist wirklich schwierig, diese Frage zu beantworten. Ich kann das Projekt so malen, dass es sowohl in zwei Monaten als auch in zwei Jahren durchgeführt wird. In diesem Fall werden ähnliche Ergebnisse erzielt.

Dies bedeutet nicht, dass Sie diese zwei Monate in Anspruch nehmen und jeden Tag zwölfmal weniger tun können. Hier wie bei neun Müttern. Wir sind an Rechenleistung gebunden, aber viele Dinge können parallelisiert werden. Je nachdem, worum es im Projekt geht, können viele Dinge erledigt werden.

Ähnliches gilt für die Vorbereitung von Artikeln. Es gibt Dinge, bei denen ein Modell eine Stunde lernt, es gibt Dinge, bei denen ein Modell einen Tag lernt. In AutoML können Experimente ab einer Woche durchgeführt werden. Es kommt also vor, dass Experimente keine vernünftigen Aufgaben übernehmen, weil sie nicht gezählt werden. Daher gibt es viele Aufgaben, bei denen bei einigen CIFAR alles berücksichtigt wird. Zumindest einige vernünftige Datensätze, eher wie in der Praxis, versucht niemand zu berühren, da der Artikel in zwei Jahren veröffentlicht wird, das Modell wird, aber bereits veraltet sein.

Das zweite Kriterium, das den Stand der Dinge beeinflusst, ist das, was Sie bereits über den Themenbereich wissen. Wenn Sie verstehen, welche Modelle existieren, ein Experiment erstellt wird, Sie eine bestimmte Hypothese testen, dann ist alles in Ordnung. Normalerweise kann sich die Aufgabe dabei ändern. Nicht zu viel.

Foto Science in HD (Unsplash.com)
Aber jetzt hat es ein wenig in irgendeiner Richtung geändert, und es ist notwendig , die Neuheit zu beweisen , was Sie vorgeschlagen. Es ist notwendig, sich anzuschauen, was früher getan wurde, um zu vergleichen.

Es stellt sich heraus, dass Ihre Entscheidung neu ist, aber nicht die coolste. Sie versuchen es zu verbessern, das Ergebnis ändert sich. Es muss nachgewiesen werden, dass das Ergebnis neu ist. Und außerdem hat ein Mann irgendwo Verstärkungstraining geschraubt, und jetzt müssen wir in diese Richtung schauen.

Dieser Prozess kann sehr gedehnt werden. Es gibt Langzeitartikel, sie sind lange geschrieben, weil sich die Dinge ein wenig ändern. Ein weiterer Punkt ist die Plattform, auf der die Veröffentlichung des Artikels geplant ist. An guten Orten müssen sie begründet werden, warum Ihr Ergebnis gut ist. Es kommt vor, dass diese Erklärung am zeitaufwändigsten ist. Das heißt, das Modell funktioniert, und zu verstehen, warum es funktioniert, ist eine separate Aufgabe, die noch komplizierter ist als die Entwicklung dieses Modells.

Schließlich das Schreiben des Artikels selbst. Leider sind alle Orte, die es wert sind, veröffentlicht zu werden, um einen Beitrag zur Wissenschaft zu leisten, englischsprachig. Dies setzt seine Grenzen. Das Schreiben von englischsprachigen Artikeln ist nicht so einfach. Wenn ein Labormitarbeiter seinen ersten Artikel schreibt, wird er dies sehr lange tun. Wenn dies sein zwanzigster Artikel ist, schnell. Außerdem, wenn ich eine Person nicht aktiv trete, wird sie ein paar Monate schreiben, wenn ich will, jedenfalls ein paar Wochen. Natürlich hängt alles davon ab, wie komplex das Thema ist, über das er nachdenkt.


Die Wahl des Entwicklungsgebiets und der Voraussetzungen


Timecode ( Audioversion ) - 33:04


Dmitry: Wie wirkt sich die anfängliche Wahl der Richtung auf die Entwicklung aus? Zum Beispiel fängt eine Person gerade erst an, dies alles auf einer ernsthaften Ebene zu tun, und nimmt zum Beispiel einen zu weiten Bereich für sich ein. Und hier beginnen Krücken mit periodischen Veränderungen und Ergebnisgewinnen aus verwandten Branchen zu klettern, und eine Person bleibt wie in einem Sumpf darin stecken. Wie kann man sich auf die Anfangsphasen konzentrieren?

Andrew: Solche Geschichten entstehen, wenn sich eine Person eine Vielzahl von Techniken vorstellt, die sie anwenden kann. Wenn er gerade erst anfängt, wird es höchstwahrscheinlich keine derartigen Probleme geben.

Dmitry: Weil die ursprüngliche Basis, über die wir gesprochen haben, auf vorhandenen Ergebnissen basiert und eine Person nichts Neues bringt?

Andrew:Ja, das könnte man so sagen. Gut gelesen ist hier wichtig. Je mehr Artikel Sie lesen, desto einfacher ist es, sie zu schreiben. Die Sprache der Artikel ist eine separate Sprache. Das ist wissenschaftliches Englisch. Darüber hinaus unterscheidet sich wissenschaftliches Englisch im maschinellen Lernen von wissenschaftlichem Englisch in der Biologie. Wenn eine Person viele Artikel liest, wird es für sie einfacher, Gedanken zu formulieren und den Artikel zu strukturieren.

Dmitry: Erzählen Sie uns von den Funktionen, die Sie von Neulingen erwarten - von denen, die sich gerade darauf vorbereiten, zu Ihnen zu kommen.

Andrew:Dies ist vor allem die Fähigkeit zu programmieren. Das Feld wird angewendet, ohne es irgendwo. Wenn wir auf einem völlig fundamentalen Gebiet forschen würden, könnten wir nicht darüber nachdenken - mathematisches Training würde ausreichen. Wir gehen jedoch nur davon aus, dass es beispielsweise in Python implementiert wird. Die Programmierkenntnisse sind entscheidend.


Foto von Hitesh Choudhary (Unsplash.com)

Die zweite sind die Kernkompetenzen im Bereich des maschinellen Lernens. Es ist wichtig, dass der Mensch als Ganzes versteht, was maschinelles Lernen ist, wie es angeordnet ist, auch wenn er sich seiner engen Aufgabe widmet. Zum Beispiel begann er mit Verstärkungen zu trainieren, aber hier muss man noch verstehen, wie maschinelles Lernen im Allgemeinen strukturiert ist und was Umschulung ist. Es ist auch wichtig zu wissen, welche Modelle und Ideen existieren, um sie zu Hause anwenden zu können. Ein wichtigerer Faktor ist die Motivation, der Wunsch zu tauchen und das interne Interesse. Wenn eine Person einen gut gelesenen Verstand, ein Verständnis des Fachgebiets und die Präsenz ihrer eigenen Ideen hat, kann sie besser Artikel schreiben und sich in unserem Fachgebiet positionieren.

Dmitry:Was schaffen Sie zusätzlich zur Leitung des Labors und zur Teilnahme an der Arbeit der Stationen? Auf die eine oder andere Weise muss man sich mit Lösungen befassen, diese verstehen, vorschlagen und Fehler korrigieren. Haben Sie persönliche Projekte von Drittanbietern? Vielleicht sieht dein Tag irgendwie besonders aus? Oder gehen alle Bemühungen nur um Profilaktivitäten, und ist es Ihr Hobby?

Andrei: Mein Alltag ist nicht wie der andere. Zum Beispiel war ich im November weniger wahrscheinlich in St. Petersburg als nicht in St. Petersburg. Es ist unmöglich zu sagen, dass ich zu der einen oder anderen Zeit eine konstante regelmäßige Aktivität habe. Ich versuche aufzuschreiben, was ich in einem Monat tun möchte. Um beispielsweise so viele Artikel zu lesen, sprechen Sie mit Ihren Doktoranden und verteilen Sie Aufgaben, je nachdem, wo ich bin, was ich tue und welche Faktoren dies beeinflussen.

Seit meiner Kindheit wollte ich Wissenschaft machen, ich widme sie gerne die ganze Zeit. Das Management des Labors ist zwar keine Wissenschaft. Organisatorische und wissenschaftliche Aktivitäten sind zwei verschiedene Dinge. Normalerweise interessieren sich Wissenschaftler nicht besonders für Organisation und Bürokratie. Wenn es einer Person gelingt, gut zurechtzukommen, hat sie keine Zeit, tief in die Aufgabe einzutauchen. Leider kann ich es nicht effektiv kombinieren: Entweder fange ich an, mich mit der Führung auseinanderzusetzen und aus dem Zusammenhang zu geraten, oder ich beginne mit der Forschung, und der Organisationsprozess beginnt. Jetzt versuche ich, den Ansatz zu überdenken. Unser Labor hat einen Manager, Ivan Smetannikov, wir haben Verwaltungspersonal, aber es gibt immer noch nicht genug Personal.

Führung ist ein komplexer und stressiger Prozess, der viel Zeit in Anspruch nimmt. Dies ist ein notwendiges Übel, um sich an wissenschaftlichen Aktivitäten zu beteiligen und mehr als ein spezifisches Problem zu lösen. Ich könnte ein leitender Forscher sein und mich mit einer oder mehreren Aufgaben befassen, aber auf diese Weise können Sie sich mit einer großen Anzahl von Themen befassen, und es ist immer interessanter - zu tauchen, zu entladen, Lösungen zu finden. Für mich ist es interessanter, eine Lösung zu finden, als sie zu implementieren und zu überprüfen. Andere Leute tun dies, aber dies ist keine Delegation von Routine.

In einer Studie kann man fast nie sagen: "Tu das!" Sie sagen vielmehr: "Versuchen Sie dies und denken Sie darüber nach." Sie können einer Person eine Richtung geben, Hinweise geben, sie hat absolut keine Routinearbeit. Wenn Sie sagen: "Versuchen Sie, dieses Problem zu lösen", wird jemand Erfolg haben, jemand jedoch nicht. Es ist nicht immer klar, wo man anfangen und wo man suchen soll. Irgendwo leite ich nur, irgendwo stelle ich eine Aufgabe, irgendwo rolle ich fast eine Lösung aus.

Dmitry: Und wählen Sie diejenigen aus, die in verschiedenen Bereichen tätig sein werden?

Andrei: Wir diskutieren mit jedem, was er tun möchte und worum es bei seiner Forschung geht.

Dmitry: So ein persönlicher Ansatz?

Andrew:Na sicher. Viele Studien zum maschinellen Lernen sind ganz individuelle Dinge. Es ist klar, dass Menschen in Gruppen zusammenarbeiten und etwas gemeinsam tun, aber eine Person zu etwas zu zwingen, ist ein ineffektiver Ansatz. Es kommt vor, dass er keine Vorlieben hat und zu etwas eingeladen werden kann. Er kann sich engagieren. Aber wenn ein Mensch nicht hineingezogen wird, hat er keine intrinsische Motivation, er wird nicht lesen, er wird sich nicht entwickeln. Er wird ein guter Künstler sein, aber das reicht nicht aus, um gute Forschung zu betreiben. Benötigen Sie persönliches Interesse. Daher ist es notwendig, eine Studie für eine Person auszuwählen.

Dmitry: Welche Quellen oder Literatur empfehlen Sie für diejenigen, die vom Programmieren im weiteren Sinne zum Thema maschinelles Lernen übergehen möchten?

Andrew: Die Hauptempfehlung - Kurseauf Coursera von Andrew Eun (Andrew Ng). Es gibt tiefere Kurse an der Higher School of Economics. Es ist wichtig, dass es Übung gibt. Beim maschinellen Lernen geht es darum, wie Algorithmen wirklich mit Daten arbeiten. Dies ist alles andere als mathematisch, da Daten Einfluss darauf haben, was Sie damit tun müssen. Sie können dies beim Lernen spüren, es gibt viele Fallstricke und Besonderheiten im Code. Ich kann die Bücher empfehlen: Deep Learning von Sergei Nikolenko, dem klassischeren Hesti, Tibshirani, Friedman oder dem völlig klassischen Bischof . Natürlich ist es etwas veraltet, aber Sie können eine gute Idee machen.


Podcast kocht und führt dmitrykabanov.

Zusätzliche Lektüre:



Startups der ITMO University (unsere englischsprachigen Materialien zu Habré):


More articles:


All Articles