1._Gdzie szukać i jak rekrutować specjalistów data science.

Czy rekrutacja data scientist jest jak polowanie na jednorożca? Czy standardowe metody rekrutacji sprawdzają się przy szukaniu takich pracowników? Czy zatrudniać data scientist, a może lepiej go sobie ‘wychować’? Jakie cechy powinien mieć dobry data scientist? Co liczy się w procesie rekrutacji doświadczenie czy wykształcenie? Kombinacja obu tych cech, a może jeszcze coś innego?

2. Automatyzacja i masowe wykorzystanie wyników pracy badacza danych na klastrze Hadoop – przydatne narzędzia, biblioteki i technologie.

– Czym różni się badacz danych od osób odpowiedzialnych za działanie środowisk podejmowania decyzji?

– Czym de facto jest wynik pracy badacza? W jakiej formie i postaci te wyniki są dostępne? Czy są to kody scoringowe? Czy wizualizacje i raporty? A może po prostu dane?

– W jaki sposób skutecznie przejść z procesu analizy danych do wspierania podejmowania decyzji w procesach biznesowych?

– Jaki jest oczekiwany/akceptowalny time-to-market na wdrożenie modelu?

– Jak skutecznie budować masowe ilości modeli analitycznych?

– W jaki sposób zbudować pomost pomiędzy strategią organizacji a właściwym wykorzystywaniem modeli analitycznych do wsparcia podejmowania decyzji?

– Monitorowanie jakości modeli? Jak zrealizować zamknięcie cyklu życia modeli pomiędzy środowiskiem podejmowania decyzji a budowania i odkrywania modeli?

3. Przetwarzanie strumieni dużych danych w czasie rzeczywistym – dostępne technologie, ich zalety i wady.

Wiemy jak przetwarzać i analizować dużo danych. Ale czy wiemy jak je przetwarzać i analizować kompleksowo i szybko – na bieżąco? Jak wyciągać wnioski ze zdarzeń w momencie, gdy one się dzieją? Jak automatyzować i odpalać działania w momencie samego zdarzenia? Jak gromadzić i udostępniać dane, by móc wspierać takie wymagające procesy real-time? Jak podglądać, eksplorować i analizować takie ciągle płynące zdarzenia? I w końcu jakich technologii użyć do tych działań? Chciałbym przy tym stoliku podyskutować o architekturach i technologiach używanych do realizacji analityki i kompleksowego przetwarzania zdarzeń w czasie rzeczywistym, oczywiście w sposób rozproszony, skalowalny i niezawodny. Niektóre z technologii o których chciałbym porozmawiać to: Kafka, Spark Streaming, Storm, Samza, Flink, Druid, Hbase, Cassandra.

4. Nie tylko Spark – czyli czy i jak inne batchowe narzędzia (np. Crunch, Scalding, Pig) mogą być efektywnie wykorzystane do przetwarzanie dużych ilości danych.

Ostatnimi czasy Spark to naprawdę gorący temat. Na wielu konferencjach prezentacje o nim przeważają. Czy słusznie? Czy nie ma alternatyw? A jeśli są to co je odróżnia? Czy jesteśmy w stanie wybrać “lepiej” i pracować z innymi narzędziami sprawniej i wygodniej? Na przykładzie narzędzi różnej klasy przyjrzymy się temu zagadnieniu.

5. Szukanie igły w stogu siana, czyli wyszukiwanie pełno tekstowe w dużych ilościach danych przy użyciu technologii takich jak Solr i Elasticsearch

Trudno sobie dziś wyobrazić serwisy internetowe, wewnętrzne systemy, intranety czy e-commerce bez wyszukiwania pełno tekstowego. Ale przed jakimi wyzwaniami staje zespół, którego zadaniem jest wdrożenie takiego systemu? Jakie najczęściej napotyka problemy przy przetwarzaniu dokumentów, analizie tekstu, jak rozwiązuje pułapki językowe? Jak zbudować model danych? Co robić, aby wyszukiwarka zwracała trafne wyniki i co to w ogóle znaczy, że wyszukiwarka działa dobrze? Te wszystkie tematy są związane z jakością wyszukiwania, ale w czasach przetwarzania dużych zbiorów danych pojawiły się kolejne: właściwie zaprojektowana architektura, skalowanie, zapewnienie wydajności na poziomie spełniającym oczekiwania użytkowników. Zapraszam do dyskusji na wymienione tematy oraz podzielenia się własnymi doświadczeniami w obszarze wdrażania systemów wyszukiwania pełno tekstowego.

6. Wizualizacja danych – jak wizualizować duże, złożone i zaśmiecone dane oraz jakich technologii używać

“Jeden obraz mówi więcej niż tysiąc słów”. A jeżeli mamy setki milionów rekordów, to jak ten obraz powinien wyglądać, by ta maksyma nadal była prawdziwa? Jak pokazać dane, których jest mnóstwo? Czy i jak uwzględniać dane “zaśmiecone” lub niepełne? Czy tradycyjne wizualizacje mogą się sprawdzić, czy potrzebne są zupełnie nowe pomysły? Jak pomóc Użytkownikom zobaczyć i zrozumieć dane? Jak przy pomocy wizualizacji ułatwić wnioskowanie? Co mamy do dyspozycji?

Marek Jelenik, NewDataLabS

7. Szybki SQL na klastrze Hadoop – kłopot bogactwa, czy brak idealnego rozwiązania?

“Szybki .. Hadoop” – oksymoron? W jaki sposób interaktywnie (słowo-klucz) przetwarzać duże dane, jak je wygodnie eksplorować, czy SQL jest do tego najlepszy? Jakie rozwiązania SQL-on-Hadoop są dostępne, jak zaawansowane są (w porównaniu z tradycyjnymi silnikami SQL), jakie mają problemy, jak się pozycjonują? Kiedy można sie spodziewać dojrzałych rozwiązań w tej przestrzeni.

8. Duże dane i duże wydatki – finansowe aspekty wdrożenia technologi Big Data w organizacji.

Gromadzimy coraz więcej danych, wierzymy, że zawierają cenne informacje. Aby dane nie były tylko suchymi faktami trzeba dodać do nich kontekst dzięki któremu nabierają nowego sensu. Pojawia się wówczas pytanie w jaki sposób robić efektywnie obliczenia aby uzyskać biznesowe korzyści z analizy ogromnych i wciąż szybko rosnących zbiorów danych.
Czy w mojej firmie jest potrzebne rozwiązanie typu Big Data ? Jeśli odpowiedź jest twierdząca to pojawia się kolejne . Jak zbudować takie rozwiązanie ? Czy kupić gotowe rozwiązanie u jednego z dostawców IT czy też zbudować samemu ? Czy opierać to na własnej infrastrukturze czy też skorzystać z usług chmurowych ? Jak duży klaster potrzebuje do moich obliczeń ? Czy zbudować większy na dłużej czy mniejszy i rozbudowywać na bieżąco? Ile to będzie kosztowało ? Jak przekonać zarząd, że taka inwestycja przyniesie oczekiwany zwrot z inwestycji ? Co należy przewidzieć na etapie utrzymania bo przecież technologia ciągle się rozwija ? Czy koszty ograniczają się tylko do technologii ? Czy mam specjalistów którzy potrafią efektywnie wykorzystać zbudowane rozwiązanie techniczne ? Każdy projekt budowy platformy Big Data jest unikalny i każdy przynosi liczne doświadczenia dlatego warto wymieniać wiedzę aby nie popełniać tych samych błędów.

9. Zarządzanie danymi i harmonogramowanie procesów na klastrze Hadoop.

Dążymy do tego, żeby na HDFS trafiało jak najwięcej różnorodnych danych, żeby umożliwić analitykom odkrywanie nowych zależności i budowanie zaawansowanych modeli. Szybko może okazać się jednak, że nie sposób zapanować nad ogromną liczbą zbiorów danych czy procesów przetwarzających te dane. Jakie techniki i narzędzia mogą pomóc zarządzać danymi? Jakich narzędzi użyć do harmonizowania i cyklicznego uruchamiania procesów? Jakich funkcjonalności jeszcze brakuje? Podczas dyskusji postaramy się wymienić doświadczeniami poruszając się w obrębie tej tematyki.

10. Dokąd zmierza Big Data?

Minęło ponad 10 lat od powstania Hadoopa… Wydaje się że obecnie jego najbardziej istotną składową HDFS raczej niż MapReduce. Sam HDFS zbiera jednak sporo krytyki jako niefektywny a i następujące zmiany w architekturach komputerowych (rosnąca dostępność bardzo szybkich pamięci masowych przy ciągle ograniczonych możliwościach przetwarzania przez CPU, przenoszenie obliczeń na GPU) wymuszają zmiany którym sprostać wydawać się mogą jedynie rewolucje w sposobie przetwarzania Big Data. Zarówno na warstwie przetwarzania danych (Spark, Impala, Drill) jak i dostępu do danych (np. Kudu) pojawiają sie rozwiązania gdzie Hadoop jest raczej dodatkiem niż głownym elementem układanki. Czy taki proces będzie dalej postępował? Jakich modeli przetwarzania można spodziewać się w następnych latach? Czy GPU zastąpią CPU w Big Data?

11. Wykorzystanie algorytmów uczenia maszynowego w przetwarzaniu dużych zbiorów danych w czasie rzeczywistym

Konsekwencją szybkiego rozwoju technologii Big Data jest coraz szersze zastosowanie technik uczenia maszynowego. Uczenie maszynowe pomaga w rozwiązywaniu wielu zagadnień Big Data takich jak rekomendacje, profilowanie, klasyfikacja czy klasteryzacja. Istnieje już wiele algorytmów, technologii i narzędzi pozwalających stosować uczenie maszynowe do batchowego (offline-owego) przetwarzania dużych zbiorów danych. Pytanie czy i jak możemy zastosować uczenie maszynowe dla danych spływających w czasie rzeczywistym? Jak zastosować algorytmy machine learning w dynamicznych systemach, gdzie uczony model musi być maksymalnie aktualny? Jak dobrze wykorzystać rozwiązania takie jak Spark Streaming z MLLib czy Mahout? Jak wykorzystać do przetwarzania online znane algorytmy przetwarzania offline? Na te i inne pytania postaramy się odpowiedzieć w naszej dyskusji.

2. Demokratyzacja Hadoop, czyli w jaki sposób wyjść z platformą Big Data poza grono specjalistów od Hadoop do analityków i użytkowników biznesowych.

– Czy możliwe jest, aby użytkownik biznesowy nie posiadający specjalistycznej wiedzy technicznej skorzystał z mocy i możliwości platformy hadoop?

– W jaki sposób jest to możliwe? W jaki sposób powinny być zbudowane narzędzia użytkownika (zarówno ładowanie danych jak i ich analiza i konsumpcja) aby umożliwiać demokratyzację?

– Czy demokratyzacja Hadoop oznacza tylko szerokie udostępnianie wyników analiz, a może danych zebranych w klastrze czy także otwarcie go na wprowadzanie nowych danych przez użytkowników?

– Dyskusja o przykładach zastosowania takiego podejścia w różnych branżach

– Jak właściwie budować i utrzymywać świadomość możliwości platformy hadoop u objętych „demokratyzacją” użytkowników?

– Jak zbudować model i świadomość odpowiedzialności za uzyskiwane wyniki? Jak zadbać o ich porównywalność i poprawność?

3. Przetwarzanie strumieni dużych danych w czasie rzeczywistym – dostępne technologie, ich zalety i wady.

Wiemy jak przetwarzać i analizować dużo danych. Ale czy wiemy jak je przetwarzać i analizować kompleksowo i szybko – na bieżąco? Jak wyciągać wnioski ze zdarzeń w momencie, gdy one się dzieją? Jak automatyzować i odpalać działania w momencie samego zdarzenia? Jak gromadzić i udostępniać dane, by móc wspierać takie wymagające procesy real-time? Jak podglądać, eksplorować i analizować takie ciągle płynące zdarzenia? I w końcu jakich technologii użyć do tych działań? Chciałbym przy tym stoliku podyskutować o architekturach i technologiach używanych do realizacji analityki i kompleksowego przetwarzania zdarzeń w czasie rzeczywistym, oczywiście w sposób rozproszony, skalowalny i niezawodny. Niektóre z technologii o których chciałbym porozmawiać to: Kafka, Spark Streaming, Storm, Samza, Flink, Druid, Hbase, Cassandra.

4. Produkcyjne aspekty związane z wdrażaniem algorytmów uczenia maszynowego w technologiach Big Data.

Czy modelować na całości czy jednak modelować na próbie. Jaki uzysk dostajemy przy trenowaniu lub weryfikacji modeli. Jak zarządzać modelami? Jak utrzymać jakość modeli? Czy warto mieć możliwość uzasadnienia dlaczego model (i który) zaprezentował wynik. Jakie są doświadczenia w tworzeniu modeli compozytowych? Czy warto stosować modele strumieniowe, w jakich przypadkach?

5. Bazy NoSQL – kiedy wybrać Cassandra, a kiedy HBase, a kiedy jeszcze inne rozwiązanie.

Skoro jest tak wiele rozwiazań baz NoSQL, jak stwierdzić która będzie się najlepiej nadawała do potrzeb projektu? A co jeśli wymagania się zmienią? Czy NoSQL są rzeczywiście lepsze od RDBMS? Jak projektować bazy NoSQL? A może są jakieś rozwiązania które pasują do wszystkiego?

6. Wizualizacja danych – jak wizualizować duże, złożone i zaśmiecone dane oraz jakich technologii używać

“Jeden obraz mówi więcej niż tysiąc słów”. A jeżeli mamy setki milionów rekordów, to jak ten obraz powinien wyglądać, by ta maksyma nadal była prawdziwa? Jak pokazać dane, których jest mnóstwo? Czy i jak uwzględniać dane “zaśmiecone” lub niepełne? Czy tradycyjne wizualizacje mogą się sprawdzić, czy potrzebne są zupełnie nowe pomysły? Jak pomóc Użytkownikom zobaczyć i zrozumieć dane? Jak przy pomocy wizualizacji ułatwić wnioskowanie? Co mamy do dyspozycji?

Marek Jelenik, NewDataLabS

7. BI/DWH w erze big data – czyli o integracji narzędzi raportujących z rozproszonymi silnikami obliczeniowymi oraz skalowalnymi kostkami analitycznymi.

Coraz więcej narzędzi big data udostępnia możliwość wykorzystania różnych dialektów języka SQL do formułowania zapytań analitycznych poprzez interfejsy jdbc/odbc, co w znaczący sposób ułatwia integrację z wieloma narzędziami raportującymi. Które z tych narzędzi wybrać, czy można w łatwy sposób przenosić modele danych z RDBMS, czy istnieją skalowalne kostki analityczne i jak i używać – to tyllko niektóre z tematów, które będą poruszane. Technologie-siniki obliczeniowe: Hive, SparkSQL, Presto, Impala, Kudu, Drill, Hawq, Phoenix, Kylin, itd.

9. Wdrażanie infrastruktury Big Data – kluczowe decyzje projektowe.

Choć Hadoop jest jedną z najpopularniejszych technologii na świecie, produkcyjnie wykorzystywaną przez tysiące firm, to wciąż każdorazowe wdrożenie nowej infrastruktury Big Data pociąga za sobą całą serię dylematów. Gdzie zbudować klaster (w chmurze czy w używając własnej infrastruktury), którą z dystrybucji wybrać, na jaki profil węzłów się zdecydować, jakie właściwości klastra zapewnić w pierwszej kolejności (np. obsługa wielu użytkowników, wydajność, bezpieczeństwo), ile klastrów mieć, jakie zasady pracy z klastrem narzucać użytkownikom? Podczas dyskusji postaramy się wymienić doświadczeniami poruszając się w obrębie tej tematyki.

10. Analityka operacyjna w Apache Cassandra z użyciem Spark i Hadoop.

Apache Cassandra jest systemem baz danych przeznaczonym do przechowywania danych operacyjnych i odpowiadania na zapytania w czasie rzeczywistym. Silnik składowania danych nie był nigdy projektowany pod kątem operacji analitycznych. Jednak od pewnego czasu istnieje możliwość uruchamiania zadań Hadoop oraz Spark do bezpośredniej analizy danych składowanych w Cassandrze, przy pomocy dedykowanych Cassandrze implementacji Input/OutputFormat oraz Spark-Cassandra-Connector. Czy taka możliwość jest przydatna? Czego oczekiwać od narzędzi do analizy danych operacyjnych? Jakie rodzaje zapytań / analiz wykonuje się na danych operacyjnych? W jaki sposób modelować dane? Jak projektować systemy aby nie zaszkodzić części odpowiedzialnej za operacje? Czy istniejące narzędzia do integracji Cassandry ze Spark i Hadoop spełniają Wasze oczekiwania, a jeśli nie, to jakimi funkcjami / ulepszeniami bylibyście zainteresowani? Chciałbym, aby dyskusja posłużyła nie tylko do wymiany doświadczeń i wzajemnego wzbogacenia posiadanej wiedzy, ale również pomogła stworzyć lepsze narzędzia w ekosystemie Cassandry / Sparka w niedalekiej przyszłości.

11. Wykorzystanie algorytmów uczenia maszynowego w przetwarzaniu dużych zbiorów danych w czasie rzeczywistym

Konsekwencją szybkiego rozwoju technologii Big Data jest coraz szersze zastosowanie technik uczenia maszynowego. Uczenie maszynowe pomaga w rozwiązywaniu wielu zagadnień Big Data takich jak rekomendacje, profilowanie, klasyfikacja czy klasteryzacja. Istnieje już wiele algorytmów, technologii i narzędzi pozwalających stosować uczenie maszynowe do batchowego (offline-owego) przetwarzania dużych zbiorów danych. Pytanie czy i jak możemy zastosować uczenie maszynowe dla danych spływających w czasie rzeczywistym? Jak zastosować algorytmy machine learning w dynamicznych systemach, gdzie uczony model musi być maksymalnie aktualny? Jak dobrze wykorzystać rozwiązania takie jak Spark Streaming z MLLib czy Mahout? Jak wykorzystać do przetwarzania online znane algorytmy przetwarzania offline? Na te i inne pytania postaramy się odpowiedzieć w naszej dyskusji.