काफी अक्सर आवधिक गणना और आत्मनिर्भर डेटा पर एक समेकित रिपोर्ट की तैयारी की आवश्यकता होती है। उन। फ़ाइलों के रूप में संग्रहीत डेटा के अनुसार। यह खुले स्रोतों, विभिन्न दस्तावेजों और एक्सेल टेबल, कॉर्पोरेट सिस्टम से डाउनलोड से एकत्र किए गए डेटा हो सकते हैं। कच्चा डेटा कई मेगाबाइट या कई गीगाबाइट ले सकता है। डेटा का प्रतिरूपण किया जा सकता है या इसमें गोपनीय जानकारी हो सकती है। मामले में जब गणना कोड रिपॉजिटरी में रखा जाता है, और एक से अधिक कंप्यूटरों पर एक से अधिक लोगों द्वारा कार्य संचालित किया जाता है, तो कोड और डेटा की स्थिरता बनाए रखने की समस्या उत्पन्न होती है। इस मामले में, कोड और डेटा के विभिन्न एक्सेस अधिकारों के अनुपालन को सुनिश्चित करना अभी भी आवश्यक है। क्या करें?

यह पिछले प्रकाशनों का एक सिलसिला है ।

RStudio अब pinsइस समस्या को हल करने के लिए सक्रिय रूप से एक पैकेज विकसित कर रहा है। दुर्भाग्य से, उपयोग किए गए बैकएंड समाधान हमारे देश की विशालता में उपयोग करने के लिए कुछ अलोकप्रिय और महंगे हैं। AWS, Azure, Google क्लाउड ... हर एक के लिए आपको भुगतान करना होगा, भंडारण और यातायात के लिए। AWS4 pinsअभी तक प्रमाणीकरण का समर्थन नहीं करता है, इसलिए यांडेक्स क्लाउड भी किनारे पर है, हालांकि यह मुफ़्त नहीं है।

दूसरी ओर, विशिष्ट कार्यों पर काम करने वाले विश्लेषकों की टीम आमतौर पर छोटी होती है (5-10 से अधिक लोग नहीं)। कई लोग भुगतान या मुफ्त प्रारूप में Google ड्राइव, वन ड्राइव आदि का उपयोग करते हैं। पहले से ही अर्जित संसाधनों का लाभ क्यों नहीं उठाते? नीचे संभव वर्कफ़्लोज़ में से एक है।

समग्र योजना

1. गणना मशीन पर स्थानीय रूप से की जानी चाहिए, जिसका अर्थ है कि मशीन में गणना के लिए आवश्यक सभी डेटा की वास्तविक प्रतिकृति होनी चाहिए।
2. कोड को संस्करण नियंत्रण में होना चाहिए। डेटा को किसी भी तरह से गिरना नहीं चाहिए (संभावित मात्रा और गोपनीयता)। हम प्रोजेक्ट में एक अलग फ़ोल्डर में डेटा प्रतिकृति (या इसमें शामिल है .gitignore), या प्रोजेक्ट के सापेक्ष एक बाहरी निर्देशिका में संग्रहीत करेंगे ।
3. डेटा मास्टर को Google ड्राइव द्वारा संग्रहीत किया जाएगा। हम इसमें निर्देशिका तक पहुंचने के अधिकार रखते हैं।

यह छोटे के लिए मामला है। क्लाउड के साथ स्थानीय डेटा प्रतिकृति की सिंक्रनाइज़ेशन कार्यक्षमता को लागू करना आवश्यक है। प्राधिकरण और प्रमाणीकरण Google द्वारा प्रदान किया गया है।

नीचे कोड है।

library(googledrive)
library(memoise)
#    google disk
drive_user()
updateGdCache(here::here("data/"), cloud_folder = "XXX___jZnIW3jdkbdxK0iazx7t63Dc")

updateGdCache <- function(local_folder, cloud_folder){
  #     
  cache_fname <- "gdrive_sig.Rds"
  # 0.  memoise     
  getGdriveFolder <- memoise(function(gdrive_folder){
    drive_ls(as_id(gdrive_folder), recursive = FALSE)
  })

  # 1.        
  cloud_gdrive_sig <- purrr::possibly(getGdriveFolder, NULL)(cloud_folder)
  #          ,     
  if(is.null(cloud_gdrive_sig)) {
    message("Some Google Drive issues happened. Can't update cache")
    return()
  }
  # 2.       
  fdir <- if(fs::is_dir(local_folder)) local_folder else fs::path_dir(local_folder)

  # 3.       
  local_files <- fs::dir_ls(fdir, recurse = FALSE) %>%
    fs::path_file()

  # 4.        
  local_gdrive_sig <- purrr::possibly(readRDS, NULL, quiet = TRUE)(fs::path(fdir, cache_fname))
  if(is.null(local_gdrive_sig)){
    #    ,   ,     
    #  ,   
    local_gdrive_sig <- cloud_gdrive_sig %>%
      dplyr::filter(row_number() == -1)
  }
  #         
  local_gdrive_sig <- local_gdrive_sig %>%
    dplyr::filter(name %in% local_files)

  # 5.      ,    ,   
  #  ,       
  reconcile_tbl <- cloud_gdrive_sig %>%
    dplyr::rename(drive_resource_cloud = drive_resource) %>%
    dplyr::left_join(local_gdrive_sig, by = c("name", "id")) %>%
    tidyr::hoist(drive_resource_cloud, cloud_modified_time = "modifiedTime") %>%
    tidyr::hoist(drive_resource, local_modified_time = "modifiedTime") %>%
    # TODO:   ,       
    #       = NA
    dplyr::mutate(not_in_sync = is.na(local_modified_time) | cloud_modified_time != local_modified_time)

  # 6.    
  syncFile <- function(fpath, id){
    res <- purrr::possibly(drive_download, otherwise = NULL)(as_id(id), path = fpath, overwrite = TRUE, verbose = TRUE)
    ifelse(is.null(res), FALSE, TRUE)
  }
  #  ,        ,   
  sync_gdrive_sig <- reconcile_tbl %>%
    dplyr::filter(not_in_sync == TRUE) %>%
    dplyr::mutate(fpath = fs::path(fdir, name)) %>%
    dplyr::mutate(sync_status = purrr::map2_lgl(fpath, id, syncFile)) %>%
    dplyr::select(name, id, sync_status)

  # 7.      ,   
  #   
  cloud_gdrive_sig %>%
    #   
    dplyr::anti_join(dplyr::filter(sync_gdrive_sig, sync_status == FALSE), by = c("name", "id")) %>%
    saveRDS(fs::path(fdir, cache_fname))
}

पथ के रूप में फ़ोल्डर पहचानकर्ता को निर्दिष्ट करें, आप इसे ब्राउज़र के एड्रेस बार से ले सकते हैं। पहचानकर्ता अपरिवर्तित रहेगा भले ही फ़ोल्डर को ड्राइव में ले जाया गया हो।

सरल, कॉम्पैक्ट, सुविधाजनक और मुफ्त।

टिप्पणियों की जोड़ी

1. gargle0.4.0 संस्करण के लिए एन्कोडिंग के साथ समस्याएं हैं । देव संस्करण को लोड करना आवश्यक है। अधिक जानकारी यहाँ ।
2. RStudio सर्वर पर प्राधिकरण के साथ समस्याएँ हैं " RStudio सर्वर से प्राधिकृत करने में असमर्थ # 79 {बंद}" , लेकिन वर्कअराउंड के लिए विचार यहां मिल सकते हैं ।

पिछला प्रकाशन - "प्रोग्रामिंग और क्रिसमस ट्री, क्या उन्हें जोड़ा जा सकता है?" ।