Uploaded image for project: 'Kudu'
  1. Kudu
  2. KUDU-2528

thirdparty downloads aren't always retried

    XMLWordPrintableJSON

    Details

    • Type: Bug
    • Status: Resolved
    • Priority: Major
    • Resolution: Fixed
    • Affects Version/s: 1.8.0
    • Fix Version/s: 1.8.0
    • Component/s: build
    • Labels:
      None

      Description

      From time to time we see builds that fail in download-thirdparty.sh. Here's an example:

      Fetching zlib-1.2.8.tar.gz from http://d3dr9sfxru4sde.cloudfront.net/zlib-1.2.8.tar.gz
        % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                       Dload  Upload   Total   Spent    Left  Speed
      
        0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
        0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:03 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:04 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:05 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:06 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:07 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:08 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:09 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:10 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:11 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:12 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:13 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:14 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:15 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:16 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:17 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:18 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:19 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:20 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:21 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:22 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:23 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:24 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:25 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:26 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:27 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:28 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:29 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:30 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:31 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:32 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:33 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:34 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:35 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:36 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:37 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:38 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:39 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:40 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:41 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:42 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:43 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:44 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:45 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:46 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:47 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:48 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:49 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:50 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:51 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:52 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:53 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:54 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:55 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:56 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:57 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:58 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:00:59 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:00 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:01 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:02 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:03 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:04 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:05 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:06 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:07 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:08 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:09 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:10 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:11 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:12 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:13 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:14 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:15 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:16 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:17 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:18 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:19 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:20 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:21 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:22 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:23 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:24 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:25 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:26 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:27 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:28 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:29 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:30 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:31 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:32 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:33 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:34 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:35 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:36 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:37 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:38 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:39 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:40 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:41 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:42 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:43 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:44 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:45 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:46 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:47 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:48 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:49 --:--:--     0
        0     0    0     0    0     0      0      0 --:--:--  0:01:50 --:--:--     0
        0  557k    0     0    0     0      0      0 --:--:--  0:01:50 --:--:--     0
      curl: (56) Recv failure: Connection reset by peer
      

      Even though we pass --retry to curl, this doesn't retry all failures. We should probably build a loop into this to make retries more robust.

        Attachments

          Activity

            People

            • Assignee:
              adar Adar Dembo
              Reporter:
              adar Adar Dembo
            • Votes:
              0 Vote for this issue
              Watchers:
              1 Start watching this issue

              Dates

              • Created:
                Updated:
                Resolved: