ארכיון

Posts Tagged ‘אתר מראה’

ניתוח העומס על אתר המראה

חמישה ימים עברו מאז שיצאה גרסה 11.04 של אובונטו (וגם גרסה 4.0.1 של פיירפוקס), ורק עכשיו נראה שהעומס על השרת מתחיל לרדת. העומס אינו משאבי מחשב (מעבד, זיכרון וכו') אלא ניצול מלא של רוחב הפס היוצא של השרת (כ-12MB לשניה לרשת הישראלית). אנשי איגוד האינטרנט הסכימו לשחרר את הנתוני התעבורה של השרת לציבור הרחב, והם זמינים בכתובת http://mirror.isoc.org.il/mrtg

עכשיו, שהמידע זמין, אני רוצה קצת להסביר את הגרפים השונים:

  • הגרף השנתי מראה את העליה האיטית אך הקבוע בשימוש באתר המראה. באפריל שנה שעבר המומצע היומי עמד על 3MB והשנה הוא כבר עומס על 6MB. מי שיציץ בגרף יראה כי כמה נקודות שיא מקומיות, ונקודת השיא הכללית היא מהימים האחרונים. יש לנו שם באופן בולט את אובונטו 10.4, 10.10 ו-11.04. גם פדורה דיי בולטת בסוף מאי ותחילת נובמבר. מדריבה 2010.1 עם שיא בסוף יוני ואופן סוזה בתחילת יולי ובמרץ.
  • הגרף החודשי מראה בעיקר את השגרה הדיי ברורה של אתר המראה, עם שיא תנועה באזור חצות ולאחריו ירידה בתנועה למשך הלילה והתחדשות התנועה באזור 8 בבוקר עד לשיא לקראת סוף היום וטיפה אחרי חצות.
  • הגרף השבועי מאפשר לראות את העומס והשינוי בדרישות מאתר המראה בשבוע האחרון, כאשר התעבורה האופניינית היא קצת פחות מ-9MB במהלך רוב היום לפני העומס ובמהלכו ה-9MB היווה את נקודת המינימום של שבת עם שיפור קל בראשון ושני. בשישי היה עומס דיי קבוע שלא ירד מאזור ה-11 או 12MB.

עומס על אתר המראה

30/04/2011 11 תגובות

ביומיים האחרונים אני מקבל תלונות לגבי איטיות של אתר המראה של איגוד האינטרנט ועמותת המקור. הסיבה העיקרית היא עומס שנובע משחרור כפול של אובונטו ומוזילה. עבור שני הגופים האלה אנחנו מהווים אתר מראה רשמי ומקבלים תנועה שמקורה בישראל.

אני מאוד מרוצה מהעובדה שיש עומס כתוצאה משחרור של גרסה חדשה – סימן שאנשים משתמשים בשירות שלנו ואנחנו לא עובדים לחינם. אבל מצד שני, צריך לזכור כי יש שרת עיקרי שמספק את רוב התעבורה בארץ. אולי הגיע הזמן שעוד כמה אתרי מראה נוספים יכנסו לעניינים באופן משמעותי יותר.

מי שמתלונן על מהירות הורדה מזעזעות של קבצי ISO גדולים, מומלץ שיוריד את הקבצים ע"י P2P כדי להקל לכולם על החיים, וגם כדי לתרום קצת מרוחב הפס שלו לעניין. אפשרות נוספת היא שימוש ב-Jigdo לשם בניית קובץ ה-ISO מתוך קבצי החבילות עצמם.

נ.ב.

עוד לא נתקלתי במישהו שהפסקה של 24-48 שעות בעדכוני החבילות הרגו אותו. תפסיקו להיות קטנוניים.

סודרה תקלה באתר המראה של פדורה

במסגרת איזה בדיקה שגרתית, שמתי לב בסופ" שאתר המראה של פדורה לא התעדכן כבר כמעט חודש. פאק לא נעים, אבל אני מניח שהעיסק באוגוסט פינגווין עשה את שלו.

אתר המראה שסיפק את הקבצים חסם לי את הגישה וסירב לחיבורים. כתוצאה מבעיה בסקריפט, גם לא קיבלתי התראות על הבעיה (תירוצים… אני יודע). בכל מקרה הנושא תוקן.

החלטתי לנצל את ההזדמנות כדי לעבור לסנכרן מאתר מראה יותר רשמי של פדורה, ואחרי סידור ההרשאות המתאימות (יש יתרונות להיות אתר מראה רשום), יכולתי לקבל גישה לאחד מהשרתים בשכבה השניה של אתרי המראה של הפרוייקט.

הסנכרון האחרון היה שהסתיים תקין היה קצת אחרי השחרור של פדורה 13, ומאז יצאו לא מעט עדכונים לחבילות וגרסת אלפא של פדורה 14 מהימים האחרונים. סה"כ לא מעט שינויים. סנכרון כזה טבעו שיקח זמן, ובסופו של דבר לקח כמעט 36 שעות.

רציתי להביא כאן את הפלט של סיכום הריצה של rsync מאחר ומדובר באמת בעדכון משמעותי. נפח אתר המראה הוא 540GB (וזה עוד אחרי סינון שאני עושה לגרסאות ישנות כדי לחסוך במקום). גודל העדכון הוא 70GB.

מתוך ה-70GB שצריך לעדכן, נמצא מידע תואם של 20GB ולכן נשאר להעביר 50GB "בלבד". המידע שנמצא תואם זה במקרים רבים קבצים שרק חלקים מהם השתנו או שקבצים שיש מידע (חלקי) זהה בקבצים בעלי שם דומה באותה ספריה.

Number of files: 314534
Number of files transferred: 27801
Total file size: 543.18G bytes
Total transferred file size: 71.46G bytes
Literal data: 50.55G bytes
Matched data: 20.91G bytes
File list size: 11.88M
File list generation time: 17.495 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 81.56M
Total bytes received: 50.59G

sent 81.56M bytes received 50.59G bytes 621.96K bytes/sec
total size is 543.18G speedup is 10.72

:קטגוריותFedora, Hamakor תגיות:

רשימת אתרי מראה בישראל

לפני שנה וחצי, הבנתי שצריך לעדכן את רשימת אתרי המראה בארץ. ואפילו פרסמתי בקשת עזרה כי לא הגעתי לבצע את זה בעצמי. היום, בשעה טובה, פניתי קצת זמן ויצרתי רשימה עדכנית של אתרי מראה בישראל.

ההבדל הוא שאז (לפני שנה וחצי) הייתי צריך לערוך את רשימת האתרים ב-HTML ולעדכן בשני אתרי המראה שאני מתחזק (העמותה ואיגוד האינטרנט). אך מאז הצטרף הוויקי לרשימת כלי העבודה של העמותה, וזהו בהחלט המקום לרשימת שכזאת שצריכה להתעדכן באופן תדיר.

תוך כדי התיעוד גם גליתי כמה אתרי מראה שלא ידעתי עליהם, כך שאני בכלל מרוצה מהתוצאה (לא ידעתי של-Apache יש שלושה אתרי מראה בארץ). ועל הדרך גם תיעדתי איזה מהאתרים מופיעים ברשימות של הפרוייקטים ואיזה קיבלו כתובת רשמית של הפרוייקט.

כדי לסגור את הסיפור, מחקתי את הרשימות משני אתרי המראה שאני מתחזק ושמתי קישור לעמוד בוויקי. כך שמהיום לעדכן צריך רק פעם אחת ובקלות.

:קטגוריותHamakor, ISOC-IL, Israeli Community תגיות:

אתר מראה רשמי ל-CentOS

אתר המראה של CentOS קיים כבר תקופה ארוכה במסגרת אתר המראה של עמותת המקור ואיגוד האינטרנט. למרות זאת, בתקופה האחרונה גיליתי כי האתר נעדר מהרשימות של CentOS עצמם ואין הפניה אליו לשם הורדות (וחבל) או עדכוני חבילות.

נדרשו מספר פניות כדי שהם ישימו לב לעניין, והחל מיום שישי מופיע ברשימת אתרי המראה של ההפצה ומנוטר ע"י ההפצה.

במהלך הבדיקות, נחשפתי לגם לשילוב של מנגנון אתרי המראה במערכת החבילות, כאשר ההפניה להורדת חבילות מבוצעת לא לאתר מראה סטטי אלא לסקריפט של CentOS שמחזיר למנהל החבילות רשימה של אתרי מראה על פי מיקום גיאוגרפי (GeoIP) ועל פי רמת העדכניות שלהם. לדוגמה, רשימת אתרי המראה עבור החבילות של מערכת ההפעלה עבור x86_64.

:קטגוריותISOC-IL, RedHat תגיות:

עדכוני מוזילה מאתר מראה ישראלי

24/07/2010 4 תגובות

גרסה 3.6.8 של פיירפוקס שוחררה אתמול בנוהל מזורז. ההודעה למנהלי אתרי המראה יצאה במקביל לשחרור הקבצים (אך טיפה לפי ההכרזה הרשמית). מאחר והעדכון נראה דחוף מספיק כדי לשחרר אותו זמן כל כך קצר אחרי 3.6.7, דאגתי לסנכרון מיידי של אתר המראה של מוזילה על גבי השרת של איגוד האינטרנט.

עניתי בחזרה לחבר'ה של מוזילה על כך שהעדכון הסתיים תקין עבור האתר מראה הישראלי. בתגובה, הוכנס שיפור לתוכנה של מוזילה שאחראית על הפניית ההורדות לאתרי המראה על בסיס מיקום גיאוגרפי. רוב התנועה מישראל תופנה מעכשיו והלאה לאתר המראה הישראלי במקום לחו"ל, דבר שצפוי לקצר באופן משמעותי את זמן ההורדה.

תומר עודכן בנעשה, והשינוי אף מופיע בהודעה של מוזילה ישראל לגבי גרסה 3.6.8. אני מקווה לקבל דיווחים חיוביים לגבי קיצור זמן ההורדה.

:קטגוריותISOC-IL, Mozilla תגיות:

עדכונים מאתר המראה של איגוד האינטרנט

14/11/2009 10 תגובות

מאחר ואנחנו בעיצמו של גל שחרורי גרסאות חדשות (מנדריבה, אובונטו, אופן סוזה ופדורה), אתר המראה מנסה לעמוד בקצב כדי לספק את הקבצים. הדבר מאוד תלוי במדיניות של ההפצות לגבי אתרי המראה.

חלק מההפצות מזרימות את הקבצים מראש לאתרי המראה כדי לאפשר זמינות מיידית שלהם עם הודעת השחרור, הפצות אחרות משחררות את הקבצים רק לאחר הודעת השחרור ובכך גורמות לעיכוב של כמה ימים בשחרור הקבצים לאתרי המראה.

כמובן שיש גם תלות בהגדרות של אתרי המראה אצלנו, חלקים יקבלו כל שינוי שקורה באתרים בחו"ל, ועבור חלקם יש צורך להכליל גרסאות ספציפיות (מה שאומר שינוי ידני עבור כל גרסה חדשה שיוצאת).

המצב כרגע:

  • אובונטו 9.10 – סונכרן (בוצע סנכרון מקדים).
  • אופן סוזה 11.2 – סונכרן.
  • מנדריבה 2010.0 – בתהליך סנכרון.
  • פדורה 12 – בתהליך סנכרון (תהליך מקדים לשחרור).

נתון מעניין: נפח התעבורה היוצאת מאתר המראה עומדת על אזור ה-4.5 טרה בחודש.