מפגש פיתוח ראשון של עמותת המקור

לאחר כמה התכתבויות ברשימת התפוצה, מפגש הפיתוח הראשון של העמותה יצא לדרך (ותודה ללינוייט על האירוח).

למפגש הגיעו 12 איש, נוכחות יפה למפגש ראשון. לאחר סבב הכרות שגלש קצת לדיונים פה ושם, ניסינו לעבור לקבוצות עבודה. חלק מהאנשים הגיעו עם תוכנית מראש וחלק הצטרפו או אלתרו תוך כדי תנועה.

התכנון שלי למפגש היה לטפל בעניני אתר המראה שקצת נזנח לאחרונה וגם בכמה דברים שקשורים בליברה אופיס.

במהלך המפגש טיפלתי בשני אתרים מראה חדשים – oVirt ו-Kodi. הראשון עוד דורש תיאום מול הפרוייקט והשני נמצא כבר בתהליכי סנכרון (עדכון – אתר המראה זמין כאן: http://mirror.isoc.org.il/pub/kodi/)

מבחינת ליברה, הרצתי בניה של הגרסה כדי לבדוק את התיקון של #85767 והוא אכן נפתר לשביעות רצוני. התיקון עצמו בוצע בשני חלקים, הראשון שהוא גם הפשוט הועבר לגרסה 5.0.4 בעוד שהשני שדורש שינויים קצת יותר רציניים יכלל רק בגרסה 5.1.

במקביל ניסיתי (כמיטב יכולתי) להפנות את מאיה, סטודנטית שהגיע למפגש ורצתה להתעסק בליברה, למקורות כדי להבין מה קורה בקוד של ליברה. היא כבר התחילה להתכתב עם המפתחים של הפרוייקט דרך IRC, ואני מקווה שבקרוב היא גם תוכל לתרום קוד.

הצקתי קצת לירון כדי שיעבוד על התרגום של ליברה, ולקראת סוף המפגש גם תרמתי קצת תרגומים בעצמי (בעיקר אלה שהם fuzzy ודיי קלים לטיפול). התרגום נמצא כרגע על 75% ואני מקווה שנגיע לפחות ל-80% עבור גרסה 5.1 שצפויה לצאת בפברואר. מבחינת ההתחלה – מדובר בנקודת זמן טובה, הקפאת המחרוזות של התוכנה היא באמצע שבוע הבא, ובועד חודש גם יש הקפאת קוד (לוח הזמנים המלא כאן: https://wiki.documentfoundation.org/ReleasePlan/5.1).

בעקבות הערות של יניב על הגרסה העברית של העמוד הראשי בויקי של הפרוייקט, ערכתי אותו והעפתי את הקישורים הישנים ולא רלוונטים.

חדשות אתר המראה (05-2013)

אומנם קצת באיחור, אבל מספר עדכונים לגבי אתר המראה של איגוד האינטרנט מחודש מאי:

1. נוסף אתר מראה של Raspbian, הפצה מבוססת Debian עבור Raspberry Pi. האתר מוכר כאתר מראה רשמי.
2. לקראת ההקאתון של עמותת ויקימדיה, התווסף אתר מראה למאגר git הראשי של MediaWiki.

חדשות אתר המראה (04-2013)

הצטברו מספר עדכונים לגבי אתר המראה של איגוד האינטרנט בחודש אפריל:

1. תקלה זמנית באתר המראה של פדורה לאור מחיקת המידע וסנכרונו מחדש
2. הוספת גרסאות לקראת שחרור של פדורה (אלפא, בטא וכו')
3. עומס חריג למשך כשבוע בעקבות שחרור אובונטו 13.04 (רוב הבקשות הם עבור עדכוני חבילות).
4. פתיחת אתרי מראה למאגרי git, כך שניתן לבצע משיכת קבצים (pull) מהם ללא גישה לשרתים איטיים יותר בחו"ל. כרגע קיימים המאגרים של: לינוקס, PHP, ליברה אופיס ואתר כנסת פתוחה. אשמח לשמוע בקשות לפרוייקטים נוספים. עדכון הכתובת לשם push אפשר לבצע באמצעות הפקודה  git remote set-url --push <name> <newurl>
5. הוספת אתר מראה לפרוייקט VideoLAN, כולל נגן הוידאו VLC.

כשאתר מראה נמחק

לפני כשבוע טעות באחד מאתרי המראה בשכבה השניה של פדורה גרם לכל שאר האתרים שמסנכרנים ממנו (כלומר השכבה השלישית) לאבד את הקבצים. אתר המראה של איגוד האינטרנט היה בין המושפעים מהתקלה. למרות שהחומר נמחק מאתר המראה, יש מקורות אחרים לסנכרון הקבצים, כך ששום נזק משמעותי לא נפגע מעבר לאיזה זמינות של חלק מאתרי המראה.

ניצלתי את ההזדמנות כדי לבצע החלפה של מקור הסנכרון שחיכה הרבה זמן. וכך נראה הסיכום של rsync לסנכרון המלא של אתר המראה של פדורה:

Number of files: 440604
Number of files transferred: 337974
Total file size: 664.45G bytes
Total transferred file size: 526.78G bytes
Literal data: 403.65G bytes
Matched data: 123.13G bytes
File list size: 19.01M
File list generation time: 13.729 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 263.29M
Total bytes received: 403.91G

sent 263.29M bytes  received 403.91G bytes  2.43M bytes/sec
total size is 664.45G  speedup is 1.64

למי שתוהה, ה-100GB שנחסכו הם כתוצאה מסנכרון קודם שהפסקתי באמצע, כדי להוריד הפצות פדורה ישנות שכבר לא נתמכות. באותה הזדמנות גם התווספה תמיכה בגרסאות האלפא והבטא של פדורה שמעכשיו יהיו זמינות גם כן.

הצטרפות לועד איגוד האינטרנט הישראלי

לפני כחודשיים הצגתי מועמדות בבחירות לועד איגוד האינטרנט, אך הגעתי מקום רביעי כאשר היו 3 מקומות פנויים בועד. החודש הצטרפתי כחבר ועד לאיגוד האינטרנט הישראלי, וזאת לאחר שהתפנה מקום לאור סיום תפקידה של פרופ' יהודית בר אילן.

במסגרת תהליך הבחירות התבקשתי לכתוב פרופיל אישי, שכולל בין השאר את החזון:

קוראים לי ליאור קפלן ואני מגיע מקהילת הקוד הפתוח בישראל. התחלתי להתנדב באיגוד בשנת 2006 ומאז 2009 אני גם חבר באיגוד. מטרתי בהצטרפות לוועד העמותה היא קידום סטנדרטי ה-Web בישראל, ובעיקר בגופי הממשלה. כמו כן, אני מתכנן לפעול למען שקיפות רבה יותר של האיגוד עצמו, שיתוף חברי העמותה והציבור בפעילותו ובדיקה כיצד האיגוד יכול לקדם את תחום האינטרנט בישראל (מעבר לשיפור שירותי רישום וניהול שמות המתחם). כאיש קוד פתוח אני מגיע מרקע של עבודה בשיתוף פעולה בקבוצות וקהילות כמו גם עבודה בשקיפות רבה, את ערכים אלה אני רוצה להטמיע באיגוד.

כמו שאפשר להבין מהניסוח, עולם הקוד הפתוח משמש לי מורה טוב ומקור השראה, ואני מקווה לעמוד בסטנדרטים הגבוהים שהוא מציב גם עבור הפעילות באיגוד האינטרנט.

ניתוח העומס על אתר המראה

חמישה ימים עברו מאז שיצאה גרסה 11.04 של אובונטו (וגם גרסה 4.0.1 של פיירפוקס), ורק עכשיו נראה שהעומס על השרת מתחיל לרדת. העומס אינו משאבי מחשב (מעבד, זיכרון וכו') אלא ניצול מלא של רוחב הפס היוצא של השרת (כ-12MB לשניה לרשת הישראלית). אנשי איגוד האינטרנט הסכימו לשחרר את הנתוני התעבורה של השרת לציבור הרחב, והם זמינים בכתובת http://mirror.isoc.org.il/mrtg

עכשיו, שהמידע זמין, אני רוצה קצת להסביר את הגרפים השונים:

• הגרף השנתי מראה את העליה האיטית אך הקבוע בשימוש באתר המראה. באפריל שנה שעבר המומצע היומי עמד על 3MB והשנה הוא כבר עומס על 6MB. מי שיציץ בגרף יראה כי כמה נקודות שיא מקומיות, ונקודת השיא הכללית היא מהימים האחרונים. יש לנו שם באופן בולט את אובונטו 10.4, 10.10 ו-11.04. גם פדורה דיי בולטת בסוף מאי ותחילת נובמבר. מדריבה 2010.1 עם שיא בסוף יוני ואופן סוזה בתחילת יולי ובמרץ.

• הגרף החודשי מראה בעיקר את השגרה הדיי ברורה של אתר המראה, עם שיא תנועה באזור חצות ולאחריו ירידה בתנועה למשך הלילה והתחדשות התנועה באזור 8 בבוקר עד לשיא לקראת סוף היום וטיפה אחרי חצות.

• הגרף השבועי מאפשר לראות את העומס והשינוי בדרישות מאתר המראה בשבוע האחרון, כאשר התעבורה האופניינית היא קצת פחות מ-9MB במהלך רוב היום לפני העומס ובמהלכו ה-9MB היווה את נקודת המינימום של שבת עם שיפור קל בראשון ושני. בשישי היה עומס דיי קבוע שלא ירד מאזור ה-11 או 12MB.

עומס על אתר המראה

ביומיים האחרונים אני מקבל תלונות לגבי איטיות של אתר המראה של איגוד האינטרנט ועמותת המקור. הסיבה העיקרית היא עומס שנובע משחרור כפול של אובונטו ומוזילה. עבור שני הגופים האלה אנחנו מהווים אתר מראה רשמי ומקבלים תנועה שמקורה בישראל.

אני מאוד מרוצה מהעובדה שיש עומס כתוצאה משחרור של גרסה חדשה – סימן שאנשים משתמשים בשירות שלנו ואנחנו לא עובדים לחינם. אבל מצד שני, צריך לזכור כי יש שרת עיקרי שמספק את רוב התעבורה בארץ. אולי הגיע הזמן שעוד כמה אתרי מראה נוספים יכנסו לעניינים באופן משמעותי יותר.

מי שמתלונן על מהירות הורדה מזעזעות של קבצי ISO גדולים, מומלץ שיוריד את הקבצים ע"י P2P כדי להקל לכולם על החיים, וגם כדי לתרום קצת מרוחב הפס שלו לעניין. אפשרות נוספת היא שימוש ב-Jigdo לשם בניית קובץ ה-ISO מתוך קבצי החבילות עצמם.

נ.ב.

עוד לא נתקלתי במישהו שהפסקה של 24-48 שעות בעדכוני החבילות הרגו אותו. תפסיקו להיות קטנוניים.

רשימת אתרי מראה בישראל

לפני שנה וחצי, הבנתי שצריך לעדכן את רשימת אתרי המראה בארץ. ואפילו פרסמתי בקשת עזרה כי לא הגעתי לבצע את זה בעצמי. היום, בשעה טובה, פניתי קצת זמן ויצרתי רשימה עדכנית של אתרי מראה בישראל.

ההבדל הוא שאז (לפני שנה וחצי) הייתי צריך לערוך את רשימת האתרים ב-HTML ולעדכן בשני אתרי המראה שאני מתחזק (העמותה ואיגוד האינטרנט). אך מאז הצטרף הוויקי לרשימת כלי העבודה של העמותה, וזהו בהחלט המקום לרשימת שכזאת שצריכה להתעדכן באופן תדיר.

תוך כדי התיעוד גם גליתי כמה אתרי מראה שלא ידעתי עליהם, כך שאני בכלל מרוצה מהתוצאה (לא ידעתי של-Apache יש שלושה אתרי מראה בארץ). ועל הדרך גם תיעדתי איזה מהאתרים מופיעים ברשימות של הפרוייקטים ואיזה קיבלו כתובת רשמית של הפרוייקט.

כדי לסגור את הסיפור, מחקתי את הרשימות משני אתרי המראה שאני מתחזק ושמתי קישור לעמוד בוויקי. כך שמהיום לעדכן צריך רק פעם אחת ובקלות.

אתר מראה רשמי ל-CentOS

אתר המראה של CentOS קיים כבר תקופה ארוכה במסגרת אתר המראה של עמותת המקור ואיגוד האינטרנט. למרות זאת, בתקופה האחרונה גיליתי כי האתר נעדר מהרשימות של CentOS עצמם ואין הפניה אליו לשם הורדות (וחבל) או עדכוני חבילות.

נדרשו מספר פניות כדי שהם ישימו לב לעניין, והחל מיום שישי מופיע ברשימת אתרי המראה של ההפצה ומנוטר ע"י ההפצה.

במהלך הבדיקות, נחשפתי לגם לשילוב של מנגנון אתרי המראה במערכת החבילות, כאשר ההפניה להורדת חבילות מבוצעת לא לאתר מראה סטטי אלא לסקריפט של CentOS שמחזיר למנהל החבילות רשימה של אתרי מראה על פי מיקום גיאוגרפי (GeoIP) ועל פי רמת העדכניות שלהם. לדוגמה, רשימת אתרי המראה עבור החבילות של מערכת ההפעלה עבור x86_64.

עדכוני מוזילה מאתר מראה ישראלי

גרסה 3.6.8 של פיירפוקס שוחררה אתמול בנוהל מזורז. ההודעה למנהלי אתרי המראה יצאה במקביל לשחרור הקבצים (אך טיפה לפי ההכרזה הרשמית). מאחר והעדכון נראה דחוף מספיק כדי לשחרר אותו זמן כל כך קצר אחרי 3.6.7, דאגתי לסנכרון מיידי של אתר המראה של מוזילה על גבי השרת של איגוד האינטרנט.

עניתי בחזרה לחבר'ה של מוזילה על כך שהעדכון הסתיים תקין עבור האתר מראה הישראלי. בתגובה, הוכנס שיפור לתוכנה של מוזילה שאחראית על הפניית ההורדות לאתרי המראה על בסיס מיקום גיאוגרפי. רוב התנועה מישראל תופנה מעכשיו והלאה לאתר המראה הישראלי במקום לחו"ל, דבר שצפוי לקצר באופן משמעותי את זמן ההורדה.

תומר עודכן בנעשה, והשינוי אף מופיע בהודעה של מוזילה ישראל לגבי גרסה 3.6.8. אני מקווה לקבל דיווחים חיוביים לגבי קיצור זמן ההורדה.