2019年3月31日

Ceph Storage教學分享計畫

從這篇開始，會陸續將自製的Ceph教學投影片與教學影片分享出來，
整個教學內容的Licence參照與GNU GPL相似的Creative Commons(CC) ShareAlike(SA)分享，
整個部分包括(下載連結包括其中)：
1. 投影片部分
  a. Ceph理論投影片
  b. Ceph安裝操作投影片
  c. Ceph RBD實作操作投影片
  d. Ceph CephFS實作操作投影片
  e. Ceph RadosGW實作操作投影片
  f. 補充資料 - Ceph可靠度評估介紹投影片
  g. 補充資料 - Ceph可靠度評估計算試算表
2. 影片部分
  a. Ceph理論部分
    Chapter 1 Ceph理論講述至Consistent hashing
    Chapter 2 Ceph理論講述至CRUSH MAP
    Chapter 3 Ceph理論講述至Ceph Interface(Ceph理論講述完成)
      Chapter 3 - 1. 影片連結
  b. Ceph 安裝
      Ceph Install - 1
  c. Ceph RBD操作部分
  d. Ceph CephFS操作部分
      Ceph CephFS Operating - 1
      Ceph CephFS Operating - 2
  e. Ceph RadosGW操作部分

於 沒有留言:
標籤：

2019年3月26日

Dnsmasq - Linux小型DNS伺服器

介紹：
Dnsmasq是一套全功能的網路工具，它包含了DNS、DHCP、Gateway...等幾項功能，
設計目的是能提供小型家用路由器上網服務，
或是PDA、SmartPhone...等小型裝置能透過USB連接電腦上網。
Dnsmasq介紹參考網頁：
介紹目的：
目前AmazonS3要能使用API，必須綁定s3.amazonaws.com才能使用，
這造成需要設定DNS Server才能讓運作正常。
DNS Server建置常見的是Bind9，但Bind9設定複雜，
透過Dnsmasq，我們可以簡單的達成相同目的，但設定簡化。
設定：
Dnsmasq依靠dnsmasq.conf這支設定檔，要修改的部份如下：
  1. Resolv設定
Resolv設定在Dnsmasq中，是告知Dnsmasq，環境中上層DNS主機是誰，
也就是說，當Dnsmasq沒有這條DNS時，要去哪些DNS詢問。
它設定預設會讀取
/etc/resolv.conf
在我自己的使用情境中，我不要它的DNS Server設定和本機的DNS Server設定混在一起，
所以我指定讓它分開，如下：
resolv-file=/usr/local/etc/resolv.conf.dnsmasq
  1. 指定要查詢的主機和IP
設定Dnsmasq，當被詢問到這些網址時，回應的IP是什麼？
設定Dnsmasq，當被詢問到這些網域時，透過哪台DNS Server查詢？
如下：
server=/yahoo.com/168.95.1.1
address=/yimg.com/127.0.0.1
address=/ads.yahoo.com/::1
幾個範例是，當指定server時，表示是設定「網域」，當指定address時，表示是設定「網址」。
設定可以是IPv4或IPv6，::1表示IPv6的127.0.0.1。
  1. 指定服務的網路界面
設定Dnsmasq使用哪張網路界面卡提供服務，如下：
interface=eth0
  1. 設定不要提供DHCP服務
設定Dnsmasq不要提供DHCP服務，如下：
no-dhcp-interface=

這條是要去除最前面的註解，告知Dnsmasq不要提供DHCP服務。
於 沒有留言:
標籤：

systemd介紹

前言：
這篇是之前針對systemd的研究。
systemd是Linux新的啟動管理器，專門用來取代init(SysV init)，
但它和舊的init有非常大的差異性。
systemd介紹參考：
systemd的爭議：
systemd的大麻煩除了設定比較複雜外，
systemd本身包裹了非常多的系統服務，也相依了非常多的library和kernel功能，
從wiki上描述到，kFreeBSD無法納入就是個關鍵實例，
看看systemd的組件圖：
ad64a4bc-81c0-46d0-a7dd-2188ac58addb.jpg
光看組件圖就覺得非常複雜。
區分3部份來看這個組件圖：
1. Library
它相依了dbus、pam、crypt、audit、notify這些services library，
這些library實際上都還相依在更底層的library，
像dbus、pam、audit、notify這幾個都很不單純，本身都相依不少library。
2. Kernel
它直接使用了Linux Kernel中cgroup、autofs、dbus這幾個「Linux Kernel功能」，
光1和2就能知道為何GNU/kFreeBSD無法納入，
GNU/Debian考慮半天後，決定先用分支方式支援，
這擺明了就是Linux Only的設計阿.............
試問，FreeBSD如何支援cgroup？如何支援autofs？如何支援dbus？
重新實做會引用的License問題如何解決？
3. systemd內部管理器
systemd不只有原先init的功能，看看systemd Daemons，
就我目前的了解，它至少包含或取代了下列功能：
  • init
  • inetd
  • crontab
  • syslog
  • 網路管理ifupdown/NetworkManager
  • 系統時間、時區管理
  • 登入管理器/gdm
  • crontab部份參考：
如何使用 systemd 中的定時器
  • syslog部份：
它透過journald來取代rsyslog和syslog
  • 系統時間、時區管理：
如何在 systemd 下管理Linux系統的時間和日期
  • 網路管理：
參考：
嘗鮮: 新的網絡連接管理工具 systemd-networkd
  • systemd-network man page
  • ArchLinux systemd-networkd
  • Introduction to networkd, network management from systemd
  • 登入管理器
不熟，但應該就是logind搭配pam
參考：
systemd除了這些外，它將udev專案整個併入，也將dbus幾乎併入，
加上它侵入多數的Linux發行版本，systemd一統Linux指日可待。
4. Application
按前面參考的爭議提到，現在GNOME對systemd的依賴度越來越高，
Ubuntu 14.04的GNOME suspend動作，裡面很多都直接透過systemd進行處理。
當systemd往下吃掉低階系統服務(udev、dbus)，再往下依賴Kernel，往上咬住桌面系統GNOME，
那未來Linux就只剩下systemd，FreeBSD也不用搞下去了。
因為systemd包山包海的特性，因此直接可以想到，它在各發行版不一定會是full support，
systemd本身是Fedora的開發專案，RedHat系列不用說，全包應該是正常的，
但Ubuntu自己也開發和主導了不少專案，中間就沒這麼單純了。
參考：
裡面給出了幾個發行版使用systemd的部份的參考連結。





於 沒有留言:
標籤：

Linux啟動流程

前言：
這篇主要描述Linux啟動流程，並從啟動流程帶出現代作業系統的開機流程設計，
並進一步延伸non-OS系統的設計概念。
Linux啟動流程：
Linux啟動的完整流程原則上如下圖：
硬體：
不論電腦使用哪種CPU，CPU在通電做完硬體極少的工作後，就會跳到某個固定的記憶體位址執行。
對於PC來說，PC有BIOS，CPU通電後會執行BIOS，BIOS做完系統檢查後，
會根據CMOS中選擇的開機裝置(軟碟、光碟、硬碟、USB光碟、USB硬碟...等)，
跳到特定位址執行。
對於嵌入式系統來說，就是跳到固定位址，BootLoader接手執行。
BootLoader：
BootLoader中文就是「開機程式」，在PC Linux上，常見的就是GRUB，
在嵌入式系統上有幾套常見的BootLoader，目前來說，uboot是最常見的BootLoader。
BootLoader主要工作其實只有2個：
  1. 將Kernel從各種奇怪的媒體裝置(光碟、硬碟、網路)讀取到記憶體(RAM)中
  2. 跳到Kernel在記憶體中的位址執行
這邊標注一下，嵌入式系統中，牽涉到開機部份，經常看到「跳躍」、「跳到」之類的名詞，
實際意義是，CPU就是不斷執行下個指令的裝置，要讓它到某個位址執行，
就直接用組合語言的JUMP 0xoooooo，它就會跳過去執行了，
所以會用「跳躍」、「跳到」某個位址執行來描述。
initrd/initramfs：
這是Linux特有的設計，它其實跟rootfs是一樣的東西，可以把它看作是小rootfs。
在Linux上，initrd/initramfs用途是：
在正式進入系統前的特殊操作，都可以放入initrd/initramfs中處理。
例如：
  • Linux Kernel module載入工作
  • 系統硬體檢查
  • 系統故障時的處置
在Linux上，不一定需要有initrd/initramfs，
可以在Kernel載入後，直接跳入rootfs，並沒有硬性規定一定要有initrd/initramfs；
同樣的，Linux上也沒有硬性規定一定要有rootfs，
可以直接把initrd/initramfs當rootfs直接使用。
initrd和initramfs這2個稱呼都有人使用，早期的Linux是稱叫initrd，
在Linux 2.6版將它重新設計，重新設計後稱為initramfs，
所以有人繼續沿用initrd稱呼，有人稱initramfs，但不論哪種稱呼，都是描述這個東西。
initrd/initramfs和rootfs有項最大的不同，initrd/initramfs整個是執行在RAM當中，
它的執行環境直接是RAM Disk，這有2項特色：
  1. 執行週期(在initrd/initramfs中執行過程)的檔案變動，都不會影響initrd/initramfs的內容
  2. initrd/initramfs越大，佔用RAM越大
  3. 因為執行在RAM中，可以在此時對Linux各部份進行修改、變動， 不會有媒體佔用(disk busy...等)的問題。
例如：重新燒錄Kernel、rootfs、initrd/initramfs
rootfs：
在Linux中，rootfs有2項含意：
  1. rootfs是實際的系統所在，它的概念等同於Windows的C磁碟或系統碟
  2. 在啟動流程中，rootfs代表系統實際進入rootfs(系統碟)， 並由rootfs(系統碟)內的啟動程序接手執行
當rootfs的啟動程序完成後，就是我們看到的Linux畫面，此時所有的操作，都是在rootfs中進行。
rootfs不一定需要，嵌入式系統中，很可能因為Flash太小，直接捨棄rootfs，
將initrd/initramfs當rootfs使用。
現代作業系統的開機流程：
前面描述了Linux的開機流程，大致系統開機，所以這邊簡單的描述現代作業系統的開機流程。
現代作業系統的開機流程圖：
目前主流的作業系統，開機都是類似的流程，去除Linux特有的initrd/initramfs後，
就是大部分作業系統的開機流程，以Windows為例：
Windows的動作流程其實一致，但名稱不同。
BootLoader：
Windows稱為NTLDR。
在開機時，如果有多個OS，會出現一個中文的選單，
像是WinXP會顯示「Microsoft Windows XP」，這個就是Windows的BootLoader。
在以前MCSE課程中，關於開機啟動的Troubleshooting部份，
就有提到NTLDR missing時的處理，這其實就等於GRUB出現找不到開機程式時的問題解決方式。
Kernel：
Windows的Kernel稱為ntoskrnl.exe，早期放在C:\，並用系統檔案屬性隱藏。
rootfs：
Windows的rootfs稱為「系統碟」。
在安裝Windows時，一個部份是選擇安裝磁碟，你可以將系統裝在D:\、E:\，
系統碟的最重要辨識方式是，Windows資料夾和Program Files資料夾在哪個磁碟，
這個磁碟就是系統碟。
non-OS系統的設計概念：
所謂non-OS系統的意思，就是這個電腦系統沒有作業系統，一個盲點就出現了，
電腦沒有作業系統可以跑？
答案是肯定的，電腦沒有作業系統也是可以跑的，在很多低階單晶片系統中，
沒有作業系統一樣跑得很開心。
non-OS系統有什麼不同？從執行流程來看，如下：
有前面作業系統執行流程的理解後，這邊再看看non-OS系統的執行流程，
此時會發現，其實啟動概念相同。
在non-OS系統中同樣有硬體、BootLoader，
但Kernel和rootfs都沒有，而是自行撰寫的嵌入式程式。
嵌入式程式：
嵌入式程式最重要的關鍵是Loop，因為CPU的功能就是不斷地執行下個指令，
因此嵌入式程式內的設計就是要設計個while-loop，
讓CPU在執行到最後時，會回到while開頭重頭執行。
更低階的單晶片系統設計更簡化，連BootLoader都沒有，因此執行流程變為：
最基本的Kernel設計：
Kernel內設計很複雜，詳細的細節原則上就是參考「作業系統」教科書，
裡面大致區分了Scheduler、Memory Manager...等一堆設計。
其實我們把Kernel單純化到極限，從non-OS系統的角度來看Kernel設計，
其實Kernel就是個超大型的while-loop程式，如下圖：

看起來其實和non-OS系統差不多，最主要就是Kernel內多了Scheduler這個元件，
透過它動態選擇不同的Task(在Linux上就是Process)執行。
於 沒有留言:
標籤：

從Qt設計看視窗系統設計

GUI，算是賈伯斯時代最屌的發明之一。
目前所有的GUI設計，從Windows、UNIX、Linux...等，幾乎都遵循了類似的設計，
這個設計，就我的理解，應該是賈伯斯在Mac上發明的，直到現在，它幾乎沒有太大的變化。
Qt的GUI設計：
在Qt的設計中，Qt會在背景維護一個Event Queue，Qt Event包括了所有的UI動作，
像是滑鼠移動、滑鼠點擊、視窗畫面更新、鍵盤輸入...等，
Qt最主要的工作，就是不斷的檢查Event Queue，有任何Event，就立刻執行它。
我們所有的UI操作，在Qt中就是將操作的「動作」，建立成Qt Event，送入Event Queue中，
Qt就會在檢查Event Queue時，按操作去執行。
以上圖為例，我們的動作很簡單，「移動到視窗的輸入欄，滑鼠點一下，輸入abcd」。
轉換成Qt內部行為，就會是產生下面9個Qt Event：
  1. 滑鼠移動
  2. 畫面更新
  3. 滑鼠移動
  4. 畫面更新
  5. 滑鼠左鍵點擊
  6. 鍵盤輸入a
  7. 鍵盤輸入b
  8. 鍵盤輸入c
  9. 鍵盤輸入d
Qt就會在背景檢查，陸續將這些動作完成。
Qt的GUI設計與程式碼的關聯：
當我們透過Qt開發工具(Qt Creator)建立出一個最基本的視窗程式時，它的主程式如下：
#include "widget.h"
#include


int main(int argc, char *argv[])
{
  QApplication a(argc, argv);
  Widget w;
  w.show();
  return a.exec();
}
一開始看很陌生，長得很奇怪，沒關係，這裡解釋後就一目了然了。
我們這裡要描述的主角叫做QApplication，也就是：
QApplication a(argc, argv);
…
a.exec();
相信大家都有個疑問，a.exec()後，Qt在幹嘛？
這樣的語法不通阿，程式無法運作吧？
我們的程式要寫在哪裡？
這就是我要帶領大家了解的，我們回到前面「Qt的GUI設計」，裡面曾經提到：
Qt會在背景維護一個Event Queue；Qt最主要的工作，就是不斷的檢查Event Queue，
有任何Event，就立刻執行它。
實際上，在Qt中是「誰」不斷的檢查Event Queue並執行Queue裡面的Event？
它就是QApplication。
套入後就很明白了，Qt主程式的最主要工作，就是產生一個QApplication，
然後把QApplication執行起來，它內部就是不斷的檢查Event Queue，
當有任何動作，QApplication就會按動作執行它。
因此，Qt講物件導向，所有UI元件，都是物件，
所有行為，實際上在內部都轉化成Event送入Event Queue，交給QApplication執行，
我們的程式碼在哪？
我們的程式實際上在Qt的其他物件中，要動作，就透過Qt提供的method，
它就會幫我們產生出Event給QApplication執行。
Qt與視窗系統設計：
前面我們描述了QApplication、Qt的Event在和整個視窗的行為，這裡帶出2個問題：
  1. 這是Qt獨有的設計嗎？
  2. 這個設計背後的實作是什麼？
這是Qt獨有的設計嗎？
這並不是Qt獨有的設計，這裡看Java的UI - SWT，SWT的最基本程式碼如下：
參考：Example
Display display = new Display();
Shell shell = new Shell(display);
shell.open();

// run the event loop as long as the window is open
while (!shell.isDisposed()) {
    // read the next OS event queue and transfer it to a SWT event
 if (!display.readAndDispatch())
   {
  // if there are currently no other OS event to process
  // sleep until the next OS event is available
   display.sleep();
   }
}

// disposes all associated windows and their components
display.dispose();
注意到Shell，看到while(!shell.isDisposed())，看到它的註解。
在Java的SWT中，它也是同樣的設計，只是Qt中的QApplication換成了Shell，原理是相同的。
在Windows中，我們可以直接參考下面這篇文章：
這篇文章是800萬年前的老文章，重點是它描述了Windows UI的內部機制 - Message Loop，
看完後你會發現，跟上述描述的根本如出一轍，
原來，全世界的GUI設計，根本都一模一樣，這設計哪裡來的？
我的了解是，這個設計應該就是來自於賈伯斯的Mac，
至於是不是賈伯斯本人設計或獨創的，我不清楚，但這設計很屌，
而且延續至今，沒意外的話，應該會繼續存在下去，直到GUI或電腦消失為止。


這個設計背後的實作是什麼？
回想看看，以前的程式有所謂的「物件導向」嗎？
再想想，GUI這樣的設計，所有視窗都是獨立的元件，所有視窗動作，都會產生Event，
這...不就是物件導向嗎？
它讓我們將所有視窗都以「物件」的方式思考和設計，所有的「視窗動作」都是「物件行為」，
這應該就很清楚明白了。
但它背後有什麼實作？
我們從寫程式的「物件」發想，再想想前面描述的Event Queue設計，我們就會得出一個有趣的結論：
電腦本身不存在「物件」的概念，它還是一個「程序」的操作邏輯，
賈伯斯將GUI以「物件」設計，讓所有UI程式設計師都使用「物件導向」來寫視窗程式，
可是電腦不認識物件怎麼辦？
所以回頭看看Event Queue的設計，它的本質實際上是將立體變成平面，
把所有物件導向的動作，統統轉化成電腦認識的程序操作。
看看滑鼠、鍵盤、視窗的所有動作，它們會來自於各個位置、各種沒有關聯的行為，
但最終都會進入統一的入口 - Event Queue，並由統一的執行者QApplication執行。
這種將立體轉換成平面，或者平面轉化成立體的設計，在UI中很常見，
例如多個頁面怎麼串在一起輪詢？多個輸入欄怎麼轉成一個陣列的字串？
一組陣列字串怎麼放置到樹狀結構中...等。
GUI設計的限制 - 多執行緒處理：
前面講到了GUI的設計都是透過統一的Event Queue和單一的執行者QApplication執行，
這造成了一個很大的問題，多執行緒在UI下如何處理？
我猜想，這問題產生的原因，可能和設計當時多執行緒不發達有關聯，
但不論如何，這在現在就是個問題。
看看下圖情境：
假設我們一個UI程式中，有3個Frame，每個Frame都是獨立的執行緒複製檔案，
檔案複製過程中會各自更新畫面，請問，它的畫面更新怎麼處理？
在目前的GUI設計中，無法處理...........
因為目前的GUI設計，所有的畫面更新、動作處理，
都必須透過單一的Event Queue和單一的QApplication來動作，
多執行緒的UI畫面更新，違背了由QApplication統一處理UI的設計，所以無法動作，
這樣的設計，往往會造成UI畫面不動，或者動作異常的問題、印出錯誤訊息...等。
變通的辦法是，各個Frame內「複製檔案的動作是獨立執行緒」，
複製檔案過程中，會各自送出Event到Event Queue，
QApplication就能在收到這些Event後，更新每個Frame上的複製進度。
它是多執行緒嗎？
不完全是，它只有核心動作是多執行緒，UI還是維持單一執行緒的設計。
GUI設計的限制 - sleep：
sleep是很常見的設計，電腦跑太快，某些時候還是需要讓它等一下，
但同樣的，這在GUI設計中也會造成困擾。
sleep，會讓CPU真的停下來，多半是執行nop的無限迴圈，直到時間到為止。
還記得QApplication吧，它負責所有Event的執行和所有畫面的更新，
我們的所有程式，實際上都是包裹在Event當中，由QApplication執行的。
現在，我們寫個Qt視窗程式，讓電腦在按下按鈕後sleep 30秒，會發生什麼事情？
會發現，視窗卡住了.....
原因很簡單，也有點白爛，因為QApplication執行按下按鈕的method，裡面要sleep 30秒，
QApplication就等30秒，過程中不做事情，就是等，因此畫面不更新、滑鼠不動作。
變通的辦法是，在Qt的UI中，不能真的用sleep，會造成UI卡死。要透過Qt的計時器，
實作一個類似sleep的功能，過程中使用者不能輸入，
但QApplication實際上跑去執行其他Event，
等到計時器時間到之後，才回來繼續剛剛的程式。
結尾：

Qt的設計不算差，但很多方面受限在GUI設計上，
不了解，寫Qt程式就會撞牆，這邊提出的2個限制，
就是我曾經撞過牆的地方，只有這2個嗎？
當然不是，但這2個印象最深刻，因為都很糟糕，很難處理。

於 沒有留言:
標籤：
訂閱： 文章 (Atom)