SYmm 微筆記

搜尋此網誌

Android studio initial setting

日期： 9月 09, 2019

取得連結
Facebook
X
Pinterest
以電子郵件傳送
其他應用程式

1.取消自動載入上次 code

git setting

Android studio

取得連結
Facebook
X
Pinterest
以電子郵件傳送
其他應用程式

留言

張貼留言

markdown

Python 數字辨識 Mnist 手寫數字資料集

markdown #說明這個題目是很多人拿來當作學習神經網路的第一課，其實這個例子真的可以學習到很多，網路上也有很多善心人士分享自己的 code，我想我也只是運用他們的code，加上一些註解，幫助學習，這個題目是辨識手寫的數字，其實手寫數字會是用神經網路來解決是有原因的，除了手寫數字還有另外一種，七段顯示器的數字，如果遇到的是七段顯示器數字可以用影像處理的方式去解答，但手寫數字每一個字長的沒有那麼規則，而也因此使用神經網路。這裡先來一張Mnist 裡面的手寫數字圖 #操作流程 ##CODE ``` # 導入函式庫 import numpy as np from keras.models import Sequential from keras.datasets import mnist from keras.layers import Dense, Dropout, Activation, Flatten from keras.utils import np_utils # 用來後續將 label 標籤轉為 one-hot-encoding from matplotlib import pyplot as plt import cv2 # 載入 MNIST 資料庫的訓練資料，並自動分為『訓練組』及『測試組』 (X_train, y_train), (X_test, y_test) = mnist.load_data() print(X_test.shape) print(y_test.shape) #cv2.imwrite('C:/Users/User/Desktop/output.jpg', X_test[1]) # 建立簡單的線性執行的模型 model = Sequential() # Add Input layer, 隱藏層(hidden layer) 有 256個輸出變數 model.add(Dense(units=256, input_dim=784, kernel_initializer='normal', activation='relu')) # Add output layer model.add(Dense(units=10, kernel_initializer='...

已建立索引，但遭到 robots.txt 封鎖

markdown #說明這邊在觀看 google search console時，發現有一個警告 : 已建立索引，但遭到 robots.txt 封鎖，先講google search console，這個是讓使用 google 瀏覽器時，被搜尋到的一個報告功能，可以觀看觀眾群，搜尋次數，我一開始接觸這個是在發現我的blogger，無法在 google 被搜尋到，所以才使用解決 sitemap 的問題，後來發現另外一個問題 "已建立索引，但遭到 robots.txt 封鎖"，所以接下來也是來解決這個，大概發生的原因是blogger在預設的 robots是禁止被爬蟲的，所以需要修改。 - 參考: - google search console - sitemap 設定 - robots.txt 封鎖原因 - robots.txt 封鎖修正指令 #操作流程 ***##操作步驟不會很繁複，可能隔個幾天再來看結果*** ##google search console發現error ##設定位置設定->搜尋偏好設定->自訂robosts.txt ->編輯 ##指令 ``` User-agent: Mediapartners-Google Disallow: User-agent: * Allow: /search/label Disallow: /search Allow: / Sitemap: https://rayrrr.blogspot.com/sitemap.xml https://rayrrr.blogspot.com/sitemap.xml ```

五、Hadoop2-HDFS

HDFS 原文來源: http://www.cc.ntu.edu.tw/chinese/epaper/0011/20091220_1106.htm Hadoop Distributed File System (HDFS) 將分散的儲存資源整合成一個具容錯能力、高效率且超大容量的儲存環境，在Hadoop系統中大量的資料和運算時產生的暫存檔案，都是存放在這個分散式的檔案系統上。 HDFS是master/slave架構，由兩種角色組成，Name node及data nodes，Name node負責檔案系統中各個檔案屬性權限等資訊 (metadata, namespace) 的管理及儲存；而data node通常由數以百計的節點擔任，一個資料檔會被切割成數個較小的區塊 (block) 儲存在不同的data node上，每一個區塊還會有數份副本 (replica) 存放在不同節點，這樣當其中一個節點損壞時，檔案系統中的資料還能保存無缺，因此name node還需要紀錄每一份檔案存放的位置，當有存取檔案的需求時，協調data node負責回應；而有節點損壞時，name node也會自動進行資料的搬遷和複製。 HDFS雖然沒有整合進Linux kernel，只能透過Hadoop的dfs shell進行檔案操作，或使用FUSE成為User space下的檔案系統，但Hadoop下的系統都與HDFS整合，做為資料儲存備份及分享的媒介。如前面提到的MapReduce在系統分配運算工作時，會將運算工作分配到存放有運算資料的節點上進行，減少大量資料透過網路傳輸的時間。格式化與啟動 HDFS $ cluster-start $ ssh adm100 bigred@adm100's password: bigred $ formathdfs Are you sure ? (YES/NO) YES ............ 2019-02-26 14:33:16,507 INFO namenode.NNStorageRetentionManager : Going to retain 1 images with txid >= 0 2019-02-26 14:33:16,513 INFO namenode.NameNode : SHUTDOWN_MSG: /*****...

技術提供：Blogger