본문 바로가기

분류 전체보기

(68)
PySpark MLlib What is Machine Learning? Machine learning is a methos of data analysis that automates analytical model building. Using algorithms that iteratively learn from data, machine learning allows computers to find hidden insights without being explicitly programmed where to look. What is it used for? Fraud detection. 부정 적발 Web search results. 웹 검색 결과 Real-time ads on web pages. 웹페이지 실시간 광고 Credit scori..
DATABRICKS 튜토리얼 https://databricks.com/try-databricks Try Databricks - Unified Data Analytics Platform for Data Engineering Discover why businesses are turning to Databricks to accelerate innovation. Try Databricks’ Full Platform Trial free for 14 days! databricks.com 1. 가입 화면 이름, 성, 회사명, 이메일, 직위, 나라(Korea, Republic of)를 선택 후 Get Start 클릭 2. 클라우드 선택 AWS, GCP, AZURE 등 사용하는 클라우드 플랫폼이 있다면 선택해주고, 만약 없다면 하단에 커뮤니티 버전..
AI 허브 - 피트니스 자세 이미지 데이터 읽기 피트니스 자세 이미지 | AI 허브 (aihub.or.kr) 피트니스 자세 이미지 다양한 자세와 체형을 가신 사람들로부터 홈트레이닝(운동자세 분석 및 추천), AR/MR 서비스(5G 기반 증강현실 컨텐츠), 피트니스 수집 플랫폼(머신러닝 모델 적용), 의료분야(재활치료 및 재활운 aihub.or.kr AI 허브 데이터 읽기 크게 Training 데이터와 Validation데이터가 있고 Training 데이터는 다시 [라벨] 데이터와 [원천] 데이터로 나뉜다. 그 안에서 다시 '맨몸' - '바벨/덤벨' - '기구' 로 나뉜다. 하지만 이 분류가 그렇게 정확하게 되어있는 편은 아니라서 따로 확인을 해야한다. 예를 들어서 body_03 압축파일을 받는 다고해서 그 안에 맨몸 운동만 담겨있지는 않다 [라벨]맨몸..
채용공고로 알아보는 S/W 개발자 [모빌리티 서비스 ○○○] 대졸신입 개발직 공개채용 담당 직무 ㆍ이동을 위한 IT 기술과 서비스 연구 ㆍ모빌리티 맵 플랫폼을 개발, 서비스 ㆍ미래 자동차 기술 연구 ㆍ자율주행 모빌리티를 위한 HD맵과 S/W 핵심 기술 개발 ㆍ모빌리티 앱 서비스 개발 ㆍ딥러닝 영상인식, AI 기반의 안내 등 신사업 혁신 분야 연구 지원자격 ㆍ4년제 대학교 학사 이상 ㆍC/C++, JAVA, 알고리즘, 수학 등 기본 지식 ㆍ 프로그래밍에 대한 열정과 지식, 흥미 우대사항 ㆍS/W 개발 관련 전공 ㆍ지원 분야 관련 프로젝트 및 업무 수행 경험자 ㆍ업무상 영어나 중국어 활용 가능 [AI융합부문 ○○○○] 딥러닝 기반 영상합성 개발자 담당 직무 ㆍ영상 합성 모델/알고리즘 개발 ㆍ이미지, 영상에 대한 전반적인 모델 개발 ㆍMoti..
머신러닝 기초 - 읽어보기 머신러닝? 1.3 머신러닝 시스템의 종류 1.2 왜 머신러닝을 사용하는가? | 목차 | 1.4 머신러닝의 주요 도전 과제 머신러닝 시스템의 종류는 굉장히 많으므로 다음을 기준으로 넓은 범주에서 분류하면 도움이 됩니다. 사람의 감독 하에 tensorflow.blog 분류 문제 - OvR 방식? OvO 방식? One-vs-Rest and One-vs-One for Multi-Class Classification Not all classification predictive models support multi-class classification. Algorithms such as the Perceptron, Logistic Regression, and Support Vector Machines were […..
1209 - 의사결정나무 딥러닝 기초 - DecisionTree & RandomForest 의사결정나무 정보 이득 : '부모 노드'와 '자식 노드'의 불순도 합의 차이 자식 노드의 불순도가 낮을수록 정보 이득이 커짐 불순도 지표 : 지니 불순도, 엔트로피, 분류 오차 불순도 조건을 바꾸는 것보다 가지치기 수준을 바꾸면서 튜닝하는게 성적 향상에 도움됨 - 설명이 중요할 때 아주 유용한 모델 - 뿌리부터 정보 이득이 최대가 되는 특성으로 가지를 나눔 - 모든 이파리가 순수해질 때까지 반복 - 이 과정에서 과대적합될 가능성 高 → 따라서 최대 나무 가지 수를 제한 하는 등 가지치기 과정 필요 세가지 불순도 기준을 시각적으로 비교 import matplotlib.pyplot as plt import numpy as np def gini..
1208 - 서포트백터머신 딥러닝 기초 - Support Vector Machine SVM from sklearn.svm import SVC svm = SVC(kernel = 'linear', C = 1.0, random_state=1) svm.fit(X_train_std, y_train) plot_decision_regions(X_combined_std, y_combined, classifier = svm, test_idx = range(105, 150)) plt.xlabel('petal length [standardized]') plt.ylabel('petal width [standardized]') plt.legend(loc = 'upper left') plt.tight_layout() plt.show() SVM-SGD fr..
1207 - 로지스틱회귀 딥러닝 기초 - Logistic Regression Gradient Descent 시그모이드 함수 import matplotlib.pyplot as plt import numpy as np def sigmoid(z): return 1.0 / (1.0 + np.exp(-z)) z = np.arange(-7, 7, 0.1) phi_z = sigmoid(z) plt.plot(z, phi_z) plt.axvline(0.0, color='k') plt.ylim(-.1, 1.1) plt.xlabel('z') plt.ylabel('$\phi (z)$') # y축의 눈금과 격자선 plt.yticks([0.0, 0.5, 1.0]) ax = plt.gca() ax.yaxis.grid(True) plt.tight_layou..
1207 - 아달린 SGD 딥러닝 기초 - Adaptive Linear Stochastic Gradient Descent 확률적 경사 하강법은 경사 하강법보다 가중치가 더 자주 업데이트되기 때문에 수렴 속도가 훨씬 빠름. - 훈련 샘플 순서를 무작위하게 주입 - 에포크마다 훈련 데이터셋을 섞음 ; class AdalineSGD(object): """ ADAptive Linear Neuron 분류기 매개변수 ------------- learning_rate : float 학습률 (0.0과 1사이) n_iter : int 훈련 데이터셋 반복 횟수 shuffle : bool (default: True) True로 설정하면 같은 반복이 되지 않도록 에포크마다 훈련 데이터를 섞음. random_state : int 가중치 무작위 초기화를 ..
1202 - 아달린 딥러닝 기초 - Adaptive Linear Gradient Descent Iris 꽃 분류 문제를 해결하기위한 아달린 모델 구현 class AdalineGD(object): """ 적응형 선형 뉴런 분류기 매개변수 ------------ learning_rate : float 학습률 (0.0과 1.0 사이) n_iter : int 훈련 데이터셋 반복 횟수 random_state : int 가중치 무작위 초기화를 위한 난수 생성기 시드 속성 ------------- w_ : 1d-array 학습된 가중치 cost_ : list 에포크마다 누적된 비용 함수의 제곱합 """ def __init__(self, learning_rate=0.01, n_iter=50, random_state=1): self.lea..