今までやってきたものを 全部集約してあるプログラムを作ることにした それができると、 自分も楽になるし、 今までの成果になるかな 勉強してきてよかったって 思えるかな だから頑張ろう ここまでこれたのだから これからも少しずつ頑張ろう 続けることが …

どうしても認証の部分が自分で弱いと思ってる vagrantで仮想環境のcentosを作って さて、sshで繋ごうと思ったら繋がらない vagrant ssh は、繋がる だた、 ssh <user>@<ip> ではaccess deniedになってしまう。 色々調べた qiita.com vagrantのVagrantfileがおかしいと</ip></user>…

最近、Pythonを使うようになり、次は何をしようかとか ブログは何を書こうかとか 会社で議事録を簡単に取れるメモが欲しいなとか テレワークでちょっとしたメモをすぐに取れるように 手に馴染んだエディタがあればいいなと思って 最終的にEmacsになっている …

Webの自動巡回を確かめようと、ubuntuにVirtualBoxを入れて、Vagrantで構成して、色々試した。 一通り終わってから、今度はいよいよAWSへ。 これが最終的な目的だったから。 AWSのEC2インスタンスをAWSLinuxにして、はて、ここからseleniumを動かすには？う…

Windows は昔からバッチファイル(.bat)を作っていた もともとはUnixが始まりだろうけど、 ようやくLinuxのShellというものを使おうと思った qiita.com 今まで手で動かしていたpythonプログラムを バッチで動かしたら、手間が省ける省ける 笑 やはり、必要は…

このGWは結構パソコンの前に座った なんでも自粛生活だから なので、やりたかったことが結構進んだ わからないことがある度に 知識が深まることがわかる 前回、Web巡回をやって、その次は仮想OSの自動作成に挑んだ 仮想OSの自動作成と聞いて、思い出したのが…

seleniumは指定の仕方が簡単 Webスクレイピングは一旦URLからそのhtmlをとってきて解析が必要だけれど 自動徘徊はボタンを押すだけだから解析は必要ない といってもWebのソースコードを見る必要があるけれど・・ こんなコードのタグ、上の例えば

PythonでとうとうWebからデータを引っこ抜いて（言い方悪いかな？） データベースに突っ込むことができた。 これで必要なデータをWebからとってきて いつでも自分のDBで見ることができる。 ここまでで、一区切り。 次は・・ Webからデータ引き抜くことができ…

数日間、手が止まったり、 壁にぶち当たって進まなかったりしたけれど、 それでもうまくできないことが気になったり 色々参考サイトを見たりして 色々いじってたら、突然できた なんでもそうかも知れないけど 問題に当たったら、 ちょっと間を置いたり、時間…

この記事がとてもよくて qiita.com 一旦CSVにデータを出力さえすれば、DBに取り込める。 でも、CSVにデータを出力しなくてもDBに取り込めるのではないかと思い、 with open('csv/data.csv', newline='') as csvfile: read = csv.reader(csvfile) for row in …

pythonからpostgresqlを利用するには、psycopg2というライブラリを使えばいい import psycopg2 このライブラリを使うとselect文がそのまま書ける www.psycopg.org あと、大事なのはcommitは別なこと closeしただけでは、反映されない commit前にselectしてデ…

なんとか起動したpostgres pgAdmin4というwebブラウザから見えるツールでコマンドラインでテーブルを作成して実際にどこにできるかを見てみた www.dbonline.jp まずはコマンドラインでログインから sudo -i -u postgres で、ログインしているユーザーのパス…

posgresのブログを読みまくる lets.postgresql.jp できたと思って早速pythonから繋げられるかと思ってやってみる www.ashisuto.co.jp 色々やってみたけれど、 roleがユーザだと思ったらユーザじゃなくて、 頭が混乱した pgadmin4をインストールして、データ…

mysqlはどうにもこうにもエラーが取れない なので、今度はpostgresqlで 会社でもpostgresqlを使っているので それに多分GUIのツールも揃っているので・・ インストールに戸惑った paperface.hatenablog.com 試してみないとわからない 上の方法だとubuntu 19…

エラーが取れない MySQLdb._exceptions.OperationalError: (1698, "Access denied for user 'root'@'localhost'") このエラーでググると以下の質問が teratail.com で、この通りにやってみると www.aiship.jp この中にあるmysqldは実際はmysqlで。 www.t3a.j…

全然MySQLがわからない とりあえず、テーブル作ってデータをインサートするのは MySQLクライアントからはできてけれど、 Pythonから接続するのに失敗する 方法はこちら www.sejuku.net ここで、importしてライブラリがないと言われたら 今まで通りpip3 insta…

MySQLをインストール そしてデータベースを作る 参考にしたのは、AmazonのUnlimitedで読める本 「ライトノベルで学ぶMySQL入門」 Kindle版で無料だから、MySQLをubuntuにインストールした後、 これでちょっと触れてみた インストール方法はこちら qiita.com …

データが取得できたから、それを自分で作ったDBに 落としたい そして、いつでも簡単に呼び出させたい そう思ったので、第3段階はデータベースへの データ入力を考える データベースは会社ではPostgreSQLを使っている MySQLは使ってない とりあえずMySQLをや…

APIから送られてくるJSONファイルは辞書型にリスト型がネストしてあって、 そのリスト中に辞書型がネストされてる リストの中から辞書型を取り出すのをどうしたらいいのかが わかってなかった いろいろやってわかった リストへのアプローチはどれも同じなん…

いよいよjsonデータの一覧が取得できて 今度はそこから欲しいデータの取得をすることに 取得方法を調べた データは入れ子（ネスト）状態になっている なので、それ用のアプローチが必要 techacademy.jp まずは上から順々に絞っていく 最初は'request'と'resu…

新しいurllib.requestを使おうとして複雑なことをやってたのが、 間違いだったのかな？ 前の天気予報を読み取る方式で、なんのことはない、できた。 シンプルが一番いい それを喚起させてくれたのが、この記事 hibiki-press.tech import requests,pprint,jso…

REST APIの動作確認は、POSTMANが超便利 www.xlsoft.com サンプルコードや企業のAPI説明のアクセスのURIをこれで実行するとパラメータを勝手に区分して表示してくれて、パラメータを入れるだけになる 例えばGETのリクエストが https://sample.com/api?query1…

WEB APIにアクセスできるIDが到着 これでアクセスして情報が取得できるようになった IDを取得しても、他にもその情報を元に取得するIDがあったりして その情報を取得するのも時間がかかった 一つのことをやるために たった10行足らずのコードを書くために ど…

GitHubの情報取得がライブラリで出来たので、 今度はライブラリのない、一般的なREST APIでの情報検索を やってみることにする 企業が持っているREST APIはAPIを取得するためのIDが必要で それは申請しなければいけないから、色々ややこしい とりあえず、申…

VSCodeをLinuxのデスクトップにもMacBookにもいれている 外に出てカフェで勉強するときはMacBook 家でやるのはLinux コードはGitHub管理 どこでも同じコードを 試すことができる こういう環境が作れたのはよかった Windowsからどんどん離れてしまうのも 今の…

一つエラーが出ると覚えることが3つ増える 笑 実行してエラーが出るたびに知識が増えるのを感じる 初心者はこうでなきゃと思う しんどいけど 笑 nickjagar.hatenablog.com この、エラーの意味は「githubというライブラリがないですよ」という意味だ。 pip in…

整った日本語入力はEmacsだが、 これが気分良くなり、 いよいよ次の課題に乗り出す 今度はGitHubへのREST API 調べるとPyGithubというライブラリがあるみたい pygithub.readthedocs.io これ使えば何も苦労なく取得できると思い、 自分のGithubのトークンを取…

何度も環境を弄ることで、 自分のモチベーションが維持されているのを 感じる毎日 Ubuntuは日本語環境が整っていないのかと とてもイライラしていたけれど そうではなかった やっぱり設定なのだなぁ 日本語環境でメモを記述するのは 全部Emacsに任せているか…

うちの会社の開発はGitHubのフォーク版を使ってGitを使っている Windowsがメインなので、Gitの管理はTortoiseGitを使っている あの管理クライアントがとても便利なので、 今、コマンドラインでやっているソースコード管理ができる クライアントアプリケーシ…

仕事が忙しくて、残業になって疲れて帰ってきても 自分が一から作ったUbuntuの環境は起動することにしてる 問題が起きても、自分なりに修正して直してきた環境は とても思い入れが深い 100日コードも忙しくてコードには触れられなくても 見る事はできる それ…