2023-01-01から1年間の記事一覧

Django tips (随時更新)

あれどうするんだっけ、系の tips form に独自の引数を追加したい Model field の verbose_name を動的に取得したい Model field のデフォルト値がほしい ORM すべての行を集計したい リンク集 form に独自の引数を追加したい __init__ に追加してあげる。注…

streamlit x function calling でスクショの機密情報をマスキングする

概要 ChatGPT まわり function 定義 呼び出し レスポンスの取得 精度 参考 概要 function calling を使ってみたかったので、こういうものを作ってみた。 処理の流れは 画像をアップロード → OCR で画像内のテキストを読み取る → ChatGPT にテキストを(一気に…

function calling めも

tools vs functions 問題 function のスキーマ定義 そもそも... tools vs functions 問題 多くのサンプルコードで functions= という引数を使っているものの、公式ブログだと tools= という引数になってて混乱した。 どうやら tools のほうが新しい書き方ら…

Python x 画像で日本語表示

自分用チートシート (いろんな記事の寄せ集め) matplotlib cv2/OpenCV 個人的に Jupyter Notebook で画像を表示したい、というユースケースだとどのみち plt.imshow() を使うので、テキストの描画も pyplot でやったほうが楽だと思ってる。PIL のインストー…

Fivetran x Shopify: discount の扱い (の現状の理解)

多分こういうことだと理解 まだ調べ中なのであとで訂正するかも 前提: Shopify のデータを Fivetran で BigQuery に ETL リンク集 テーマファイルで discount を扱う方法: https://shopify.dev/docs/themes/pricing-payments/discounts Admin REST API: http…

streamlit で画像アノテーション

前提 こういうことをしてくれる機械学習モデルをつくってた。 別でつくっているアプリケーションの一貫で、値段の OCR の精度を上げたかったので、値段の画像からどこで「¥」マークを切り落とせばいいかというモデルを作りたかった。ちょうど streamlit をや…

easyocr で数字を読むときの en と ja の違い

ML

数字だけが画像にあるときは、en だけを入れたほうがよさそう、というめも。 やってる作業は、「¥4,000」みたいな値段が書いてある画像から値段の部分だけを切り抜いて OCR かけるというもの(この記事では OCR をかける部分についてだけ)。 コードはこういう…

小ネタ: streamlit でデフォルト値を設定する

前提 コード 解説 おまけ 前提 こういう感じで、複数の input に大してデフォルトの値を設定しておいて、個々の値 (foo_i_j) を微調整したいというロジックが作りたいときのレシピ。 作ったロジックでは、 ユーザ入力があればそれを優先する ユーザ入力がな…

learning rate 実験してみた

google machine learning course の↓でやった exercise が今やってる ML モデルで実感できた、という記事。 https://developers.google.com/machine-learning/crash-course/descending-into-ml/training-and-loss 前提 learning rate = 1e-6 learning rate =…

PyTorch めも pt. 1

ML

fully-connected layer とは pre-trained model の fully-connected layer を変えるとは foo.to(device) とは 画像の表示 learning rate とは module とは (& その書き方) ループごとに画像を表示する RGB to grayscale pyplot に四角を描画 random integer …

小ネタ: AWS サポートはチャットがおすすめ

AWS

※ Business プランを使っています AWS サポート、これまでメールでしか問い合わせしてなかったんだけど、どうしても返信がくるのに1日以上はかかってたのでなかなか使いこなせてなかった SA さんに相談したら「チャットならすぐ返事きますよ!」と教えてもら…

assume role まわりめも

assume role とは: AWS リソースとか IAM ユーザの「プリンシパル」に IAM role を一時的につけること プリンシパルの一覧はここ ↓ https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_elements_principal.html assume role をするために…

小ネタ : QuickSight のロール

READER 自分に共有されたダッシュボードの操作 AUTHOR ダッシュボードの作成・管理 分析の作成・管理 データセットの作成・管理 データソースの作成・管理 READER の操作 ADMIN 管理タスク AUTHOR の操作 管理タスクとは... 認証タスク ユーザ管理 SPICE 容…

Cognito x React 実装でわかったこと(わからなかったこと)

pre-amble Hosted UI 処理の流れ 実装: 全体のコード 実装: 認可コードをとってくる 実装: ID トークンをとってくる 参考資料 pre-amble まず cognito をなんのライブラリ経由で使うかの選択肢がいろいろあるようで、 AWS SDK を使うとか、 Amplify を使うと…