为什么pandas的read_excel不能打开网络上的xlsx文件？ 如果这个文件下载到本地，打开就没有问题：

# 为什么read_excel不能远程打开xlsx文件？百思不得其解
df = pd.read_excel('https://www_gairuo_com/file/data/dataset/team.xlsx',engine='openpyxl')
df = pd.read_excel("team.xlsx",engine='openpyxl')

---------------读https://远程文件的报错信息-----------------
Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 1350, in do_open
    h.request(req.get_method(), req.selector, req.data, headers,
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/http/client.py", line 1240, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/http/client.py", line 1286, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/http/client.py", line 1235, in endheaders
    self._send_output(message_body, encode_chunked=encode_chunked)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/http/client.py", line 1006, in _send_output
    self.send(msg)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/http/client.py", line 946, in send
    self.connect()
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/http/client.py", line 1409, in connect
    self.sock = self._context.wrap_socket(self.sock,
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/ssl.py", line 500, in wrap_socket
    return self.sslsocket_class._create(
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/ssl.py", line 1040, in _create
    self.do_handshake()
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/ssl.py", line 1309, in do_handshake
    self._sslobj.do_handshake()
ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1108)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/Volumes/4TB_DATA/Python项目/panda_study/T-行列选择.py", line 11, in <module>
    df = pd.read_excel('https://www_gairuo_com/file/data/dataset/team.xlsx',engine='openpyxl')
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/excel/_base.py", line 304, in read_excel
    io = ExcelFile(io, engine=engine)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/excel/_base.py", line 824, in __init__
    self._reader = self._engines[engine](self._io)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/excel/_openpyxl.py", line 485, in __init__
    super().__init__(filepath_or_buffer)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/excel/_base.py", line 342, in __init__
    filepath_or_buffer = BytesIO(urlopen(filepath_or_buffer).read())
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/common.py", line 141, in urlopen
    return urllib.request.urlopen(*args, **kwargs)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 525, in open
    response = self._open(req, data)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 542, in _open
    result = self._call_chain(self.handle_open, protocol, protocol +
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 502, in _call_chain
    result = func(*args)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 1393, in https_open
    return self.do_open(http.client.HTTPSConnection, req,
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/urllib/request.py", line 1353, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1108)>

本帖最后由 大信 于 2022-5-15 15:10 编辑

是很复杂，所以要做ETL架构设计啊。还有不少云数据平台。开源软件hadoop，spark，flink什么的。 本帖最后由 yejun 于 2022-5-15 13:23 编辑

可能是经历不同吧

数据清洗这种事情 一般来说 就是SQL我也得写一堆，让我写pandas我是不干的
sql的结构 这么多年已经被无数场景证明了 而且我这么多年也算一路SQL过来的，所以看到数据，首先都是 to_sql 然后select ....

而且sql是一种比python还有高级的语言 其解决具体领域的问题我是觉得它的表达是更简练的

sql其实主要是用于统计分析

只要是二维表结构的，哪个有数据库+sql能打呢？

pandas 对我 就是个中转站，要么导入，要么送出,最多再来个刚转列……
需要pandas 做数据分析的时候，我都是送到数据库跑sql...

access就是一个轻量化的sql数据库，前台可以做一些报表什么的。

看看能不能把dataframe里面的一些字段的数据类型压缩一下 比如用int8 float16 还有就是最好回避object类型

python虽然编起来简单，有大量第三方库支持，但基本的循环，判断等编程逻辑思想，数据结构知识还是要有的。

这些东西如果数据不大的话，应该excel就能搞定。
数据的处理和计算的话，python理论上可以搞定一切，当然只学个入门课程是不太够的。我access没怎么用过，但应该不比Oracle之类的强大，你觉得access能搞定的，我看python铁定可以办到。
发布自 iOS客户端

把Python编译成EXE文件体积太大了, 动辄几十MB甚至成百MB, 玩了几次就放弃了.
有段时间迷上了PHP编译, 把PHP程序编译成EXE最小只有500多KB. 即使打包几个库进去通常也只有2-4MB. 于是用PHP写了很多小玩意儿编译成了小巧的命令行小工具, 真是方便至极. 感觉PHP在处理文字、图片、数据库、文件系统甚至爬虫这些方面并不比Python差， 玩熟练了一样简单好用.

很感兴趣，你说的办公自动化具体是什么内容，为啥access可以完成而python不能？

这是两码事. 只有Python实现不了你的目标, 只有 Access更实现不了你的目标. 所以2个都要学.

就算在单位做项目，也都是一些带有研究性质的，不会用到实时，不会用到多线程，至少自己不会去开，或许有的库会自动做多线程处理，但这是库的功能而已。有的项目数据量确实很大，但是从来也达不到内存溢出的情况。不过就算遇到也不是什么大问题，公司有专门的计算服务器，再不行，放在云上。

研究性质的项目，代码怎么方便怎么来，不考虑代码运行效率，因此不做代码优化，唯一的要求是代码编写效率要高，要迅速把算法用代码实现，然后让机器慢慢的跑就行了。

excel处理数据就不够干净、整齐吗？
能不能解释一下？

凭上面的文字和图片，你怎么判断是生产项目的？

我做的基本都不是生产的项目，所以从来没碰到过这样的事情。