BROADCASTS.com

b'Resoluci\\xf3n de Issue35930: Raising an exception raised in a "future" instance will create reference cycles https://podcast.jcea.es/python/13\\n

Participantes:

\\n
• \\n

  Jes\\xfas Cea, email: jcea@jcea.es, twitter:\\n @jcea, https://blog.jcea.es/,\\n https://www.jcea.es/. Conectando desde Madrid.

  \\n
\\n
• \\n

  V\\xedctor Ram\\xedrez, twitter: @virako,\\n programador python y amante de vim, conectando desde Huelva.

  \\n
\\n
• \\n

  Miguel S\\xe1nchez, email:\\n msanchez@uninet.edu, conectando desde\\n Canarias.

  \\n
\\n
• \\n

  Juan Carlos.

  \\n
\\n
• \\n

  Plutarco, conectando desde Madrid.

  \\n
\\n
• \\n

  Eduardo Castro, email:\\n info@ecdesign.es. Conectando desde A\\n Guarda.

  \\n
\\n
• \\n

  Julio, conectando desde Chile.

  \\n
\\n

Audio editado por Pablo G\\xf3mez, twitter:\\n@julebek.

La m\\xfasica de la entrada y la salida es "Lightning Bugs", de Jason\\nShaw. Publicada en https://audionautix.com/ con licencia\\n- Creative Commons Attribution 4.0 International\\nLicense.

\\n
• \\n

  [00:52] Presentaciones.

  \\n
\\n
• \\n

  [03:24] Aviso legal de que se est\\xe1 grabando y objetivos de la\\ntertulia.

  \\n
\\n
• \\n

  [06:22] Autoimport, \\xbfdeber\\xeda ser una funcionalidad del IDE?

  \\n
  \\n
  • PyCharm: https://www.jetbrains.com/pycharm/.
  \\n
  \\n
\\n
• \\n

  [12:52] Los IDEs y las inercias.

  \\n
  \\n
  • \\n

    PyCharm: https://www.jetbrains.com/pycharm/.

    \\n
  \\n
  • \\n

    Atajos de teclado.

    \\n
  \\n
  • \\n

    vim: https://es.wikipedia.org/wiki/Vim.

    \\n
    \\n
    • Ubicuo y poder editar ficheros de forma remota.
    \\n
    \\n
  \\n
  • \\n

    Uso del teclado en vez del rat\\xf3n.

    \\n
  \\n
  • \\n

    Emacs: https://es.wikipedia.org/wiki/Emacs.

    \\n
  \\n
  \\n
\\n
• \\n

  [19:22] Operador morsa (walrus). Sigue us\\xe1ndose muy poco.

  \\n
  \\n
  • \\n

    Python va complicando la sintaxis m\\xe1s y m\\xe1s.

    \\n
  \\n
  • \\n

    Se habl\\xf3 en una tertulia anterior.

    \\n
  \\n
  • \\n

    Jes\\xfas solo ha encontrado este caso \\xfatil:

    \\n
    \\n
    • \\n

      Pasar de:

      \\n

      buf = f.read(1000)\\nwhile buf:\\n    [Hace el procesamiento]\\n    buf = f.read(1000)\\n

      \\n
    \\n
    • \\n

      A lo siguiente:

      \\n

      while buf := f.read(1000):\\n    [Hace el procesamiento]\\n

      \\n
    \\n
    \\n
  \\n
  \\n
\\n
• \\n

  [25:57] Erratas en tertulias anteriores:

  \\n
  \\n
  • \\n

    Migraci\\xf3n de Python a Github fue en 2017.

    \\n
  \\n
  • \\n

    No es "Steering committee" sino "Steering Council".

    \\n
  \\n
  • \\n

    [27:02] Pablo Galindo forma parte del "council" tras las\\n \\xfaltimas elecciones.

    \\n

    Charla de Pablo Galindo en la PyconES 2019 sobre el mundo\\nde los Core Developers de Python:\\nhttps://www.youtube.com/watch?v=qcvZOaY1emk.

    \\n
  \\n
  • \\n

    Algunos proyectos Python est\\xe1n usando Rust. Por ejemplo:\\n https://cryptography.io/, con cierta pol\\xe9mica. Mercurial\\n tambi\\xe9n usa Rust https://www.mercurial-scm.org/.

    \\n
  \\n
  • \\n

    Las variables locales pueden ser modificadas a trav\\xe9s de su\\n "closure", en funciones hijas o en otros hilos. Es una\\n barbaridad, pero la posibilidad existe.

    \\n

    Esto es lo que hace, por ejemplo, un debugger.

    \\n
  \\n
  \\n
\\n
• \\n

  [35:37] \\xa1Spoiler sobre la resoluci\\xf3n del "Memory Leak"!

  \\n
  \\n
  • \\n

    Issue35930: Raising an exception raised in a "future"\\n instance will create reference cycles\\n https://bugs.python.org/issue35930.

    \\n
  \\n
  • \\n

    Traceback:\\n https://docs.python.org/3/library/traceback.html

    \\n
  \\n
  • \\n

    Frame:\\n https://docs.python.org/3/library/traceback.html#traceback.FrameSummary.

    \\n
  \\n
  • \\n

    Stack:\\n https://docs.python.org/3/library/traceback.html#stacksummary-objects.

    \\n
  \\n
  \\n
\\n
• \\n

  [39:17] Usar una t\\xe9cnica similar para detectar las\\n caracter\\xedsticas de quien te llama para poder mezclar de forma\\n m\\xe1s limpia c\\xf3digo s\\xedncrono y as\\xedncrono.

  \\n
  \\n
  • Biblioteca Unsync: https://pypi.org/project/unsync/.
  \\n
  \\n
\\n
• \\n

  [41:32] Sigo explicando detalles de la soluci\\xf3n del "Memory\\n Leak".

  \\n
  \\n
  • \\n

    Issue35930: Raising an exception raised in a "future"\\n instance will create reference cycles\\n https://bugs.python.org/issue35930.

    \\n
  \\n
  • \\n

    Estamos continuando una conversaci\\xf3n que ha durado varias\\n tertulias.

    \\n
  \\n
  • \\n

    Jes\\xfas Cea pone un ejemplo de c\\xf3mo generar un ciclo con una\\n excepcion.

    \\n
  \\n
  • \\n

    La caja y media de cervezas se las lleva... \\xa1Jes\\xfas!

    \\n
  \\n
  \\n
\\n
• \\n

  [47:22] No se est\\xe1 conectando gente desde Hispanoam\\xe9rica. \\xbfPor\\n qu\\xe9?

  \\n
\\n
• \\n

  [50:07] M\\xe1s erratas: Los "tracebacks" NO son inmutables.

  \\n
\\n
• \\n

  [50:32] Nuevo m\\xe9todo "with_traceback()" a la hora de crear\\n excepciones:

  \\n
  \\n
  • \\n

    https://docs.python.org/3/library/exceptions.html#BaseException.with_traceback.

    \\n

    Puedes generar una excepci\\xf3n con un "traceback"\\narbitrario.

    \\n
  \\n
  • \\n

    El caballo de batalla del bug es que el "future"\\n https://docs.python.org/3/library/concurrent.futures.html\\n levanta una excepci\\xf3n y esa excepci\\xf3n debe "transportarse" a\\n otro hilo.

    \\n
  \\n
  • \\n

    Explicando c\\xf3mo se visualizan los "traceback" si un "future"\\n https://docs.python.org/3/library/concurrent.futures.html\\n muere con una excepci\\xf3n.

    \\n

    def a():\\n    1/0\\n\\ntry:\\n    a()\\nexcept Exception as e:\\n    raise e\\n\\nTraceback (most recent call last):\\n  File "<stdin>", line 4, in <module>\\n  File "<stdin>", line 2, in <module>\\n  File "<stdin>", line 2, in a\\nZeroDivisionError: division by zero\\n

    \\n
  \\n
  • \\n

    Cuando un "future"\\n https://docs.python.org/3/library/concurrent.futures.html\\n lanza una excepci\\xf3n, se ven "frames" repetidos.

    \\n
  \\n
  • \\n

    Hay varias formas de solucionar el bug. Ahora hay que pensar\\n en cual elegir, que sea la m\\xe1s simple e intuitiva.

    \\n
  \\n
  \\n
\\n
• \\n

  [01:01:52] Sobre el "nivel" de las tertulias y sus motivaciones.

  \\n
\\n
• \\n

  [01:06:12] Referencia r\\xe1pida a temas de la tertulia anterior:

  \\n
  \\n
  • \\n

    Dataclasses:\\n https://docs.python.org/3/library/dataclasses.html. Se\\n hablo mucho sobre ellas en la tertulia de la semana pasada.

    \\n
  \\n
  • \\n

    Pydantic: https://pypi.org/project/pydantic/.

    \\n
  \\n
  • \\n

    FastAPI: https://pypi.org/project/fastapi/.

    \\n
  \\n
  \\n
\\n
• \\n

  [01:09:17] Diagn\\xf3stico exhaustivo del bug "Memory Leak", causa\\n ra\\xedz y propuestas de soluciones.

  \\n
  \\n
  • \\n

    Issue35930: Raising an exception raised in a "future"\\n instance will create reference cycles\\n https://bugs.python.org/issue35930.

    \\n
  \\n
  • \\n

    Exploraci\\xf3n del propio c\\xf3digo fuente de Python.

    \\n
  \\n
  • \\n

    Repaso detallado del funcionamiento de un "future"\\n https://docs.python.org/3/library/concurrent.futures.html.

    \\n
  \\n
  • \\n

    Uno de los problemas fundamentales de trabajar con hilos es\\n c\\xf3mo notificar excepciones a otros hilos. La gran ventaja de\\n los "futures" es gestionar esto de forma trivial.

    \\n
  \\n
  • \\n

    Este "transporte" es lo que est\\xe1 ocasionando el "Memory\\n Leak".

    \\n
  \\n
  • \\n

    \\xa1Ag\\xe1rrate que vienen curvas!

    \\n
  \\n
  • \\n

    [01:21:32] Ojo a la l\\xednea self = None. Aqu\\xed se rompe el\\n ciclo en la excepci\\xf3n original:\\n https://github.com/python/cpython/blob/3.9/Lib/concurrent/futures/thread.py#L47.

    \\n
  \\n
  • \\n

    Closures:\\n https://es.wikipedia.org/wiki/Clausura_(inform%C3%A1tica).

    \\n
  \\n
  • \\n

    "Pool" de "workers". De forma est\\xe1ndar, Python te\\n proporciona dos ejecutores: el ejecutor de hilos y el\\n ejecutor de procesos\\n https://docs.python.org/3/library/concurrent.futures.html#executor-objects.

    \\n
  \\n
  • \\n

    [01:31:32] Las partes relevantes en el hilo principal son:

    \\n
    \\n
    • \\n

      https://github.com/python/cpython/blob/3.9/Lib/concurrent/futures/_base.py#L413.

      \\n
    \\n
    • \\n

      https://github.com/python/cpython/blob/2fe408497e6838b6fb761e42e8f8ffc70bd6f3b1/Lib/concurrent/futures/_base.py#L387.

      \\n
    \\n
    \\n
  \\n
  • \\n

    [01:37:02] \\xa1Brainstorming!

    \\n
  \\n
  \\n
\\n
• \\n

  [01:42:42] try ... finally

  \\n

  Jejeje, alguien propone algo que funcionar\\xeda :-).

  \\n
  \\n
  • \\n

    [01:43:57] Weakref:\\n https://docs.python.org/3/library/weakref.html. Hay\\n contertulios que no est\\xe1n familiarizados con el concepto,\\n Jes\\xfas Cea repasa qu\\xe9 son y para qu\\xe9 sirven las "Weakref".

    \\n
  \\n
  • \\n

    Se pueden "resucitar" objetos.

    \\n
  \\n
  \\n
\\n
• \\n

  [01:51:02] Volvemos al hilo, la correcci\\xf3n del bug.

  \\n
  \\n
  • \\n

    El gr\\xe1fico de antes, con ciclos:\\n https://lists.es.python.org/pipermail/general/attachments/20201229/0c14bc58/attachment-0002.png.

    \\n
  \\n
  • \\n

    El gr\\xe1fico de despu\\xe9s, sin ciclos:\\n https://lists.es.python.org/pipermail/general/attachments/20201229/0c14bc58/attachment-0003.png.

    \\n
  \\n
  \\n
\\n
• \\n

  [01:55:12] Comprobar este bug con un test unitario.

  \\n
  \\n
  • \\n

    Por sus caracter\\xedsticas... complicado.

    \\n
  \\n
  • \\n

    "sys.getrefcount()":\\n https://docs.python.org/3/library/sys.html#sys.getrefcount.

    \\n
  \\n
  • \\n

    "sys.exc_info()": https://docs.python.org/3/library/sys.html#sys.exc_info.

    \\n
  \\n
  • \\n

    "Race conditions":\\n https://es.wikipedia.org/wiki/Condici%C3%B3n_de_carrera.

    \\n
  \\n
  \\n
\\n
• \\n

  [01:59:22] Cuando recoge basura de objetos, podemos pedir que\\n los guarde en "gc.garbage" para revisarlos:\\n https://docs.python.org/3/library/gc.html#gc.garbage.

  \\n
  \\n
  • \\n

    "gc.DEBUG_SAVEALL":\\n https://docs.python.org/3/library/gc.html#gc.DEBUG_SAVEALL.

    \\n
  \\n
  • \\n

    Se puede limpiar "gc.garbage" antes de la ejecuci\\xf3n del\\n c\\xf3digo que nos interesa analizar.

    \\n
  \\n
  \\n
\\n
• \\n

  [02:03:42] Bola extra:

  \\n
  \\n
  • \\n

    Editar los audios.

    \\n
  \\n
  • \\n

    Machine learning para el procesado de audio.

    \\n
    \\n
    • \\n

      El problema del cocktail:\\n https://en.wikipedia.org/wiki/Cocktail_party_effect y\\n una soluci\\xf3n aplicando inteligencia artificial:\\n https://www.technologyreview.com/2015/04/29/168316/deep-learning-machine-solves-the-cocktail-party-problem/.

      \\n
    \\n
    • \\n

      RNNoise https://jmvalin.ca/demo/rnnoise/.

      \\n
    \\n
    \\n
  \\n
  \\n
\\n
• \\n

  [02:09:52] Repaso del d\\xeda para los que llegaron tarde.

  \\n
\\n
• \\n

  [02:12:52] Weakref:\\n https://docs.python.org/3/library/weakref.html.

  \\n
  \\n
  • \\n

    Jes\\xfas ofrece algunos ejemplos de su utilidad.

    \\n
    \\n
    • \\n

      [02:19:22] Iteradores WSGI\\n https://www.python.org/dev/peps/pep-0333/.

      \\n
    \\n
    • \\n

      [02:21:12] Weakref en cach\\xe9 de objetos Durus\\n https://www.mems-exchange.org/software/DurusWorks/DurusWorks-1.2.tar.gz/DurusWorks-1.2/doc/durus.html.

      \\n
    \\n
    \\n
  \\n
  \\n
\\n
• \\n

  [02:23:52] El valor de la tertulia es llevarse algo que probar\\n en casa.

  \\n
\\n
• \\n

  [02:25:22] La tertulia la hacen los asistentes.

  \\n
\\n
• \\n

  [02:28:36] Final.

  \\n
\\n