You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-26 - 21:17
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot6.osadl.org (updated Wed Nov 26, 2025 12:44:55)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
4036709910291,8cyclictest448828-21latency_hist09:30:011
4036709910291,8cyclictest448828-21latency_hist09:30:011
403670998979,7cyclictest501883-21latency_hist12:15:011
403670998756,30cyclictest0-21swapper/109:18:591
403669998574,8cyclictest429720-21latency_hist08:30:010
403670998374,6cyclictest486493-21kworker/u8:0+flush-179:011:25:251
403669998368,11cyclictest450415-21latency_hist09:35:010
403669998071,7cyclictest447242-21latency_hist09:25:010
403669997968,8cyclictest503474-21latency_hist12:20:010
403670997569,5cyclictest489585-21kworker/u8:0+flush-179:011:55:011
403670997467,5cyclictest401526-21kworker/u8:1+flush-179:007:10:181
403669997265,5cyclictest1-21systemd07:25:000
403670997163,6cyclictest476385-21/usr/sbin/munin10:55:231
403670997161,7cyclictest424679-21latency_hist08:15:011
403669997065,3cyclictest471425-21kworker/u8:3+flush-179:010:50:190
403671996736,2cyclictest0-21swapper/209:18:582
403670996758,7cyclictest453871-21latency_hist09:45:011
403670996754,9cyclictest421255-21apt-get08:05:001
403670996754,9cyclictest421255-21apt-get08:05:001
403670996655,8cyclictest473233-21apt-get10:45:121
403669996656,7cyclictest472976-21latency_hist10:45:010
403670996559,4cyclictest445618-21kworker/u8:1+flush-179:009:45:261
403669996556,7cyclictest498745-21kworker/u8:1+flush-179:012:10:000
403669996454,7cyclictest479581-21/usr/sbin/munin11:05:230
403669996354,6cyclictest501869-21kworker/u8:0+events_unbound12:30:230
403669996339,21cyclictest271-21systemd-journal11:37:480
403670996236,22cyclictest271-21systemd-journal12:39:481
403670996053,5cyclictest419692-21kworker/u8:0+events_unbound09:00:011
403670996050,7cyclictest485712-21latency_hist11:25:011
403670996045,11cyclictest271-21systemd-journal08:25:011
403674995957,1cyclictest0-21swapper/307:40:593
403670995948,8cyclictest479345-21latency_hist11:05:021
403670995948,8cyclictest403588-21latency_hist07:10:021
403670995852,4cyclictest489585-21kworker/u8:0+flush-179:011:40:231
403670995852,4cyclictest489585-21kworker/u8:0+flush-179:011:40:221
403670995839,15cyclictest440857-21kworker/u8:1+events_unbound09:05:181
403669995850,6cyclictest487312-21apt-get11:30:010
403669995848,7cyclictest426291-21latency_hist08:20:010
403669995833,22cyclictest414878-21latency_hist07:45:010
403669995749,5cyclictest452295-21latency_hist09:40:010
403670995650,5cyclictest445892-21/usr/sbin/munin09:20:221
403670995646,6cyclictest461867-21kworker/u8:3+flush-179:010:25:221
403670995547,5cyclictest402134-21kworker/u8:2+events_unbound07:20:011
403670995547,5cyclictest402134-21kworker/u8:2+events_unbound07:20:011
403670995543,9cyclictest465275-21apt-get10:20:131
403669995545,7cyclictest493927-21latency_hist11:50:000
403670995447,6cyclictest471425-21kworker/u8:3+flush-179:010:55:001
403670995447,5cyclictest408462-21kworker/u8:1+flush-179:007:40:241
403670995447,4cyclictest402134-21kworker/u8:2+flush-179:007:50:141
403669995432,20cyclictest458651-21awk10:00:000
40366999540,50cyclictest0-21swapper/009:15:140
403670995342,9cyclictest471647-21apt-get10:40:141
403669995349,3cyclictest723-21Xorg09:45:580
403669995348,3cyclictest452326-21kworker/u8:2+flush-179:010:15:010
403670995242,8cyclictest457298-21apt-get09:55:111
403670995242,7cyclictest501869-21kworker/u8:0+flush-179:012:30:151
403670995242,6cyclictest402134-21kworker/u8:2+flush-179:007:25:201
403670995141,7cyclictest434504-21latency_hist08:45:011
403670995138,9cyclictest445689-21kworker/u8:3+events_unbound09:35:191
403669995134,15cyclictest723-21Xorg09:40:580
403670995044,4cyclictest405255-21kworker/u8:0+flush-179:007:20:161
403670995041,6cyclictest437664-21kworker/u8:2+flush-179:009:10:181
403669995043,5cyclictest402134-21kworker/u8:2+flush-179:007:25:010
403669995042,6cyclictest498745-21kworker/u8:1+events_unbound12:40:010
4670791490,14ptp4l61690irq/136-eno1-TxRx-007:10:003
403670994946,2cyclictest0-21swapper/111:12:581
403670994945,3cyclictest501869-21kworker/u8:0+flush-179:012:15:191
403670994942,5cyclictest484484-21kworker/u8:1+flush-179:011:30:231
403670994941,6cyclictest452326-21kworker/u8:2+flush-179:010:35:161
403670994940,6cyclictest457044-21latency_hist09:55:021
403670994940,6cyclictest413276-21latency_hist07:40:011
403669994938,9cyclictest463666-21apt-get10:15:110
40366999491,46cyclictest421255-21apt-get08:05:030
40367099481,44cyclictest1-21systemd10:20:001
403669994838,8cyclictest431565-21apt-get08:35:100
403670994742,4cyclictest419692-21kworker/u8:0+events_unbound08:15:231
403670994742,3cyclictest431287-21kworker/u8:1+events_unbound08:35:131
403670994740,5cyclictest461867-21kworker/u8:3+events_unbound10:30:251
403670994740,5cyclictest419641-21latency_hist08:00:011
403670994738,7cyclictest480965-21kworker/u8:2+flush-179:011:40:011
403670994738,6cyclictest433155-21kworker/u8:2+flush-179:008:45:251
403669994738,7cyclictest452326-21kworker/u8:2+flush-179:010:40:000
403669994737,7cyclictest466607-21latency_hist10:25:000
40366999470,46cyclictest0-21swapper/008:04:550
40366999470,46cyclictest0-21swapper/008:04:550
40366999470,46cyclictest0-21swapper/007:54:550
403670994641,4cyclictest445689-21kworker/u8:3+flush-179:009:34:551
403670994639,5cyclictest493974-21kworker/u8:3+flush-179:011:55:191
403670994639,5cyclictest493974-21kworker/u8:3+events_unbound12:20:241
403669994639,5cyclictest484484-21kworker/u8:1+flush-179:011:30:200
403669994638,6cyclictest402134-21kworker/u8:2+flush-179:008:00:000
403669994626,18cyclictest495768-21apt11:55:150
403670994540,4cyclictest491546-21kworker/u8:1+flush-179:011:45:211
403670994538,5cyclictest423092-21latency_hist08:10:011
403669994522,20cyclictest440874-21latency_hist09:05:010
403669994522,20cyclictest440874-21latency_hist09:05:010
403670994438,5cyclictest402134-21kworker/u8:2+events_unbound07:30:241
40366999440,2cyclictest0-21swapper/011:00:120
403670994338,4cyclictest471425-21kworker/u8:3+events_unbound11:05:221
40366999432,40cyclictest442469-21turbostat09:14:540
40366999431,39cyclictest723-21Xorg10:07:000
403670994235,5cyclictest458605-21kworker/u8:0+flush-179:010:00:231
403669994229,10cyclictest416464-21latency_hist07:50:010
40366999420,1cyclictest0-21swapper/012:13:590
403671994137,2cyclictest0-21swapper/212:32:592
403671994137,2cyclictest0-21swapper/210:28:582
403670994135,5cyclictest427428-21kworker/u8:2+flush-179:008:30:011
403669994135,4cyclictest402134-21kworker/u8:2+flush-179:007:30:180
403669994122,17cyclictest434365-21unixbench-2d08:40:280
40367499400,39cyclictest419664-21turbostat08:00:003
40367499400,38cyclictest432920-21turbostat08:40:003
40367199400,2cyclictest0-21swapper/210:39:002
403669994035,4cyclictest14-21ksoftirqd/012:23:590
403674993932,5cyclictest442469-21turbostat09:10:003
403671993937,1cyclictest0-21swapper/210:54:592
403670993934,3cyclictest440911-21systemd-run09:05:001
403670993934,3cyclictest440911-21systemd-run09:05:001
403670993928,8cyclictest419692-21kworker/u8:0+flush-179:008:30:211
403670993928,8cyclictest419692-21kworker/u8:0+flush-179:008:30:201
40367099390,2cyclictest723-21Xorg07:48:591
40366999390,37cyclictest723-21Xorg10:00:580
40366999390,2cyclictest723-21Xorg10:50:000
403674993836,1cyclictest0-21swapper/309:21:003
403674993833,4cyclictest497110-21turbostat12:00:003
40367499380,37cyclictest453889-21turbostat09:45:003
40367499380,37cyclictest439277-21turbostat09:00:003
403671993835,2cyclictest0-21swapper/207:16:592
403671993835,2cyclictest0-21swapper/207:16:592
40367199380,36cyclictest0-21swapper/211:46:002
40367199380,36cyclictest0-21swapper/209:46:592
40367199380,35cyclictest0-21swapper/210:24:592
40367099380,37cyclictest0-21swapper/108:50:581
403669993835,2cyclictest0-21swapper/008:45:590
403669993833,4cyclictest723-21Xorg10:32:000
403669993818,17cyclictest0-21swapper/008:15:010
40366999380,37cyclictest0-21swapper/011:13:590
403674993735,1cyclictest0-21swapper/311:01:593
403674993731,5cyclictest406818-21turbostat07:20:013
403674993731,5cyclictest406818-21turbostat07:20:003
40367199370,35cyclictest0-21swapper/210:44:582
40367199370,35cyclictest0-21swapper/210:09:582
40367199370,35cyclictest0-21swapper/208:26:002
40367199370,2cyclictest0-21swapper/211:52:582
40367099373,30cyclictest497378-21apt-get12:00:121
403669993726,9cyclictest427091-21diskstats08:20:170
403669993720,13cyclictest437931-21apt-get08:55:130
40366999370,1cyclictest0-21swapper/007:38:590
403674993634,1cyclictest0-21swapper/311:39:553
403674993634,1cyclictest0-21swapper/310:56:583
403674993634,1cyclictest0-21swapper/310:38:593
403674993634,1cyclictest0-21swapper/309:39:003
403674993634,1cyclictest0-21swapper/308:01:593
403674993634,1cyclictest0-21swapper/308:01:593
40367499360,35cyclictest0-21swapper/309:25:593
40367499360,35cyclictest0-21swapper/309:25:583
40367499360,35cyclictest0-21swapper/308:40:593
40367499360,35cyclictest0-21swapper/308:25:003
403671993634,1cyclictest0-21swapper/212:40:002
40367199360,1cyclictest0-21swapper/207:45:592
403669993630,5cyclictest494184-21apt-get11:50:130
40366999362,30cyclictest505334-21apt-get12:25:130
403674993533,1cyclictest0-21swapper/310:03:593
403674993533,1cyclictest0-21swapper/308:54:553
403671993532,2cyclictest0-21swapper/207:57:592
403671993531,2cyclictest0-21swapper/212:10:592
40367199350,33cyclictest0-21swapper/210:12:582
40367199350,1cyclictest0-21swapper/208:34:592
40367199350,1cyclictest0-21swapper/208:34:582
403669993532,2cyclictest723-21Xorg11:19:590
403669993516,18cyclictest405914-21hwlatdetect07:15:190
403669993516,18cyclictest405914-21hwlatdetect07:15:190
403674993432,1cyclictest0-21swapper/311:52:583
403674993431,2cyclictest0-21swapper/308:34:593
403674993431,2cyclictest0-21swapper/308:34:593
403671993432,1cyclictest0-21swapper/212:10:002
403671993432,1cyclictest0-21swapper/211:59:592
403671993431,2cyclictest0-21swapper/212:24:552
403671993431,2cyclictest0-21swapper/211:43:592
403671993431,2cyclictest0-21swapper/211:43:592
403671993431,2cyclictest0-21swapper/211:10:592
403671993431,2cyclictest0-21swapper/211:09:552
403670993431,2cyclictest0-21swapper/110:10:581
403670993429,4cyclictest452326-21kworker/u8:2+flush-179:010:05:251
403670993429,3cyclictest501869-21kworker/u8:0+flush-179:012:25:231
403669993430,3cyclictest492373-21systemd-run11:45:010
403669993430,3cyclictest492373-21systemd-run11:45:000
403674993331,1cyclictest0-21swapper/308:26:003
403674993331,1cyclictest0-21swapper/307:45:593
403674993330,2cyclictest0-21swapper/310:24:583
40367499330,32cyclictest465023-21turbostat10:20:013
403671993329,2cyclictest0-21swapper/208:13:592
40366999338,7cyclictest467076-21expr10:25:150
40366999330,31cyclictest723-21Xorg09:29:580
40366999330,31cyclictest723-21Xorg09:29:580
403674993230,1cyclictest0-21swapper/311:45:593
403674993230,1cyclictest0-21swapper/309:18:593
403674993229,2cyclictest0-21swapper/310:54:593
403674993227,4cyclictest469798-21turbostat10:35:013
403674993226,5cyclictest509848-21turbostat12:40:013
403671993230,1cyclictest0-21swapper/211:05:002
403670993230,1cyclictest0-21swapper/111:19:551
40367099322,28cyclictest1-21systemd12:09:481
40366999329,4cyclictest723-21Xorg12:04:590
403669993222,8cyclictest436327-21/usr/sbin/munin08:50:230
403674993129,1cyclictest0-21swapper/310:44:583
403674993129,1cyclictest0-21swapper/310:28:593
403674993129,1cyclictest0-21swapper/310:09:583
403674993129,1cyclictest0-21swapper/309:46:583
403674993126,4cyclictest411603-21turbostat07:35:003
40367199310,2cyclictest0-21swapper/208:10:002
40367199310,29cyclictest0-21swapper/210:45:132
40366999318,4cyclictest485475-21ls11:20:240
403669993129,1cyclictest0-21swapper/010:59:540
403669993128,2cyclictest0-21swapper/009:50:140
40366999312,5cyclictest0-21swapper/008:30:130
40366999312,5cyclictest0-21swapper/008:30:130
40366999311,5cyclictest0-21swapper/007:11:590
403674993028,1cyclictest0-21swapper/312:32:593
40367499300,29cyclictest0-21swapper/312:00:133
403671993027,2cyclictest0-21swapper/210:15:592
40367199300,28cyclictest0-21swapper/207:10:152
403669993011,17cyclictest0-21swapper/009:05:130
403674992927,1cyclictest0-21swapper/310:12:593
403674992927,1cyclictest0-21swapper/307:26:593
403674992926,2cyclictest0-21swapper/310:45:143
403671992926,2cyclictest0-21swapper/212:15:142
403671992926,2cyclictest0-21swapper/211:28:592
403671992926,2cyclictest0-21swapper/208:50:132
40367199290,27cyclictest0-21swapper/212:00:122
40367199290,27cyclictest0-21swapper/211:30:032
40367199290,27cyclictest0-21swapper/209:40:142
40367199290,27cyclictest0-21swapper/209:35:132
40367199290,27cyclictest0-21swapper/208:45:132
40367199290,27cyclictest0-21swapper/208:40:162
40367199290,27cyclictest0-21swapper/208:35:132
4670791280,7ptp4l441ktimers/311:10:023
4670791280,6ptp4l441ktimers/311:25:003
4670791280,6ptp4l441ktimers/310:00:013
403674992827,1cyclictest0-21swapper/309:54:563
403674992826,1cyclictest0-21swapper/311:10:133
403674992825,2cyclictest0-21swapper/308:45:143
403674992825,2cyclictest0-21swapper/308:09:593
403674992823,4cyclictest503486-21turbostat12:24:553
40367499280,2cyclictest0-21swapper/307:20:153
40367499280,27cyclictest0-21swapper/311:40:153
40367499280,27cyclictest0-21swapper/311:40:143
40367499280,27cyclictest0-21swapper/311:15:133
40367499280,26cyclictest0-21swapper/311:30:023
40367499280,26cyclictest0-21swapper/308:15:133
40367499280,1cyclictest0-21swapper/309:02:593
40367499280,1cyclictest0-21swapper/309:02:593
40367499280,1cyclictest0-21swapper/307:10:153
403671992825,2cyclictest0-21swapper/209:57:592
403671992825,2cyclictest0-21swapper/209:09:002
403671992825,2cyclictest0-21swapper/207:40:132
403671992825,2cyclictest0-21swapper/207:36:592
40367199280,26cyclictest0-21swapper/208:15:132
4670791270,7ptp4l61690irq/136-eno1-TxRx-007:55:003
4670791270,5ptp4l441ktimers/307:40:013
403674992725,1cyclictest0-21swapper/312:15:143
403674992725,1cyclictest0-21swapper/309:30:133
403674992724,2cyclictest0-21swapper/312:09:593
40367499270,26cyclictest0-21swapper/312:10:593
40367499270,26cyclictest0-21swapper/308:13:593
403671992724,2cyclictest0-21swapper/209:27:592
403671992724,2cyclictest0-21swapper/209:27:592
403671992723,2cyclictest0-21swapper/209:11:592
40367199270,25cyclictest0-21swapper/209:53:592
40367199270,1cyclictest0-21swapper/207:22:002
4670791260,6ptp4l441ktimers/312:30:003
403674992624,1cyclictest0-21swapper/311:29:003
403671992624,1cyclictest0-21swapper/211:24:582
403671992623,2cyclictest0-21swapper/207:26:232
403669992624,1cyclictest0-21swapper/007:10:020
4670791250,5ptp4l441ktimers/309:14:543
403671992522,2cyclictest0-21swapper/210:04:552
403671992522,2cyclictest0-21swapper/208:20:012
403671992421,2cyclictest0-21swapper/208:59:562
403671992320,2cyclictest0-21swapper/209:02:592
403671992320,2cyclictest0-21swapper/209:02:582
403671992319,2cyclictest0-21swapper/209:24:002
403671992219,2cyclictest0-21swapper/208:00:142
403671992219,2cyclictest0-21swapper/208:00:142
403671992219,2cyclictest0-21swapper/207:30:592
403671992218,2cyclictest0-21swapper/210:55:592
403671991815,2cyclictest0-21swapper/212:29:592
403671991511,2cyclictest0-21swapper/211:19:562
403671991411,2cyclictest0-21swapper/207:50:592
403671991311,1cyclictest0-21swapper/211:40:002
4036719996,2cyclictest0-21swapper/209:31:582
4036719970,2cyclictest0-21swapper/210:30:152
4036719930,2cyclictest0-21swapper/207:10:012
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional