You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2021-12-06 - 20:51

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #3
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot3.osadl.org (updated Mon Dec 06, 2021 12:46:04)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1283911180,4ptp4l401ktimersoftd/307:09:493
1283911040,2ptp4l12619-21irqrtprio08:25:123
56698850,12rtkit-daemon0-21swapper/107:09:301
166662780,8sleep31543099cyclictest07:50:113
150092775,18sleep20-21swapper/207:09:482
15429997460,8cyclictest33-21ksoftirqd/208:05:122
149972743,11sleep00-21swapper/007:09:390
15430997110,13cyclictest20596-21/usr/sbin/munin10:35:133
15428997162,5cyclictest25-21ksoftirqd/112:35:131
15430997010,13cyclictest32218-21/usr/sbin/munin08:50:103
1543099699,12cyclictest12553-21/usr/sbin/munin11:45:113
1543099699,12cyclictest12553-21/usr/sbin/munin11:45:113
1543099679,13cyclictest28766-21df10:05:143
124832670,5sleep212487-21irqrtprio08:25:122
1543099669,13cyclictest12501-21/usr/sbin/munin10:25:143
1543099657,20cyclictest5197-21if_enp4s010:55:253
15430996554,7cyclictest41-21ksoftirqd/309:25:123
1543099648,12cyclictest16620-21cut11:50:103
1543099629,12cyclictest31737-21expr12:10:053
15428996251,6cyclictest25-21ksoftirqd/111:55:111
1543099616,21cyclictest31166-21/usr/sbin/munin09:30:013
15429996149,7cyclictest33-21ksoftirqd/207:30:112
1543099608,12cyclictest31483-21cat07:30:013
15429996048,6cyclictest33-21ksoftirqd/210:50:122
44452590,2sleep10-21swapper/110:55:141
1543099593,14cyclictest0-21swapper/310:45:023
15429995948,6cyclictest33-21ksoftirqd/207:50:132
15429995944,8cyclictest33-21ksoftirqd/211:20:132
44032580,2sleep00-21swapper/007:35:110
1543099586,12cyclictest2800-21sed10:55:013
1543099585,14cyclictest17811-21sed08:30:233
15429995846,6cyclictest33-21ksoftirqd/210:05:122
128391580,1ptp4l391rcuc/309:43:573
128391580,1ptp4l391rcuc/307:21:553
1543099574,22cyclictest3804-21cpuspeed_turbos07:35:063
1543099573,14cyclictest22464-21switchtime07:55:283
1543099573,14cyclictest22464-21switchtime07:55:273
1543099573,12cyclictest15910-21timerandwakeup09:10:093
1543099572,13cyclictest0-21swapper/310:40:203
128391570,1ptp4l391rcuc/312:33:443
1543099563,14cyclictest28373-21ls08:05:093
1543099558,9cyclictest27522-21python08:45:043
1543099547,13cyclictest7361-21cstates09:00:053
15429995443,6cyclictest33-21ksoftirqd/212:35:122
1543099533,18cyclictest32159-21df_abs10:10:103
56698520,6rtkit-daemon309791kworker/1:012:05:011
15429995246,4cyclictest33-21ksoftirqd/208:20:132
15429995232,6cyclictest33-21ksoftirqd/211:45:132
15429995232,6cyclictest33-21ksoftirqd/211:45:122
1542799525,44cyclictest9836-21kworker/0:207:10:140
1543099517,7cyclictest0-21swapper/310:00:283
1543099510,12cyclictest19452-21cat12:35:043
15429995144,4cyclictest33-21ksoftirqd/211:55:122
15429995144,4cyclictest10758-21cron09:05:002
15429994831,13cyclictest33-21ksoftirqd/207:10:132
15427994841,5cyclictest9-21ksoftirqd/008:30:110
15430994612,14cyclictest8502-21apt-get08:20:113
15429994641,3cyclictest33-21ksoftirqd/212:30:122
128391440,1ptp4l401ktimersoftd/309:50:363
128391440,1ptp4l401ktimersoftd/309:35:343
15429994337,3cyclictest33-21ksoftirqd/209:30:002
15429994332,5cyclictest33-21ksoftirqd/208:50:112
15427994337,4cyclictest9-21ksoftirqd/008:10:120
128391430,1ptp4l401ktimersoftd/309:56:433
128391430,1ptp4l401ktimersoftd/309:09:553
128391430,1ptp4l401ktimersoftd/307:10:073
1543099425,13cyclictest23345-21cat12:00:013
15429994235,4cyclictest33-21ksoftirqd/209:35:142
1542899422,37cyclictest12400-21kworker/1:010:00:261
128391420,1ptp4l401ktimersoftd/311:08:113
15429994135,4cyclictest33-21ksoftirqd/209:20:122
15429994134,4cyclictest33-21ksoftirqd/211:45:002
15429994134,4cyclictest33-21ksoftirqd/211:45:002
15429994134,4cyclictest33-21ksoftirqd/210:25:142
15429994134,4cyclictest33-21ksoftirqd/207:40:002
128391410,1ptp4l401ktimersoftd/308:00:183
15429994035,3cyclictest33-21ksoftirqd/212:15:002
15429994035,3cyclictest33-21ksoftirqd/211:19:592
15429994035,3cyclictest33-21ksoftirqd/209:40:142
15429994034,4cyclictest33-21ksoftirqd/209:50:192
15429994034,3cyclictest33-21ksoftirqd/212:25:002
15429994032,5cyclictest33-21ksoftirqd/211:05:142
1542999394,11cyclictest33-21ksoftirqd/210:20:182
15429993934,3cyclictest33-21ksoftirqd/209:15:142
15429993934,3cyclictest33-21ksoftirqd/209:15:132
15429993933,4cyclictest33-21ksoftirqd/212:25:142
15429993933,4cyclictest33-21ksoftirqd/211:25:002
15429993933,4cyclictest33-21ksoftirqd/207:25:212
15429993933,3cyclictest33-21ksoftirqd/212:20:012
15429993933,3cyclictest33-21ksoftirqd/210:15:112
15429993933,3cyclictest33-21ksoftirqd/207:55:082
15429993933,3cyclictest33-21ksoftirqd/207:55:082
15429993932,4cyclictest33-21ksoftirqd/209:50:002
15429993932,4cyclictest33-21ksoftirqd/208:35:152
15428993916,21cyclictest12400-21kworker/1:009:45:161
1543099388,12cyclictest18976-21/usr/sbin/munin09:15:113
1543099388,12cyclictest18976-21/usr/sbin/munin09:15:103
1542999387,7cyclictest33-21ksoftirqd/210:55:072
15429993833,3cyclictest33-21ksoftirqd/208:45:112
15429993833,3cyclictest33-21ksoftirqd/208:30:052
15429993833,3cyclictest33-21ksoftirqd/208:15:122
15429993832,4cyclictest33-21ksoftirqd/207:45:052
15429993832,3cyclictest33-21ksoftirqd/207:20:012
15429993831,4cyclictest33-21ksoftirqd/212:05:002
15429993831,4cyclictest33-21ksoftirqd/210:40:202
1542999382,5cyclictest33-21ksoftirqd/208:05:002
1542999380,7cyclictest33-21ksoftirqd/210:45:192
1542999373,4cyclictest33-21ksoftirqd/209:00:002
15429993732,3cyclictest33-21ksoftirqd/210:00:142
15429993732,3cyclictest33-21ksoftirqd/209:55:202
15429993731,4cyclictest33-21ksoftirqd/211:35:002
15429993731,4cyclictest33-21ksoftirqd/207:40:132
15429993731,3cyclictest33-21ksoftirqd/209:30:082
15429993731,3cyclictest33-21ksoftirqd/208:40:142
15429993731,3cyclictest33-21ksoftirqd/207:20:212
15429993730,4cyclictest33-21ksoftirqd/211:10:112
15429993730,4cyclictest33-21ksoftirqd/209:10:182
15427993732,3cyclictest25114-21sed10:00:150
1282913730,3phc2sys391rcuc/307:40:283
15430993629,4cyclictest41-21ksoftirqd/311:10:023
15430993612,21cyclictest904-21grep11:30:193
1542999364,4cyclictest33-21ksoftirqd/210:10:032
15429993631,3cyclictest33-21ksoftirqd/211:05:012
15429993631,3cyclictest33-21ksoftirqd/210:35:012
15429993631,3cyclictest33-21ksoftirqd/210:35:012
15429993630,4cyclictest33-21ksoftirqd/208:10:142
15429993629,4cyclictest33-21ksoftirqd/210:35:042
1542999361,4cyclictest33-21ksoftirqd/209:10:002
15428993630,4cyclictest25-21ksoftirqd/109:17:011
15428993630,4cyclictest25-21ksoftirqd/109:17:001
15428993614,20cyclictest12400-21kworker/1:009:50:261
15427993630,4cyclictest9-21ksoftirqd/007:45:070
15427993630,4cyclictest27152-21kworker/0:211:45:060
15427993630,4cyclictest27152-21kworker/0:211:45:060
15427993629,4cyclictest9-21ksoftirqd/007:55:060
15427993629,4cyclictest9-21ksoftirqd/007:55:060
1543099356,17cyclictest17694-21snmpd12:08:513
15430993528,4cyclictest41-21ksoftirqd/312:15:183
15430993528,4cyclictest41-21ksoftirqd/312:00:523
15429993530,3cyclictest33-21ksoftirqd/212:10:012
15429993530,3cyclictest33-21ksoftirqd/211:50:072
15429993529,4cyclictest33-21ksoftirqd/211:35:112
15427993528,4cyclictest9-21ksoftirqd/011:55:130
15427993528,4cyclictest9-21ksoftirqd/008:40:000
1543099346,10cyclictest20711-21apt-get11:15:183
15430993427,4cyclictest41-21ksoftirqd/308:37:543
15428993412,20cyclictest27360-21kworker/1:107:53:061
15427993427,4cyclictest9-21ksoftirqd/012:04:240
15427993426,5cyclictest9-21ksoftirqd/012:23:180
310032330,2sleep10-21swapper/110:50:001
1543099332,12cyclictest0-21swapper/307:15:103
15428993326,4cyclictest25-21ksoftirqd/107:38:371
15428993325,5cyclictest25-21ksoftirqd/107:32:471
1542899331,30cyclictest16858-21kworker/1:108:35:361
15428993310,21cyclictest27360-21kworker/1:107:55:571
15428993310,21cyclictest27360-21kworker/1:107:55:561
1542899330,31cyclictest32480-21kworker/1:111:26:271
15427993327,4cyclictest9-21ksoftirqd/010:15:050
15427993327,4cyclictest9-21ksoftirqd/010:05:150
15427993327,4cyclictest9-21ksoftirqd/009:55:320
15427993327,4cyclictest9-21ksoftirqd/009:40:140
15427993327,4cyclictest9-21ksoftirqd/008:55:240
15427993327,4cyclictest9-21ksoftirqd/008:40:060
15427993326,4cyclictest9-21ksoftirqd/011:40:060
15427993326,4cyclictest9-21ksoftirqd/011:40:060
15427993326,4cyclictest9-21ksoftirqd/011:17:000
15427993325,5cyclictest9-21ksoftirqd/009:12:470
1282913325,4phc2sys41-21ksoftirqd/310:20:093
1543099325,11cyclictest8174-21df_abs11:40:103
1543099325,11cyclictest8174-21df_abs11:40:103
15430993227,3cyclictest41-21ksoftirqd/307:45:133
15430993216,11cyclictest0-21swapper/311:00:133
15428993226,4cyclictest25-21ksoftirqd/112:30:111
15428993226,4cyclictest25-21ksoftirqd/111:45:051
15428993226,4cyclictest25-21ksoftirqd/111:45:051
15428993226,3cyclictest25-21ksoftirqd/110:16:531
15428993225,4cyclictest25-21ksoftirqd/109:07:301
15428993225,4cyclictest25-21ksoftirqd/108:01:021
15428993210,20cyclictest32480-21kworker/1:111:22:471
15427993226,4cyclictest9-21ksoftirqd/009:45:070
15427993226,4cyclictest9-21ksoftirqd/008:50:120
15427993226,4cyclictest9-21ksoftirqd/008:30:010
15427993225,4cyclictest9-21ksoftirqd/012:08:300
15427993225,4cyclictest9-21ksoftirqd/011:20:130
15427993225,4cyclictest9-21ksoftirqd/009:30:000
15427993225,4cyclictest9-21ksoftirqd/009:02:010
15427993225,4cyclictest9-21ksoftirqd/007:44:530
15427993224,5cyclictest9-21ksoftirqd/007:25:130
1542799322,3cyclictest121rcu_preempt10:10:300
56698310,2rtkit-daemon0-21swapper/008:00:390
15430993116,8cyclictest4422-21cat10:15:143
15428993125,4cyclictest25-21ksoftirqd/111:43:521
15428993125,4cyclictest25-21ksoftirqd/111:43:521
15428993125,4cyclictest25-21ksoftirqd/109:42:551
15428993125,4cyclictest25-21ksoftirqd/109:31:191
15428993125,3cyclictest25-21ksoftirqd/112:21:401
15428993125,3cyclictest25-21ksoftirqd/112:12:281
15428993125,3cyclictest25-21ksoftirqd/111:52:011
15428993124,4cyclictest25-21ksoftirqd/110:38:401
15428993124,4cyclictest25-21ksoftirqd/109:39:471
15428993124,4cyclictest25-21ksoftirqd/109:11:271
15428993124,4cyclictest25-21ksoftirqd/108:53:081
15427993126,3cyclictest9-21ksoftirqd/011:10:130
15427993126,3cyclictest9-21ksoftirqd/010:20:120
15427993125,4cyclictest9-21ksoftirqd/011:35:060
15427993125,4cyclictest9-21ksoftirqd/010:50:290
15427993125,4cyclictest9-21ksoftirqd/009:07:090
15427993125,4cyclictest9-21ksoftirqd/008:20:140
15427993124,4cyclictest9-21ksoftirqd/012:26:310
15427993124,4cyclictest9-21ksoftirqd/010:45:070
15430993023,4cyclictest41-21ksoftirqd/308:57:243
15430993022,5cyclictest41-21ksoftirqd/312:23:573
15428993025,3cyclictest25-21ksoftirqd/111:04:551
15428993024,4cyclictest25-21ksoftirqd/110:10:521
15428993024,3cyclictest25-21ksoftirqd/112:25:541
15428993024,3cyclictest25-21ksoftirqd/111:11:021
15428993023,4cyclictest25-21ksoftirqd/111:19:241
15428993023,4cyclictest25-21ksoftirqd/110:24:231
15428993023,4cyclictest25-21ksoftirqd/108:29:041
15428993023,4cyclictest25-21ksoftirqd/107:45:381
15428993022,5cyclictest25-21ksoftirqd/108:57:551
1542899301,27cyclictest27328-21kworker/1:207:10:271
15427993025,3cyclictest9-21ksoftirqd/009:40:010
15427993025,3cyclictest9-21ksoftirqd/007:15:030
15427993024,4cyclictest9-21ksoftirqd/009:51:570
15427993024,4cyclictest9-21ksoftirqd/009:15:070
15427993024,4cyclictest9-21ksoftirqd/009:15:060
15427993023,4cyclictest9-21ksoftirqd/012:31:130
15427993023,4cyclictest9-21ksoftirqd/011:32:470
15427993023,4cyclictest9-21ksoftirqd/011:25:260
15427993023,4cyclictest9-21ksoftirqd/010:56:420
15427993023,4cyclictest9-21ksoftirqd/008:49:470
128391300,23ptp4l391rcuc/311:35:073
1543099299,16cyclictest11592-21grep09:45:063
15430992923,3cyclictest41-21ksoftirqd/308:17:523
15430992922,4cyclictest41-21ksoftirqd/308:12:563
15430992913,11cyclictest0-21swapper/308:40:123
1542899298,19cyclictest27328-21kworker/1:207:22:261
1542899296,21cyclictest27360-21kworker/1:107:40:461
15428992923,4cyclictest25-21ksoftirqd/108:33:341
15428992923,4cyclictest25-21ksoftirqd/108:07:081
15428992922,4cyclictest25-21ksoftirqd/111:35:131
15427992924,3cyclictest9-21ksoftirqd/010:25:090
15427992923,4cyclictest9-21ksoftirqd/009:30:020
15427992923,3cyclictest9-21ksoftirqd/010:37:460
15427992922,4cyclictest9-21ksoftirqd/012:36:490
15427992922,4cyclictest9-21ksoftirqd/011:54:300
15427992922,4cyclictest9-21ksoftirqd/007:23:150
15427992921,5cyclictest9-21ksoftirqd/007:32:290
15430992821,4cyclictest41-21ksoftirqd/311:21:313
15430992817,6cyclictest24550-21apt-get09:20:133
15430992812,12cyclictest0-21swapper/312:25:123
15428992822,4cyclictest25-21ksoftirqd/111:32:541
15428992822,4cyclictest25-21ksoftirqd/109:25:131
15428992822,3cyclictest25-21ksoftirqd/110:26:571
15428992822,3cyclictest25-21ksoftirqd/110:08:221
15428992821,4cyclictest25-21ksoftirqd/112:18:141
15428992821,4cyclictest25-21ksoftirqd/111:05:491
15428992820,5cyclictest25-21ksoftirqd/109:55:561
15427992823,3cyclictest9-21ksoftirqd/007:50:270
15427992822,3cyclictest9-21ksoftirqd/009:20:370
56698270,2rtkit-daemon0-21swapper/110:44:261
1542899279,16cyclictest27360-21kworker/1:108:19:361
15428992722,3cyclictest25-21ksoftirqd/109:21:501
15428992722,3cyclictest25-21ksoftirqd/108:22:521
15428992721,3cyclictest25-21ksoftirqd/110:32:081
15428992721,3cyclictest25-21ksoftirqd/110:32:081
15427992721,4cyclictest9-21ksoftirqd/012:10:130
15427992721,4cyclictest9-21ksoftirqd/011:05:280
15427992721,3cyclictest9-21ksoftirqd/010:45:010
1543099267,16cyclictest204-21systemd-journal07:28:003
15428992618,5cyclictest25-21ksoftirqd/112:05:361
15427992621,3cyclictest9-21ksoftirqd/008:15:120
15427992619,4cyclictest9-21ksoftirqd/011:01:400
15427992619,4cyclictest9-21ksoftirqd/008:06:590
128391260,1ptp4l401ktimersoftd/310:30:303
128391260,1ptp4l401ktimersoftd/310:30:303
56698250,2rtkit-daemon0-21swapper/108:49:131
15430992513,8cyclictest27226-21/usr/sbin/munin11:25:053
15428992519,4cyclictest25-21ksoftirqd/110:50:441
15428992519,4cyclictest25-21ksoftirqd/107:17:581
15428992519,3cyclictest25-21ksoftirqd/108:42:241
15427992519,3cyclictest9-21ksoftirqd/012:15:490
1542899248,14cyclictest27360-21kworker/1:107:28:151
15428992418,3cyclictest25-21ksoftirqd/109:00:481
1542799247,13cyclictest18676-21cron10:35:000
1542799247,13cyclictest18676-21cron10:35:000
15428992316,4cyclictest25-21ksoftirqd/108:14:031
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional