You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2022-01-26 - 06:55

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #3
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rackdslot3.osadl.org (updated Wed Jan 26, 2022 00:46:10)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
18722211695,9sleep10-21swapper/119:06:431
56698850,13rtkit-daemon9864-21apache219:08:043
188712858,65sleep20-21swapper/219:08:382
64452710,5sleep09-21ksoftirqd/020:10:350
265362680,5sleep1241ktimersoftd/121:55:361
306112630,2sleep00-21swapper/000:00:200
90692620,4sleep10-21swapper/120:15:141
188292600,4sleep319261-21cyclictest23:05:313
161732600,2sleep30-21swapper/321:05:073
161732600,2sleep30-21swapper/321:05:073
56698540,11rtkit-daemon0-21swapper/319:48:583
56698540,11rtkit-daemon0-21swapper/319:48:573
19265995238,8cyclictest41-21ksoftirqd/300:35:213
1926399526,13cyclictest5310-21tail22:50:191
19265995138,8cyclictest41-21ksoftirqd/319:40:203
19265995138,8cyclictest41-21ksoftirqd/319:40:193
56698500,7rtkit-daemon0-21swapper/321:03:263
19265995037,8cyclictest41-21ksoftirqd/322:40:193
19265994835,8cyclictest41-21ksoftirqd/320:30:203
19265994740,4cyclictest41-21ksoftirqd/320:15:043
19265994737,6cyclictest41-21ksoftirqd/320:40:183
19264994630,13cyclictest33-21ksoftirqd/220:48:592
1872624514,20sleep00-21swapper/019:06:460
19265994431,8cyclictest41-21ksoftirqd/323:00:203
19265994431,7cyclictest41-21ksoftirqd/319:50:193
19265994427,9cyclictest41-21ksoftirqd/323:10:023
19264994427,13cyclictest33-21ksoftirqd/221:00:592
19263994423,5cyclictest25-21ksoftirqd/123:51:301
220642430,2sleep10-21swapper/119:10:301
19265994330,8cyclictest41-21ksoftirqd/323:35:133
19265994330,7cyclictest41-21ksoftirqd/321:40:183
19263994325,4cyclictest25-21ksoftirqd/121:20:581
19263994324,4cyclictest25-21ksoftirqd/121:33:551
19263994323,5cyclictest25-21ksoftirqd/120:59:101
19264994219,20cyclictest13483-21cut19:40:252
19264994219,20cyclictest13483-21cut19:40:242
19265994131,5cyclictest41-21ksoftirqd/320:35:223
19264994114,24cyclictest5607-21expr22:50:212
19263994121,4cyclictest25-21ksoftirqd/122:17:541
1926399410,39cyclictest0-21swapper/122:26:061
19262994125,13cyclictest9-21ksoftirqd/021:06:320
19262994125,13cyclictest9-21ksoftirqd/021:06:310
19265994033,4cyclictest41-21ksoftirqd/322:30:283
1926499400,5cyclictest6782-21fschecks_count00:10:242
19265993933,4cyclictest41-21ksoftirqd/321:35:133
19265993927,8cyclictest41-21ksoftirqd/319:55:133
1926599390,4cyclictest121rcu_preempt19:10:233
1926499391,5cyclictest0-21swapper/219:15:142
19264993910,25cyclictest18719-21proc_pri21:45:332
19262993918,17cyclictest3753-21cron23:30:000
93572380,2sleep00-21swapper/020:15:160
44092380,3sleep1231rcuc/123:30:061
19265993832,4cyclictest41-21ksoftirqd/320:10:143
19265993831,4cyclictest41-21ksoftirqd/323:25:073
19265993828,6cyclictest41-21ksoftirqd/322:00:233
19265993826,7cyclictest41-21ksoftirqd/320:50:213
19264993813,22cyclictest22654-21sh23:10:272
19264993812,23cyclictest7520-21wc21:35:002
19264993812,23cyclictest17181-21which00:25:042
19264993812,23cyclictest15165-21sed22:20:382
19264993812,23cyclictest15165-21sed22:20:372
19264993811,23cyclictest29699-21df_abs20:00:252
19264993810,24cyclictest28130-21wc22:00:052
19262993814,20cyclictest8960-21sed21:35:130
19265993731,4cyclictest41-21ksoftirqd/319:30:333
19265993730,4cyclictest41-21ksoftirqd/321:55:123
19265993730,4cyclictest41-21ksoftirqd/321:25:293
19265993730,4cyclictest41-21ksoftirqd/300:20:013
19265993725,7cyclictest41-21ksoftirqd/320:00:143
1926499372,6cyclictest16659-21apt-get19:45:142
1926499372,6cyclictest16659-21apt-get19:45:142
19264993713,21cyclictest23653-21latency_hist20:35:002
19264993712,22cyclictest30619-21sed20:40:282
19264993712,21cyclictest30595-21timerandwakeup19:20:372
19264993710,24cyclictest25043-21cat21:55:112
19262993717,17cyclictest32107-21/usr/sbin/munin22:45:050
16332370,2sleep30-21swapper/322:05:253
19265993631,3cyclictest41-21ksoftirqd/300:00:213
19265993630,4cyclictest41-21ksoftirqd/323:45:083
19265993630,4cyclictest41-21ksoftirqd/322:19:593
19265993630,4cyclictest41-21ksoftirqd/321:20:353
19265993630,4cyclictest41-21ksoftirqd/300:05:133
19265993629,4cyclictest41-21ksoftirqd/322:20:093
19265993629,4cyclictest41-21ksoftirqd/322:20:093
19265993629,4cyclictest41-21ksoftirqd/320:20:163
1926499367,4cyclictest10021-21fschecks_time20:15:262
19264993629,4cyclictest33-21ksoftirqd/223:10:002
1926499362,6cyclictest25672-21apt-get20:35:222
1926499362,6cyclictest14632-21apt-get00:20:212
1926499362,6cyclictest0-21swapper/222:45:192
1926499362,6cyclictest0-21swapper/221:15:142
1926499361,7cyclictest0-21swapper/200:30:202
19264993613,20cyclictest9732-21df21:35:232
19264993612,21cyclictest31765-21expr19:25:062
19264993612,21cyclictest27595-21seq22:37:012
19264993611,21cyclictest16544-21unixbench_singl22:25:072
19264993611,21cyclictest14442-21smartctl23:00:272
19264993611,21cyclictest13836-21acpi23:40:162
1926499360,6cyclictest30803-21phc2sys21:20:332
19262993614,19cyclictest24303-21grep19:55:110
19262993612,20cyclictest10042-21expr23:35:220
130812360,3sleep10-21swapper/121:40:131
19265993530,3cyclictest41-21ksoftirqd/322:35:153
19265993530,3cyclictest41-21ksoftirqd/319:35:063
19265993530,3cyclictest41-21ksoftirqd/319:15:283
19265993529,4cyclictest41-21ksoftirqd/323:20:133
19265993529,4cyclictest41-21ksoftirqd/323:15:223
19265993529,4cyclictest41-21ksoftirqd/320:45:223
19265993529,4cyclictest41-21ksoftirqd/319:20:063
19265993528,4cyclictest41-21ksoftirqd/322:50:173
19265993528,4cyclictest41-21ksoftirqd/320:55:133
1926499352,7cyclictest0-21swapper/223:30:202
1926499352,7cyclictest0-21swapper/222:10:182
1926499352,6cyclictest0-21swapper/222:15:142
1926499352,6cyclictest0-21swapper/222:05:212
1926499352,6cyclictest0-21swapper/219:50:142
1926499351,6cyclictest0-21swapper/220:50:152
19264993513,19cyclictest1189-21runrttasks20:26:552
19264993512,20cyclictest21121-21cpu19:10:182
19264993512,20cyclictest17803-21cstates21:05:252
19264993512,20cyclictest17803-21cstates21:05:242
19264993512,20cyclictest11125-21readlink22:55:342
19264993510,21cyclictest3221-21mailstats19:30:042
1926299353,25cyclictest5133-21apt-get22:50:190
19262993516,15cyclictest28217-21cstates22:00:070
19262993514,18cyclictest3740-21fschecks_time19:30:080
19262993514,18cyclictest29642-21/usr/sbin/munin20:40:250
19262993514,18cyclictest15793-21/usr/sbin/munin20:25:100
19262993513,19cyclictest29587-21cat20:00:240
19262993513,18cyclictest12915-21basename19:40:170
19262993513,18cyclictest12915-21basename19:40:170
19262993512,19cyclictest24762-21expr23:55:070
228672340,4sleep022874-21latency23:10:290
19265993429,3cyclictest41-21ksoftirqd/322:25:133
19265993428,3cyclictest41-21ksoftirqd/323:55:013
19265993428,3cyclictest41-21ksoftirqd/319:25:303
19265993427,4cyclictest41-21ksoftirqd/323:55:273
19265993427,4cyclictest41-21ksoftirqd/322:10:093
19265993427,4cyclictest41-21ksoftirqd/321:45:183
19265993426,5cyclictest41-21ksoftirqd/321:17:593
1926499349,4cyclictest31027-21missed_timers23:20:322
1926499349,4cyclictest18339-21cstates23:45:202
1926499348,4cyclictest1959-21ls00:05:162
1926499348,4cyclictest153392chrt20:22:012
1926499347,4cyclictest8673-21cat00:15:022
19264993427,4cyclictest33-21ksoftirqd/223:25:392
1926499341,7cyclictest0-21swapper/221:10:152
1926499341,5cyclictest0-21swapper/220:10:192
1926299348,22cyclictest6869-21grep20:50:370
19262993416,15cyclictest25595-21acpi20:35:210
19262993415,15cyclictest27611-21latency19:20:050
19262993414,17cyclictest1189-21runrttasks23:00:160
19262993412,19cyclictest1305-21sed00:05:110
19262993412,18cyclictest26262-21fschecks_count22:35:250
19262993412,18cyclictest18230-21wc23:45:190
19265993327,3cyclictest41-21ksoftirqd/320:25:223
19265993327,3cyclictest41-21ksoftirqd/300:24:003
19265993326,4cyclictest41-21ksoftirqd/321:11:413
1926499339,4cyclictest8866-21grep20:55:122
1926499338,4cyclictest7353-21ls19:35:062
1926499338,3cyclictest31922-21cat22:45:002
1926499337,4cyclictest24745-21timerwakeupswit23:15:072
1926499337,4cyclictest23379-21unixbench_multi22:30:382
1926499336,4cyclictest12162-21processes21:40:072
1926499332,6cyclictest0-21swapper/223:35:212
1926499332,5cyclictest0-21swapper/221:25:132
1926499332,27cyclictest0-21swapper/223:55:192
19263993327,4cyclictest25-21ksoftirqd/119:57:571
19263993327,3cyclictest25-21ksoftirqd/123:39:121
19263993326,4cyclictest25-21ksoftirqd/120:15:011
19263993326,4cyclictest25-21ksoftirqd/119:47:131
19263993326,4cyclictest25-21ksoftirqd/119:47:121
19262993315,15cyclictest21018-21if_enp1s023:50:080
19262993314,16cyclictest20927-21/usr/sbin/munin19:10:210
19262993314,16cyclictest11893-21latency_hist23:00:000
19262993313,17cyclictest20950-21latency_hist00:30:000
19262993312,17cyclictest15617-21expr19:45:080
19262993312,17cyclictest15617-21expr19:45:070
19262993311,19cyclictest21054-21fschecks_count21:50:130
19262993311,19cyclictest20054-21switchtime22:30:020
19262993311,18cyclictest12733-21expr22:20:090
19262993311,18cyclictest12733-21expr22:20:090
19262993310,19cyclictest204-21systemd-journal20:25:010
19262993310,18cyclictest8290-21cut22:15:090
19265993227,3cyclictest41-21ksoftirqd/323:35:003
19265993227,3cyclictest41-21ksoftirqd/322:55:093
19265993226,3cyclictest41-21ksoftirqd/322:45:133
19265993225,4cyclictest41-21ksoftirqd/321:51:553
19265993225,4cyclictest41-21ksoftirqd/300:10:063
1926499327,4cyclictest28271-21switchtime00:35:362
1926499322,5cyclictest24725-21apt-get19:55:132
1926499322,27cyclictest0-21swapper/223:50:202
1926499321,7cyclictest780-21apt-get20:05:142
19263993226,3cyclictest25-21ksoftirqd/122:57:001
19263993225,4cyclictest25-21ksoftirqd/123:46:191
19263993225,4cyclictest25-21ksoftirqd/122:31:001
19263993225,4cyclictest25-21ksoftirqd/120:46:251
19263993223,6cyclictest25-21ksoftirqd/120:05:051
1926299329,19cyclictest32322-21cat20:05:080
1926299328,21cyclictest10584-21cstates00:15:220
1926299327,21cyclictest17009-21cut23:05:090
1926299327,21cyclictest11907-21/usr/sbin/munin21:00:030
19262993224,5cyclictest9-21ksoftirqd/021:57:060
19262993211,18cyclictest14310-21sed21:40:270
19265993126,3cyclictest41-21ksoftirqd/321:30:073
19265993125,4cyclictest41-21ksoftirqd/300:25:123
19265993125,3cyclictest41-21ksoftirqd/320:05:153
19265993124,4cyclictest41-21ksoftirqd/323:40:043
1926499312,6cyclictest30088-21apt-get00:00:142
19264993123,5cyclictest33-21ksoftirqd/221:52:352
19263993125,3cyclictest25-21ksoftirqd/121:29:141
19263993125,3cyclictest25-21ksoftirqd/120:22:171
19263993124,4cyclictest25-21ksoftirqd/122:48:551
19263993124,4cyclictest25-21ksoftirqd/122:44:211
1926299312,23cyclictest14270-21apt-get00:20:140
19262993111,17cyclictest30059-21basename23:20:190
19262993111,17cyclictest26648-21cat23:15:270
19262993111,16cyclictest16863-21load22:25:090
19262993110,18cyclictest26182-21df_abs00:35:120
1926299310,27cyclictest32531-21grep21:25:070
19265993025,3cyclictest41-21ksoftirqd/300:30:073
19263993024,3cyclictest25-21ksoftirqd/121:48:101
19263993024,3cyclictest25-21ksoftirqd/120:53:531
19263993024,3cyclictest25-21ksoftirqd/119:33:201
19263993024,3cyclictest25-21ksoftirqd/100:10:011
19263993023,4cyclictest25-21ksoftirqd/122:13:021
19263993023,4cyclictest25-21ksoftirqd/121:51:061
19263993023,4cyclictest25-21ksoftirqd/121:39:171
19263993023,4cyclictest25-21ksoftirqd/121:12:211
19263993023,4cyclictest25-21ksoftirqd/120:41:101
19263993022,5cyclictest25-21ksoftirqd/120:01:141
1926299309,18cyclictest5658-21grep23:30:160
1926299309,18cyclictest25575-21/usr/sbin/munin21:15:360
1926299309,17cyclictest12624-21cstates23:40:050
1926299308,19cyclictest21471-21uniq19:50:250
1926299308,18cyclictest560-21gmain21:30:220
1926299307,20cyclictest21453-21sort20:30:170
1926299307,19cyclictest21096-21sed21:10:140
1926299306,20cyclictest28233-21cstates21:20:060
1926299304,21cyclictest8526-21apt-get19:35:140
19262993011,16cyclictest27105-21cron19:20:000
19262993010,17cyclictest29589-21grep22:40:150
1926299300,26cyclictest16373-21grep21:45:070
19263992924,3cyclictest25-21ksoftirqd/100:25:501
19263992922,4cyclictest25-21ksoftirqd/119:39:011
19263992922,4cyclictest25-21ksoftirqd/119:19:101
19263992922,4cyclictest25-21ksoftirqd/100:36:351
19263992922,4cyclictest25-21ksoftirqd/100:11:291
19263992921,5cyclictest25-21ksoftirqd/123:09:301
19263992921,5cyclictest25-21ksoftirqd/119:52:391
19263992921,4cyclictest25-21ksoftirqd/100:02:191
1926299299,16cyclictest5336-21cpuspeed_turbos00:10:080
1926299298,18cyclictest1088-21df_abs19:25:240
19263992822,3cyclictest25-21ksoftirqd/100:20:421
19263992821,4cyclictest25-21ksoftirqd/122:21:231
19263992821,4cyclictest25-21ksoftirqd/122:21:231
19263992820,5cyclictest25-21ksoftirqd/123:11:321
1926299287,18cyclictest8454-21expr20:55:090
1926299281,23cyclictest4195-21grep22:10:080
1926299280,24cyclictest619-21grep22:05:120
1926299280,24cyclictest32073-21seq20:45:040
1926299280,24cyclictest21194-21wc00:30:020
19263992721,3cyclictest25-21ksoftirqd/100:15:491
19263992720,4cyclictest25-21ksoftirqd/123:43:001
19263992720,4cyclictest25-21ksoftirqd/123:16:051
19263992720,4cyclictest25-21ksoftirqd/121:02:161
19263992720,4cyclictest25-21ksoftirqd/120:27:501
19263992720,4cyclictest25-21ksoftirqd/119:41:181
19263992720,4cyclictest25-21ksoftirqd/119:41:171
19263992719,5cyclictest25-21ksoftirqd/123:56:561
19263992620,3cyclictest25-21ksoftirqd/123:01:071
19263992620,3cyclictest25-21ksoftirqd/120:34:081
19263992619,4cyclictest25-21ksoftirqd/122:36:131
19263992619,4cyclictest25-21ksoftirqd/122:01:241
19263992519,3cyclictest25-21ksoftirqd/122:05:561
19263992519,3cyclictest25-21ksoftirqd/120:36:001
19263992518,4cyclictest25-21ksoftirqd/119:26:071
19263992517,5cyclictest25-21ksoftirqd/123:22:311
19263992417,4cyclictest25-21ksoftirqd/121:07:331
19263992417,4cyclictest25-21ksoftirqd/121:07:321
1926399231,6cyclictest3746-21cron23:30:001
19263992316,4cyclictest25-21ksoftirqd/121:18:581
19263992316,4cyclictest25-21ksoftirqd/100:31:131
19263992315,5cyclictest30600-21cat19:20:371
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional