You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-06-06 - 15:26

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #4
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 792 highest latencies:
System rackdslot4.osadl.org (updated Tue Jun 06, 2023 12:45:56)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2709421740,8sleep33274199cyclictest09:15:233
2709421740,8sleep33274199cyclictest09:15:233
32740999732,10cyclictest33-21ksoftirqd/212:10:012
32740999533,10cyclictest33-21ksoftirqd/207:15:012
32740999436,10cyclictest33-21ksoftirqd/212:20:252
32740999336,11cyclictest33-21ksoftirqd/212:35:232
32740999335,10cyclictest33-21ksoftirqd/209:45:002
32740999330,10cyclictest33-21ksoftirqd/211:30:372
32740999233,10cyclictest33-21ksoftirqd/211:35:212
32740999231,9cyclictest33-21ksoftirqd/212:15:222
129991920,4ptp4l401ktimersoftd/307:08:513
32740999131,10cyclictest33-21ksoftirqd/210:45:302
32741999075,8cyclictest41-21ksoftirqd/312:00:173
32740999033,10cyclictest33-21ksoftirqd/209:25:252
32740999032,10cyclictest33-21ksoftirqd/211:50:012
32740999030,10cyclictest33-21ksoftirqd/207:40:362
32740998933,9cyclictest33-21ksoftirqd/208:05:432
32740998933,10cyclictest33-21ksoftirqd/211:15:392
32740998933,10cyclictest33-21ksoftirqd/208:55:162
32740998931,10cyclictest33-21ksoftirqd/210:05:232
32740998929,10cyclictest33-21ksoftirqd/207:25:342
32740998837,10cyclictest33-21ksoftirqd/212:25:222
32740998831,10cyclictest33-21ksoftirqd/210:30:302
32740998830,16cyclictest33-21ksoftirqd/207:45:282
32740998733,10cyclictest33-21ksoftirqd/210:15:182
32740998733,10cyclictest33-21ksoftirqd/209:05:322
32740998732,10cyclictest33-21ksoftirqd/208:50:332
32740998732,10cyclictest33-21ksoftirqd/208:15:302
32740998732,10cyclictest33-21ksoftirqd/208:15:302
32740998732,10cyclictest33-21ksoftirqd/207:50:132
32740998635,10cyclictest33-21ksoftirqd/208:00:212
32740998632,10cyclictest33-21ksoftirqd/209:30:272
32740998631,10cyclictest33-21ksoftirqd/211:20:292
32740998631,10cyclictest33-21ksoftirqd/210:25:002
32740998631,10cyclictest33-21ksoftirqd/210:25:002
32740998631,10cyclictest33-21ksoftirqd/210:00:352
32740998631,10cyclictest33-21ksoftirqd/209:55:262
32740998631,10cyclictest33-21ksoftirqd/209:15:242
32740998631,10cyclictest33-21ksoftirqd/209:15:242
32740998629,11cyclictest33-21ksoftirqd/209:35:292
32740998628,10cyclictest33-21ksoftirqd/212:30:192
32740998532,9cyclictest33-21ksoftirqd/207:35:342
32740998531,13cyclictest33-21ksoftirqd/207:55:292
32740998530,10cyclictest33-21ksoftirqd/210:10:322
32740998529,10cyclictest33-21ksoftirqd/210:40:012
32740998436,11cyclictest33-21ksoftirqd/211:10:212
32740998431,12cyclictest33-21ksoftirqd/209:00:342
32740998431,10cyclictest33-21ksoftirqd/208:45:142
32740998333,10cyclictest33-21ksoftirqd/210:50:272
32740998331,11cyclictest33-21ksoftirqd/207:15:132
32740998330,10cyclictest33-21ksoftirqd/209:45:242
32740998230,11cyclictest33-21ksoftirqd/211:50:202
32740998229,10cyclictest33-21ksoftirqd/210:40:252
32740997933,5cyclictest33-21ksoftirqd/212:10:292
32741997867,5cyclictest41-21ksoftirqd/311:05:203
32739997632,11cyclictest25-21ksoftirqd/109:30:191
32740997530,10cyclictest33-21ksoftirqd/211:00:232
32740997338,5cyclictest33-21ksoftirqd/209:25:002
32739997334,5cyclictest25-21ksoftirqd/112:15:201
3273899738,7cyclictest20583-21sshd11:20:240
32739997263,4cyclictest25-21ksoftirqd/111:35:201
32739997261,5cyclictest25-21ksoftirqd/109:35:201
32739997233,5cyclictest25-21ksoftirqd/107:50:161
3273899728,9cyclictest7427-21cat09:40:390
322482723,18sleep01242-21snmpd07:07:330
3273899718,8cyclictest23377-21grep10:15:310
3273899718,8cyclictest17346-21fschecks_time07:45:200
3273899718,7cyclictest32556-21cat09:25:430
3273899713,13cyclictest31817-21ls11:45:000
32741997063,4cyclictest41-21ksoftirqd/307:40:173
32739997033,5cyclictest25-21ksoftirqd/111:15:211
32739997033,5cyclictest25-21ksoftirqd/109:05:351
32739997032,5cyclictest25-21ksoftirqd/111:25:001
32739997025,9cyclictest25-21ksoftirqd/112:00:001
3273899708,8cyclictest13339-21ps07:35:300
3273899708,7cyclictest13707-21fschecks_count11:05:250
3273899707,8cyclictest209-21systemd-journal12:05:210
3273899707,7cyclictest1242-21snmpd09:30:310
32740996928,9cyclictest33-21ksoftirqd/211:40:352
32740996928,3cyclictest121rcu_preempt08:33:512
32739996931,4cyclictest25-21ksoftirqd/107:30:291
32739996929,5cyclictest25-21ksoftirqd/109:50:011
3273899699,7cyclictest12485-21/usr/sbin/munin08:45:160
3273899698,8cyclictest16712-21phc2sys-jitter11:10:340
3273899698,7cyclictest5433-21cstates07:20:190
3273899697,8cyclictest1242-21snmpd12:31:530
3273899696,8cyclictest1258-21lldpd12:30:010
3273899695,8cyclictest1242-21snmpd07:20:000
3273899695,8cyclictest0-21swapper/011:35:290
32741996854,8cyclictest41-21ksoftirqd/311:40:183
32740996836,4cyclictest33-21ksoftirqd/211:05:262
32740996833,10cyclictest33-21ksoftirqd/210:25:212
32739996858,5cyclictest25-21ksoftirqd/108:25:171
32739996830,5cyclictest25-21ksoftirqd/111:30:321
32739996828,5cyclictest25-21ksoftirqd/111:50:311
3273899688,9cyclictest1242-21snmpd12:15:340
3273899688,8cyclictest17008-21grep08:55:000
3273899687,8cyclictest209-21systemd-journal08:10:210
3273899687,8cyclictest16276-21expr12:20:200
3273899687,7cyclictest26698-21cat10:25:000
3273899687,7cyclictest26698-21cat10:25:000
3273899687,7cyclictest25213-21sed08:00:290
3273899686,9cyclictest561-21rs:main0
3273899686,9cyclictest1242-21snmpd11:50:000
3273899682,12cyclictest3063-21phc2sys11:50:300
32740996740,12cyclictest33-21ksoftirqd/211:25:252
32740996740,12cyclictest33-21ksoftirqd/211:25:252
32739996729,5cyclictest25-21ksoftirqd/109:14:591
32739996722,9cyclictest25-21ksoftirqd/109:30:001
32739996721,10cyclictest25-21ksoftirqd/108:40:001
3273899679,8cyclictest13562-21/usr/sbin/munin09:55:330
3273899678,7cyclictest19273-21awk09:00:000
3273899677,9cyclictest559-21in:imuxsock09:50:340
3273899677,8cyclictest209-21systemd-journal11:15:220
3273899677,8cyclictest1242-21snmpd07:40:290
3273899677,7cyclictest7994-21switchtime12:00:350
3273899676,8cyclictest27079-21latency_hist11:35:010
3273899676,8cyclictest21377-21sed07:55:000
3273899670,12cyclictest31734-21sed08:15:250
3273899670,12cyclictest31734-21sed08:15:250
32740996632,4cyclictest33-21ksoftirqd/208:10:212
32739996631,4cyclictest25-21ksoftirqd/112:30:191
32739996630,4cyclictest25-21ksoftirqd/110:45:361
32739996629,5cyclictest25-21ksoftirqd/108:20:001
32739996629,5cyclictest25-21ksoftirqd/108:20:001
32739996628,7cyclictest25-21ksoftirqd/108:00:361
32739996628,4cyclictest25-21ksoftirqd/109:15:311
32739996628,4cyclictest25-21ksoftirqd/109:15:301
32739996627,5cyclictest25-21ksoftirqd/112:00:311
32739996621,9cyclictest25-21ksoftirqd/108:05:221
3273899668,9cyclictest21638-21latency_hist09:05:000
3273899668,8cyclictest6547-21expr10:50:200
3273899668,6cyclictest23830-21/usr/sbin/munin11:25:320
3273899668,6cyclictest23830-21/usr/sbin/munin11:25:310
3273899667,9cyclictest29033-21cat10:30:000
3273899667,9cyclictest2896-21tr10:40:420
3273899667,7cyclictest2846-21chrt08:24:050
3273899666,9cyclictest1242-21snmpd10:40:010
3273899666,9cyclictest11578-21taskset07:31:210
3273899666,8cyclictest4868-21missed_timers10:45:280
3273899666,7cyclictest1258-21lldpd10:55:320
3273899665,8cyclictest1242-21snmpd10:00:240
3273899662,13cyclictest27131-21if_enp4s009:15:240
3273899662,13cyclictest27131-21if_enp4s009:15:240
3273899662,13cyclictest24666-21awk12:35:360
3273899660,12cyclictest8624-21cut08:35:270
129991660,2ptp4l401ktimersoftd/311:22:083
32739996530,4cyclictest25-21ksoftirqd/108:55:441
32739996529,13cyclictest25-21ksoftirqd/109:55:151
32739996528,5cyclictest25-21ksoftirqd/111:10:001
32739996528,5cyclictest25-21ksoftirqd/107:55:221
32739996528,4cyclictest25-21ksoftirqd/111:00:271
32739996527,4cyclictest25-21ksoftirqd/111:10:211
32739996525,6cyclictest25-21ksoftirqd/108:40:251
32739996525,5cyclictest25-21ksoftirqd/111:45:331
32739996521,9cyclictest25-21ksoftirqd/110:15:001
3273899657,8cyclictest5024-21irqrtprio11:55:300
3273899657,8cyclictest22301-21cut09:05:220
3273899657,6cyclictest1258-21lldpd11:00:240
3273899656,8cyclictest1242-21snmpd09:35:400
3273899655,9cyclictest1242-21snmpd07:55:300
3273899652,17cyclictest1258-21lldpd12:10:190
32740996430,4cyclictest33-21ksoftirqd/207:30:412
32739996430,5cyclictest25-21ksoftirqd/110:55:341
32739996428,5cyclictest25-21ksoftirqd/108:50:251
32739996427,5cyclictest25-21ksoftirqd/110:40:341
32739996426,4cyclictest25-21ksoftirqd/110:25:171
32739996425,5cyclictest25-21ksoftirqd/110:35:261
32739996422,5cyclictest25-21ksoftirqd/108:10:321
3273899649,8cyclictest30153-21meminfo10:30:310
3273899647,8cyclictest1258-21lldpd10:05:210
3273899646,9cyclictest25586-21ls09:10:400
3273899646,8cyclictest29054-21grep09:20:220
3273899646,8cyclictest1242-21snmpd10:10:300
3273899646,8cyclictest1242-21snmpd09:45:350
3273899645,8cyclictest1242-21snmpd07:10:290
3273899644,8cyclictest0-21swapper/008:25:180
32741996349,6cyclictest41-21ksoftirqd/308:50:173
32739996328,4cyclictest25-21ksoftirqd/107:20:291
32739996327,5cyclictest25-21ksoftirqd/111:40:281
32739996327,5cyclictest25-21ksoftirqd/110:00:181
32739996327,4cyclictest25-21ksoftirqd/111:25:371
32739996327,4cyclictest25-21ksoftirqd/111:25:361
32739996327,4cyclictest25-21ksoftirqd/110:32:541
32739996326,5cyclictest25-21ksoftirqd/110:05:211
32739996326,4cyclictest25-21ksoftirqd/107:15:001
32739996325,5cyclictest25-21ksoftirqd/112:25:311
32739996325,4cyclictest25-21ksoftirqd/107:40:351
3273899636,7cyclictest1242-21snmpd08:05:190
3273899631,11cyclictest9280-21taskset07:26:410
3274099623,13cyclictest33-21ksoftirqd/209:50:342
32740996225,10cyclictest33-21ksoftirqd/208:40:422
32739996228,5cyclictest25-21ksoftirqd/108:45:321
32739996228,4cyclictest25-21ksoftirqd/110:20:281
32739996228,4cyclictest25-21ksoftirqd/110:20:281
32739996225,4cyclictest25-21ksoftirqd/109:50:571
32739996221,8cyclictest25-21ksoftirqd/109:04:001
32739996220,9cyclictest25-21ksoftirqd/107:25:331
32739996215,8cyclictest25-21ksoftirqd/110:15:261
3273899629,7cyclictest10173-21acpi08:40:140
32740996155,3cyclictest33-21ksoftirqd/210:55:172
32740996124,11cyclictest33-21ksoftirqd/212:03:232
32740996123,10cyclictest33-21ksoftirqd/207:20:352
32740996120,9cyclictest33-21ksoftirqd/208:39:502
32739996125,4cyclictest25-21ksoftirqd/109:40:261
32739996118,10cyclictest25-21ksoftirqd/109:20:361
129991610,1ptp4l401ktimersoftd/312:11:533
129991610,1ptp4l401ktimersoftd/307:16:083
3274099606,7cyclictest26248-21ls09:15:002
3274099605,8cyclictest33-21ksoftirqd/211:55:412
32739996017,5cyclictest25-21ksoftirqd/107:45:301
32739996015,9cyclictest25-21ksoftirqd/108:25:011
32739996012,9cyclictest25-21ksoftirqd/112:20:181
184462600,6sleep31258-21lldpd07:45:333
129991600,1ptp4l401ktimersoftd/307:26:023
32741995946,7cyclictest41-21ksoftirqd/312:25:153
32741995946,6cyclictest41-21ksoftirqd/311:30:173
32740995940,5cyclictest33-21ksoftirqd/208:25:262
32739995917,9cyclictest25-21ksoftirqd/107:15:331
32739995915,9cyclictest25-21ksoftirqd/107:35:191
32741995844,8cyclictest41-21ksoftirqd/307:50:143
32740995828,8cyclictest33-21ksoftirqd/208:21:202
32739995823,8cyclictest25-21ksoftirqd/112:11:531
32739995823,4cyclictest25-21ksoftirqd/110:54:041
32739995822,4cyclictest25-21ksoftirqd/112:39:501
32739995820,4cyclictest25-21ksoftirqd/112:05:051
129991580,2ptp4l401ktimersoftd/308:31:433
129991580,1ptp4l401ktimersoftd/308:00:293
3274199573,4cyclictest41-21ksoftirqd/309:35:003
3274199565,4cyclictest121rcu_preempt07:22:403
3274199561,8cyclictest24353-21smartctl12:35:353
32739995614,9cyclictest25-21ksoftirqd/108:30:261
32741995441,10cyclictest41-21ksoftirqd/310:55:283
7452530,3sleep31258-21lldpd10:35:383
32741995346,3cyclictest41-21ksoftirqd/308:20:003
32741995346,3cyclictest41-21ksoftirqd/308:20:003
32741995340,10cyclictest41-21ksoftirqd/309:50:323
129991530,1ptp4l401ktimersoftd/308:12:063
32741995235,5cyclictest41-21ksoftirqd/311:25:253
32741995235,5cyclictest41-21ksoftirqd/311:25:243
32741995145,3cyclictest41-21ksoftirqd/309:45:013
32741995044,3cyclictest41-21ksoftirqd/307:15:013
3274199502,6cyclictest121rcu_preempt09:05:333
3274199501,4cyclictest12563-21apt-get08:45:163
3274199494,4cyclictest1609-21cron11:50:003
32741994943,3cyclictest41-21ksoftirqd/308:45:003
32741994936,10cyclictest41-21ksoftirqd/309:45:333
3274199490,5cyclictest8404-21hddtemp_smartct08:35:223
32741994842,4cyclictest41-21ksoftirqd/310:30:213
32741994841,4cyclictest41-21ksoftirqd/311:20:003
3274199481,9cyclictest23254-21strings10:15:303
32741994741,4cyclictest41-21ksoftirqd/310:45:233
32741994741,4cyclictest41-21ksoftirqd/310:09:593
32741994741,3cyclictest41-21ksoftirqd/312:20:003
32741994737,5cyclictest41-21ksoftirqd/309:25:163
32741994734,10cyclictest41-21ksoftirqd/312:21:493
32741994723,12cyclictest41-21ksoftirqd/310:40:173
32741994714,4cyclictest41-21ksoftirqd/310:01:533
3274199470,3cyclictest121rcu_preempt11:50:333
32741994639,4cyclictest41-21ksoftirqd/312:30:373
32741994639,3cyclictest41-21ksoftirqd/311:35:203
3274199461,4cyclictest1258-21lldpd08:05:413
32741994539,3cyclictest41-21ksoftirqd/311:10:303
32741994539,3cyclictest41-21ksoftirqd/310:20:303
32741994539,3cyclictest41-21ksoftirqd/310:20:303
32741994539,3cyclictest41-21ksoftirqd/309:20:353
32741994539,3cyclictest41-21ksoftirqd/307:55:163
32741994538,4cyclictest41-21ksoftirqd/312:10:013
32741994538,4cyclictest41-21ksoftirqd/311:00:303
32741994538,4cyclictest41-21ksoftirqd/309:00:183
3274199450,3cyclictest121rcu_preempt08:25:003
129991450,1ptp4l401ktimersoftd/310:51:373
129991450,1ptp4l401ktimersoftd/310:10:103
32741994439,3cyclictest41-21ksoftirqd/309:35:353
32741994438,4cyclictest41-21ksoftirqd/309:55:153
32741994437,4cyclictest41-21ksoftirqd/309:10:223
32741994437,4cyclictest41-21ksoftirqd/308:55:233
32741994337,3cyclictest41-21ksoftirqd/307:35:253
32741994336,4cyclictest41-21ksoftirqd/311:55:383
32741994336,4cyclictest41-21ksoftirqd/307:30:193
129991430,1ptp4l401ktimersoftd/308:29:403
32741994230,9cyclictest41-21ksoftirqd/310:25:323
3217823913,15sleep2576-21gmain07:06:382
322442367,15sleep10-21swapper/107:07:291
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional